big data

[king iverson]

big data

היי חברים
אני עובד כדאטה אנליסט בחברת סטארטאפ וברצוני להעמיק את ידיעותיי בתחום (מגיע מהפקולטה לכלכלה).
קראתי את ספרם בעברית של אמיר סנדץ ועופר דודזדה והתאכזבתי מהרמה, האם יש המלצות לספרים\בלוגים\מקור מידע אחר בעברית או באנגלית כדי להעמיק את ידיעותיי בתחום?

תודה רבה

 

[i t a i b]

יוזר גרופ

בוקר טוב,

אני אישית ממליץ לך להצטרף לקהילת ה- big data וה- BI של מייקרוסופט.
מדובר בקהילה שנפגשת מידי חודש על בסיס קבוע להרצאות בחינם וכמובן לטובת הכרת החברים.
להלן קישור לקבוצה: https://www.facebook.com/groups/1404620969762544/

ניפגש.

 

[pitoach]

בוא נתחיל מהצעד הראשון

צעד ראשון: תכין בשרים ופיתות. תכין את המנגל, ותעזר בספרים בעברית בשביל להדליק את המדורה. הם מאוד יעילים לזה מניסיון

&nbsp
נעבור לתשובה קצת יותר רצינית
הנושא של BIG DATA הוא שם ארטיאלי בלי שום תוכן ספציפי. המושג מכליל בתוכו כל כך הרבה תחומים החל מ BI ועד DBA תשתיתי ובדרך ניתן למצוא נושאים בפיתוח, נושא של IT כמו ניהול דיסקים ועוד. לכן שלב ראשון אתה צריך להתמקד בנושא שמעניין אותך, ורק אז לבחור את הספרים או הקורסים המתאימים.
&nbsp
האם אתה יכול לכוון לנושא או תחום שהוביל אותך למושג BIG DATA או שמושך אותך?
&nbsp
אני ממליץ להתחיל מעט באינטרנט כמו בהגדרות כלליות:
http://www.webopedia.com/TERM/B/big_data.html
http://www.sas.com/en_us/insights/big-data/what-is-big-data.html
http://en.wikipedia.org/wiki/Big_data
&nbsp
לגבי קבוצת ה BI & BIG DATA או כל קבוצת משתמשים הרי שזה אינו מקום ללימוד, ואני ממש לא ממליץ לך להתחיל את דרכך בלמוד לא מסודר של קפיצה מנושא אחד לשני, ועל אחת כמה וכמה מהרצאה אחת לשנייה. אלו מקומות שאני מאוד ממליץ להעשרה (אבל לא ללימוד!). לימוד לא מסודר בקפיצות יוביל אותך לתופעה מוכרת של אנשים ששואלים שאלות בפורומים במשך שנים ובטוחים שבגלל שיש להם נסיון של 20 שנים אז הם מומחים, בעוד מי שעונה להם בפורומים יהיה אותו אדם שלמד מסודר ויש לו נסיון של כשנה אולי. לימוד הבסיס הוא תמיד החלק הכי חשוב! בסיס טוב מאפשר לבנות מגדל ידע עמוק וגבוה, בסיס צר עם פיגומים חלודים יוביל לנפילת המגדל או לבנייה של מגדל בסיסי ומתנדנד.
בוא נסכם:
1. עלייך להתמקד לתחום מסויים מכיוון ש BIG DATA אינו תחום אלא מושג ארטילאי.
2. תחזור על השאלה עם התמקדות יותר וננסה לעזור בספרות מתאימה.
3. בינתיים האינטרנט הוא מקום טוב להתרשם ולקבל הבנה כללית
אבל אני חוזר על ההמלצה! לימוד טוב כדאי לבצע מסודר ולא בקפיצות, ורוב האנשים לא יכולים ללמוד לבד ולכן מומלץ קורס או לפחות ספר (וירטואלי או פיסי) מסודר.

 

[pitoach]

כמובן שכמו שכתבתי, להעשרה קבוצות המשתמשים זה מקום נהדר!

 

[eyalgorithm]

הכשרת אנליסט נתונים

קודם כל - בחרת מקצוע טוב, ההערכות הן למחסור של עשרות אלפי מדעני נתונים בשנים הקרובות....
ועכשיו לשאלתך:
הכשרה של אנליסט לוקחת שנים, והיא אינדיבידואלית למדי.
המורכבות הגדולה במקצוע האנליסט, היא שאתה חייב להכיר באופן יחסית מעמיק גם את ההיבט העסקי, גם היבט תהליכי/ אפיוני, גם היבט תכנותי וגם היבט סטטיסטי.

הספר שהזכרת עוסק בעיקר בהיכרות עם שיטות סטטיסטיות שיכולות לסייע לאנליסטים, ויכול להיות שמשם נובעת האכזבה שלך - ייתכן שחלק ניכר ממה שאתה עושה כרגע לא מצריך סטטיסטיקה מתקדמת, אלא רק עיבוד נתונים. אל דאגה, במוקדם או במאוחר תיתקל בצורך כזה.

מאחר ובאת מתחום הכלכלה, להערכתי האתגר המהותי ביותר שלך הוא הצד התכנותי. יתר הצדדים נלמדים עם הזמן, או שאינם קריטיים לעבודה היומיומית.
לגבי הצד התכנותי - לרוב, בסטארטאפים יש גם כלי ניטור traffic (כמו גוגל אנליטיקס/ Mixpanel/ Kissmetrics), גם Database וכלים נוספים במידת הצורך (ניהול AB Testing, שאלונים, CRM וכיו"ב).
אחרי שתכיר כמו שצריך את כלי הניטור, תעבור ל-SQL (סביר להניח שאתם עובדים עם MSSQL או MySQL, ואתה מכיר את השפה). אחרי שאתה מבין טוב את שפת השאילתות עצמה, כדאי לך להעמיק את הידע בשפה העוטפת - לולאות, משתנים, פרוצדורות וכיו"ב.
זה הבסיס.

לגבי Big Data - זה תחום ענק, וחייבים קודם כל למקד את הצורך שלך. להלן כמה שאלות מנחות:
- האם מעניין אותך לעבוד עם תשתית נתונים לא רלציונית (NoSQL), או האם החברה שלך שוקלת לעשות הסבה כזו?
- האם מעניין אותך לקלוט מקורות נתונים נוספים לצורך העשרת נתונים וניתוח שלהם - לדוגמה Api's מפייסבוק, טוויטר וכיו"ב?
- האם מעניין אותך להרחיב את היכולות שלך מניתוח נתונים נקודתי או BI ל-Predictive Analytics ו-Data Mining?
- האם אתה מחפש כלי BI מתקדמים בעלי יכולת ניתוח נתונים בנפחים גבוהים (ע"י In Memory)?

בוא נמקד את הצורך המיידי, ונמשיך משם.

 

[king iverson]

וואוו, איזו תשובה

אז ככה,
התחלתי ללמוד sql בסרטונים באינטרנט, המטרה היא להבין עבודה עם שפות תכנות ופחות לדעת לתכנת לבד.
במקביל, אני מרבה לקרוא ספרים בנושאים סטטיסטיים (נאסים טאלב, ביג דאטה, מאניבול,איך לשקר באמצעות סטטיסטיקה וכו') אשמח להמלצות נוספות.
תחום ה-bi ובייחוד Predictive Analytics מעניינים אותי במיוחד, האם יש המלצות קריאה או "עשייה" להתקדמות בתחום הנ"ל?
ובאופן כללי, מה מומלץ לעשות כדי לשפר את יכולותי ולעלות את ערכי בתחום? האם קיימים בלוגים מומלצים למעקב?

הרבה תודה

 

[eyalgorithm]

הבנת הסיטואציה

עדיין אפשר לקחת את מה שכתבת לכמה כיוונים, ולכן הייתי רוצה להבין יותר את הצורך שלך. האם אתה:
1. יחסית חדש בתפקיד ואתה רוצה להיכנס אליו יותר בקלות (כולל משימות מסוימות שאתה לא יודע איך לממש).
2. כשנה-שנתיים בתפקיד ומחפש את קפיצת המדרגה הבאה ברמה המקצועית.
3. פשוט נתקלת במושג 'ביג דאטה' ורוצה להיכנס לתחום אבל לא ממש יודע מה זה (כמו חלק גדול מהתעשייה...).
4. מקרה אחר.

יש עוד היבט שדי בולט מהדברים שכתבת, אבל בוא נבין קודם כל את הסיטואציה.

 

[king iverson]

אז ככה,

אני סטודנט לכלכלה ועובד במקביל כאנליסט נתונים בשלושת החודשים האחרונים. מרבית העבודה שלי עם אקסל, ולא עם כלים מתקדמים יותר.
אני רוצה להשתפשף בתחום, כדי להבין אם ברצוני להמשיך בו גם אחרי הלימודים וכדי לעלות את ערכי ולשפר את יכולותיי לקריירה שלפניי.

 

[eyalgorithm]

עכשיו התמונה ברורה יותר

אתה ממש בתחילת הדרך, ולכן אני קודם כל ממליץ לשים בצד את כל המינוח של 'ביג דאטה' - הוא סתם מבלבל אותך.

יש הבדל עצום בין אנליסט שעובד עם אקסל/ מערכת דוחות מובנית אחרת (לדוגמה: BO/ קוגנוס/ SSRS) - שיותר דומה למשתמש, למול אנליסט שעובד עם נתונים ברמת הקוד (SQL/ שפות סקריפט) - שיותר קרוב למפתח.
כרגע נשמע שאתה משקיע קצת יותר מדי משאבים בלימוד סטטיסטיקה (ציינת כאן לא מעט מקורות בנושא), ולדעתי הסבירות שתשתמש בהם בזמן הקרוב - נמוכה.
מה שעוד עולה מדבריך, הוא שאתה קצת נרתע מהצד הטכנולוגי במקצוע (קידוד ב-SQL ובשפות תכנות אחרות, והיבטים של ארכיטקטורה וניתוח מערכות), וזה בדיוק הצד שאני ממליץ לך להתמקד בו.
תתחיל בללמוד SQL לעומק, ולקרוא הרבה על בסיסי נתונים טבלאיים. יש כאן בפורום לא מעט מקורות בנושא.
מבחינת Predictive Analytics ו-Data Mining - אפשר להעביר הרצאה שלמה בנושא, אבל קודם כל נדרש ניסיון מהותי בעבודה עם בסיסי נתונים.

 

[king iverson]

תודה רבה