Big Data Developer

[HiTechBeast1]

Big Data Developer

היי,

מישהו יכול להסביר לי פעם אחת ולתמיד מה אומרת הכותרת הזאת במשרות? זה אומר התעסקות עם מסדי נתונים? זה אמור לקרוץ לי מבחינת תרומה לקריירה כמפתח? מה צריך לברר?

 

[user32]

מעט מאוד

זה בן דוד של המושגים הטרנדיים שהולכים איתנו כבר עשרות שנים: web, SOA, web 2.0, cyber.

בעבר היתה הגדרה מעורפלת לביג דאטה שמשמעותו נתונים בהיקף שRDBMS סטנדרטי לא יכול לנהל. יש כאלה שגם מנסים לתת לזה הגדרות מדוייקות לפי גודל בTB או מספר רשומות.

מעשית כמועמד זה בדרך כלל אומר לעבוד עם בסיסי נתונים לא רלציוניים NoSQL למיניהם ולפעמים תוכנות אנליזה מבוזרות map-reduce וכו'.

בפועל, מבחינת השפעה על עבודת המתכנת זה יכול לנוע מכתיבת שליפות פשוטות מול איזה mongo או redis ועד כתיבת תהליכים מורכבים שרצים באופן מקבילי על גריד. יש גם המון abuse לדעתי וכל אחד עם DB של כמה GB קורא לעצמו "ביג" שלא בצדק. ראיתי יותר מדי חברות שמספרות על הביג דאטה שלהן שעם כל הכבוד מותקן ורץ בתיקיה בלפטופ הממוצע שלי.

 

[יבגניי34]

סוג של כלום. שיווק ריק כמו לקרוא לעובד נקיון ״מנהל קהילה״

״מה צריך לברר״? תברר שעובדים עם buzztools שזה (נכון להיום) spark בעיקר

 

[selalerer]

ממה שאני מכיר מדובר בעבודה עם כלי map reduce מבוזרים.

 

[אוהב להתווכח]

מסכים עם קודמיי ואוסיף

גם אם החברה שלך באמת עובדת עם ביג דטה זה מאוד משתנה והחברה והתפקיד בצוות.
לרוב כשיש ביג דטה ולא משתמשים בשירותי PASS אז יש הרבה מאוד DEVOPS לעשות. יכול להיות שזה המשרה.
בכל מקרה יש מפתחים שיתעסקו עם אחסון וקריאה של הדטה ועיבודו ואז זה תכנות הכי דומה לתכנות "רגיל" שקיים בעולמות של BIGDATA.
יהיו אנשים שיתעסקו בלנתח את הנתונים האלו ולהריץ עליהם אלגוריתמיקה. אז זה אומר שזה עבודת DS רגילה אבל יש בה אתגר של כמויות נתונים גדולים שמאוד משפיעה על עבודת ה-DS.
יש גם שוני גדול מפרויקט לפרויקט. אינו דומה משימה להריץ אלגוריתמיקה תוך 70MS תוך שימוש ב-X רשומות לבין להריץ את אותה אלגוריתמיקה על 10X רשומות אבל תוך חמש דקות. האתגרים שונים והכיף שונה.
כנ"ל לגבי קצב זרימת הדטה וכדומה.
&nbsp
מה שלדעתי BIGDATA כן אומר שיש שם משימות מאתגרות. לרוב ככל שכמויות הדטה גדלות הבעיות גדלות והאתגרים גדלים. אבל כמו שאמר לך יוזר32, תוודא שזה באמת ביג דטה.

 

[HiTechBeast1]

תודה רבה לכולם, עזרתם

 

[N i X]

מזכיר לי שיחה עם מגייסת

היא: רשום לך פה שיש לך נסיון עם redis
אני: כן
היא: אז בעצם יש לך ביג דאטה!
אני: ???
&nbsp
לקח לי זמן לצאת מההלם ולהגיד לה שזה פשוט סוג של ״בסיס נתונים״ וספציפית אצלנו
הדאטה שם היה small
&nbsp

 

[יבגניי34]

זו ״השיטה האמריקאית״ לניפוח קו״ח. עברת פעם ליד redis server?

יש לך נסיון ב big data and provisioning nosql clusters

 

[h a j b i]

לא ברור אבל לפי מה שהבנתי עד כה

אם עבדת עם Redis/Couchbase/Mongo אז יש לך ניסיון ב Big Data