Big Data Developer

HiTechBeast1

New member
Big Data Developer

היי,

מישהו יכול להסביר לי פעם אחת ולתמיד מה אומרת הכותרת הזאת במשרות? זה אומר התעסקות עם מסדי נתונים? זה אמור לקרוץ לי מבחינת תרומה לקריירה כמפתח? מה צריך לברר?
 

user32

Well-known member
מנהל
מעט מאוד

זה בן דוד של המושגים הטרנדיים שהולכים איתנו כבר עשרות שנים: web, SOA, web 2.0, cyber.

בעבר היתה הגדרה מעורפלת לביג דאטה שמשמעותו נתונים בהיקף שRDBMS סטנדרטי לא יכול לנהל. יש כאלה שגם מנסים לתת לזה הגדרות מדוייקות לפי גודל בTB או מספר רשומות.

מעשית כמועמד זה בדרך כלל אומר לעבוד עם בסיסי נתונים לא רלציוניים NoSQL למיניהם ולפעמים תוכנות אנליזה מבוזרות map-reduce וכו'.

בפועל, מבחינת השפעה על עבודת המתכנת זה יכול לנוע מכתיבת שליפות פשוטות מול איזה mongo או redis ועד כתיבת תהליכים מורכבים שרצים באופן מקבילי על גריד. יש גם המון abuse לדעתי וכל אחד עם DB של כמה GB קורא לעצמו "ביג" שלא בצדק. ראיתי יותר מדי חברות שמספרות על הביג דאטה שלהן שעם כל הכבוד מותקן ורץ בתיקיה בלפטופ הממוצע שלי.
 

יבגניי34

New member
סוג של כלום. שיווק ריק כמו לקרוא לעובד נקיון ״מנהל קהילה״

״מה צריך לברר״? תברר שעובדים עם buzztools שזה (נכון להיום) spark בעיקר
 
מסכים עם קודמיי ואוסיף

גם אם החברה שלך באמת עובדת עם ביג דטה זה מאוד משתנה והחברה והתפקיד בצוות.
לרוב כשיש ביג דטה ולא משתמשים בשירותי PASS אז יש הרבה מאוד DEVOPS לעשות. יכול להיות שזה המשרה.
בכל מקרה יש מפתחים שיתעסקו עם אחסון וקריאה של הדטה ועיבודו ואז זה תכנות הכי דומה לתכנות "רגיל" שקיים בעולמות של BIGDATA.
יהיו אנשים שיתעסקו בלנתח את הנתונים האלו ולהריץ עליהם אלגוריתמיקה. אז זה אומר שזה עבודת DS רגילה אבל יש בה אתגר של כמויות נתונים גדולים שמאוד משפיעה על עבודת ה-DS.
יש גם שוני גדול מפרויקט לפרויקט. אינו דומה משימה להריץ אלגוריתמיקה תוך 70MS תוך שימוש ב-X רשומות לבין להריץ את אותה אלגוריתמיקה על 10X רשומות אבל תוך חמש דקות. האתגרים שונים והכיף שונה.
כנ"ל לגבי קצב זרימת הדטה וכדומה.
&nbsp
מה שלדעתי BIGDATA כן אומר שיש שם משימות מאתגרות. לרוב ככל שכמויות הדטה גדלות הבעיות גדלות והאתגרים גדלים. אבל כמו שאמר לך יוזר32, תוודא שזה באמת ביג דטה.
 

HiTechBeast1

New member
תודה רבה לכולם, עזרתם


 

N i X

New member
מזכיר לי שיחה עם מגייסת

היא: רשום לך פה שיש לך נסיון עם redis
אני: כן
היא: אז בעצם יש לך ביג דאטה!
אני: ???
&nbsp
לקח לי זמן לצאת מההלם ולהגיד לה שזה פשוט סוג של ״בסיס נתונים״ וספציפית אצלנו
הדאטה שם היה small
&nbsp
 

יבגניי34

New member
זו ״השיטה האמריקאית״ לניפוח קו״ח. עברת פעם ליד redis server?

יש לך נסיון ב big data and provisioning nosql clusters
 

h a j b i

New member
לא ברור אבל לפי מה שהבנתי עד כה

אם עבדת עם Redis/Couchbase/Mongo אז יש לך ניסיון ב Big Data
 
למעלה