עד כמה לדעתכם מבחני ״קודיליטי״ באמת אמינים?

[מחפשת עבודה17]

למי שלא מכיר - מבחני קודיליטי הם מבחנים שבהם המרואיינים צריכים לענות על שאלות ליטקוד ברמות שונות בזמן מוגבל. השאלה הבסיסית כוללת כמה דוגמאות בסיסיות למקרי קצה - אבל בהחלט לא דוגמאות מקיפות, והמרואיין אמור לחשוב בעצמו על כל מקרי הקצה האפשריים (למשל מערך ריק, שימוש במספרים שליליים ולא רק במספרים חיוביים, וכו׳).

לאחר שהנבדק מגיש באופן רשמי את התשובה - היא נבדקת בצורה יסודית על כמעט כל מקרה קצה אפשרי, ולא פעם גם על ביצועים מבחינת זמן וזכרון.

מצד אחד - יש בזה משהו מאוד חסכני ונוח לשני הצדדים. מועמדים יכולים לעשות את המבחן בזמן שנוח להם, מהבית, בלי אפילו לצאת מהפיג׳מה. החברה מצד שני לא צריכה שהמראיינים ישקיעו את זמנם בשאלות ליטקוד בסיסיות, ומאפשרת להם לשוחח רק עם מי שהראה יכולת להתמודד איתן.

מצד שני, האם שאלות ליטקוד באמת מסתכמות רק בפתרון כמה שיותר מדויק של השאלות מבחינת מקרי קצה וביצועים?

מניסיון שלי בראיונות ״ליטקוד״ פיזיים, לפעמים מגלים שהשאלה פחות מתאימה בכמה מובנים. קודם כל, כבר הייתי בסיטואציות שבהן המראיינים ראו שהכרתי שאלה מראיונות קודמים שעברתי והעדיפו לעבור לשאלה אחרת שלא הכרתי כדי לראות איך אני חושבת. ובהפוך על הפוך - אם היתה שאלה שהסתבכתי איתה אבל הצלחתי להתמודד איתה טוב אחרי רמז קטן מהם - מבחינתם הרושם הטוב נוצר.

מעבר לזה, יש את הפן האנושי של הראיון, כי הרי לא רק נשות משאבי האנוש בודקות את ההתנהלות של המרואיין. למשל מרואיין שמתקשה לקבל ביקורת על הפתרון שהוא נתן, ומתמודד עם בקשה לשפר אותו בויכוח על למה דווקא הוא צודק. אני מניחה שיש הרבה סוגי התנהגויות של מרואיינים שגורמים למראיינים לחשוב ״אני לא רוצה לעבוד עם האדם הזה״, גם אם התשובות הטכניות שלו הכי טובות בעולם.

כך שבכל זאת מתפספס בראיונות האלו פן מסוים של הראיון, שלעיתים קשה יהיה להשלים אותו בראיונות המשך.

מה דעתכם?

 

[vinney]

הראיונות האלה טובים בגדול כדי לראות אם הבן אדם יודע להקליד קוד. מבחינת הקושי - מי שמתרגל מספיק על ליטקוד ידע לפלוט פתרון די מהר, ודי נכון, אז אני לא ממש מתרגש מהיכולות לפתור ״שאלות קשות״. אני הייתי מעדיף 5 שאלות ״קלות״ מסוגים שונים בראיון אחד או שניים כדי לראות שהבן אדם יכול להעביר אלגוריתם לקוד. אחרי זה הייתי עובר לשאלות ״דיזייון״ כדי לראות שהבן אדם אכן יכול להגיע לשילוב נכון של אלגוריתמים ותשתיות.

ראיונות כוח אדם זה דבר שלא נתקלתי בו כבר די הרבה זמן כי אני עכשיו חי במדינה שבה לוקחים חוקי אפליה קצת יותר ברצינות. בגדול בשביל ראיונות התנהגותיים לא צריך ״כוח אדם״, ולמעשה מהנדסים ומנהלים יכולים להעריך התנהגויות הרבה יותר טוב כי הם מבינים את הקונטקסט ואת הסיטואציה. ראיונות כוח אדם שנתקלתי בהם בארץ היו בעיקר כדי לסנן אנשים לא רצויים שמבחינה חוקית אסור היה לסנן (ערבים/רוסים/אתיופים, שמאלנים/ימניים, שירות צבאי/מילואים, יש ילדים/אין ילדים, הומואים, וכד׳).

 

[מחפשת עבודה17]

הראיונות האלה טובים בגדול כדי לראות אם הבן אדם יודע להקליד קוד. מבחינת הקושי - מי שמתרגל מספיק על ליטקוד ידע לפלוט פתרון די מהר, ודי נכון, אז אני לא ממש מתרגש מהיכולות לפתור ״שאלות קשות״. אני הייתי מעדיף 5 שאלות ״קלות״ מסוגים שונים בראיון אחד או שניים כדי לראות שהבן אדם יכול להעביר אלגוריתם לקוד. אחרי זה הייתי עובר לשאלות ״דיזייון״ כדי לראות שהבן אדם אכן יכול להגיע לשילוב נכון של אלגוריתמים ותשתיות.

ראיונות כוח אדם זה דבר שלא נתקלתי בו כבר די הרבה זמן כי אני עכשיו חי במדינה שבה לוקחים חוקי אפליה קצת יותר ברצינות. בגדול בשביל ראיונות התנהגותיים לא צריך ״כוח אדם״, ולמעשה מהנדסים ומנהלים יכולים להעריך התנהגויות הרבה יותר טוב כי הם מבינים את הקונטקסט ואת הסיטואציה. ראיונות כוח אדם שנתקלתי בהם בארץ היו בעיקר כדי לסנן אנשים לא רצויים שמבחינה חוקית אסור היה לסנן (ערבים/רוסים/אתיופים, שמאלנים/ימניים, שירות צבאי/מילואים, יש ילדים/אין ילדים, הומואים, וכד׳).

לגבי ראיונות משאבי אנוש, אני מסכימה איתך כמעט לחלוטין.

פעם עבדתי בחברה עם מישהו מאוד מוכשר שהיה נוראי מבחינת יחסי אנוש עם מי שהוא לא תפס כמקביל לו מבחינת היכולת. אני למשל נחשבתי ללא שווה מבחינתו - ולמשל פעם הוא היה צריך לנהל פרוייקט ולחלק את העבודה בין שנינו, והוא התחמק מלתת לי עבודה כי היה לו חשוב לכתוב הכל לבד כדי שזה יהיה כתוב ״כמו שצריך״.

העניין הוא שכנראה אשת משאבי האנוש שראיינה אותו ״עלתה״ על הקושי הזה שלו, ואמרה את זה למנהל שהעדיף בכל זאת לגייס אותו - ואותו מנהל אפילו סיפר את זה לעובד עצמו. העובד היה כמובן מאוד גאה בעובדה שהוא ״כזה מוכשר״ שהתעלמו מהאזהרות של אשת משאבי האנוש מההתנהגות שלו. נכון שבמקרה זלי זה הסתכם בתקרית לא חמורה במיוחד, אבל יכול היה להגיע גם למצבים קריטיים יותר.

 

[vinney]

פעם עבדתי בחברה עם מישהו מאוד מוכשר שהיה נוראי מבחינת יחסי אנוש עם מי שהוא לא תפס כמקביל לו מבחינת היכולת. אני למשל נחשבתי ללא שווה מבחינתו - ולמשל פעם הוא היה צריך לנהל פרוייקט ולחלק את העבודה בין שנינו, והוא התחמק מלתת לי עבודה כי היה לו חשוב לכתוב הכל לבד כדי שזה יהיה כתוב ״כמו שצריך״.

העניין הוא שכנראה אשת משאבי האנוש שראיינה אותו ״עלתה״ על הקושי הזה שלו, ואמרה את זה למנהל שהעדיף בכל זאת לגייס אותו - ואותו מנהל אפילו סיפר את זה לעובד עצמו. העובד היה כמובן מאוד גאה בעובדה שהוא ״כזה מוכשר״ שהתעלמו מהאזהרות של אשת משאבי האנוש מההתנהגות שלו. נכון שבמקרה זלי זה הסתכם בתקרית לא חמורה במיוחד, אבל יכול היה להגיע גם למצבים קריטיים יותר.

כן, אבל האם באמת צריך "אשת משאבי אנוש" כדי לעלות על זה? אין פה איזה טריק, כולה כמה שאלות על פרוייקטים ומצבים ואם העובד עונה בכנות עולים על זה בשניה. אם העובד מתכונן ועובד על כולם בעיניים אז גם אשת משאבי אנוש לא תעזור, ואם המנהל המגייס מתעלם מהאזהרות - אז בשביל מה צריך בכלל לראיין?

פה בארה"ב אני נתקל בבעיה אחרת אך דומה - אנשים כל כך מתורגלים בראיונות, שפשוט מקריאים תסריטים מוכנים מראש. מאוד קשה לדעת אם זה מצב אמיתי שהעובד תרגל עשרים פעם בשביל ראיונות או מצב מומצא שמישהו תירגל איתו - מה שמוביל לאותה התוצאה אבל מהכיוון ההפוך... לשאול שאלות המשך על הפרוייקטים והמצבים, להכניס שאלה טכנית באמצע - עוזר מאוד להבין אם מישהו עשה הרבה חזרות אבל מספר סיפור אמיתי, או שזה מישהו שמספר סיפורי סבתא ממכוני הכנה לראיונות. לאנשי כוח אדם אין את היכולת לעשות את זה.

 

[מחפשת עבודה17]

כן, אבל האם באמת צריך "אשת משאבי אנוש" כדי לעלות על זה? אין פה איזה טריק, כולה כמה שאלות על פרוייקטים ומצבים ואם העובד עונה בכנות עולים על זה בשניה. אם העובד מתכונן ועובד על כולם בעיניים אז גם אשת משאבי אנוש לא תעזור, ואם המנהל המגייס מתעלם מהאזהרות - אז בשביל מה צריך בכלל לראיין?

פה בארה"ב אני נתקל בבעיה אחרת אך דומה - אנשים כל כך מתורגלים בראיונות, שפשוט מקריאים תסריטים מוכנים מראש. מאוד קשה לדעת אם זה מצב אמיתי שהעובד תרגל עשרים פעם בשביל ראיונות או מצב מומצא שמישהו תירגל איתו - מה שמוביל לאותה התוצאה אבל מהכיוון ההפוך... לשאול שאלות המשך על הפרוייקטים והמצבים, להכניס שאלה טכנית באמצע - עוזר מאוד להבין אם מישהו עשה הרבה חזרות אבל מספר סיפור אמיתי, או שזה מישהו שמספר סיפורי סבתא ממכוני הכנה לראיונות. לאנשי כוח אדם אין את היכולת לעשות את זה.

לאיזה מצבים אתה מתכוון?

כי שאלות על פרוייקטים טכניים תמיד נשאלות על ידי המנהלים המקצועיים, לא על ידי משאבי אנוש. הן עוסקות בעיקר בשאלות בסגנון של ״תתאר מצב בעייתי שהיה לך מול קולגה, ואיך פתרת אותו״.

מניסיון אישי, אלו מצבים שבהם כן חשוב לחשוב לפחות מראש איך מנסחים את התשובה.

קח לדוגמא קולגה שהיתה לי בזמנו - היא היתה הסניורית בצוות שהתקבלתי אליו כמיד לבל, והיא היתה פרנואידית ברמות מטורפות, ומבחינתה כל מי שהצליח סביבה זה תמיד היה על חשבונה. זה הגיע למשל לרמות שהיא היתה בטוחה שהשותפות שלה למשרד דיברו בינן לבין עצמן ברוסית כדי למנוע ממנה מידע, ולא כי הן היו לא מנומסות ולא שמו לב לנוכחותה של מישהי שלא דוברת רוסית במשרד. אני יכולה להעיד שזכיתי לעבוד עם שתיהן, כשאחת היתה אפילו מישהי שלמדה איתי לתואר ועשינו יחד תרגילים

בשלב מסוים אני הצלחתי בפרוייקט שהיא כנראה חשבה שהוא ״שלה״, ואני הפכתי להיות האויבת מספר אחת שלה בחברה - ולאחרונה בשרשרת די ארוכה של אויבים, כי כמה חודשים אחר כך היא פוטרה. הסיבות הרשמיות לא היו יחסי האנוש שלה, אבל אני מניחה שהם היו חלק בהחלטה.

אני יכולה להציג את הסיפור הזה בתור ״עבדתי עם פוסטמה שכולם שנאו כי היא הסתכסכה עם כולם, ובסוף פיטרו אותה אחרי שהיא הצליחה להסתכסך גם איתי״. או אני יכולה לספר שעבדתי עם בחורה שסבלה מבעיות אישיות שאילצו אותה לעבוד בחצי משרה, ולכן היא התקשתה להראות את היכולות שלה - ולא פעם זה גרם מולה מתיחות. כשראיתי שמתיחות כזו נוצרת מולי, התייעצתי עם ראש הצוות המשותפת שלנו איך אוכל לעבוד מול הקולגה בצורה יותר יעילה, והגענו יחד למסקנה שחשוב שרעביר לה את המסר שהידע והניסיון שלה חשובים, ולכן אתן לה מקום לתת פידבק על משימות שלי כשיש מקום לזה (למשל להזמין אותה לכל Design Review או. Code Review, לגשת אליה קודם כל עם שאלות, וכו׳).

שני הסיפורים מציגים את אותה סיטואציה, רק השני כנראה יתקבל בצורה יותר חיובית על ידי המראיינים.

 

[vinney]

לאיזה מצבים אתה מתכוון?

כמה דוגמאות לשאלות לראיון התנהגותי:

"ספרי על מצב של קונפליקט מקצועי שקרה לך בעבודה ואיך פתרת אותו"

"תארי סיטואציה של פרוייקט ש'ירד מהפסים' ואיך התמודדת עם זה"

"האם היו לך מקרים של אי הסכמה עם המנהל או המוביל הטכני"

וכו' וכד'.

כי שאלות על פרוייקטים טכניים תמיד נשאלות על ידי המנהלים המקצועיים, לא על ידי משאבי אנוש. הן עוסקות בעיקר בשאלות בסגנון של ״תתאר מצב בעייתי שהיה לך מול קולגה, ואיך פתרת אותו״.

נו, בדיוק. מה אשת משאבי אנוש מבינה באיך משכנעים בן אדם טכני שהוא טועה?

מניסיון אישי, אלו מצבים שבהם כן חשוב לחשוב לפחות מראש איך מנסחים את התשובה.

בוודאי. אבל אני לא רוצה רק תשובה מלוטשת שהמועמד עשה עליה חזרות מאה פעם. אני רוצה לדעת אם הסיטואציה היא אמיתית. אני רוצה לשמוע סיפור אמיתי על בעיה אמיתית, ואיך היא נפתרה. ופחות חשוב לי שהתשובה תהיה "כמו שוורדה ממשאבי אנוש רוצה לשמוע", יותר חשוב לי שהיא תהיה כנה. אם המועמד לא טיפל במצב בצורה טובה - שיסביר לי מה למד מכך ואילו מסקנות הסיק. באחד הראיונות שיחקתי את התפקיד של הצד השני וניהלתי דיון טכני בנושא שעליו המועמד דיבר והוא אשכרה שכנע אותי, עם טיעונים והוכחות.

קח לדוגמא קולגה שהיתה לי בזמנו - היא היתה הסניורית בצוות שהתקבלתי אליו כמיד לבל, והיא היתה פרנואידית ברמות מטורפות, ומבחינתה כל מי שהצליח סביבה זה תמיד היה על חשבונה. זה הגיע למשל לרמות שהיא היתה בטוחה שהשותפות שלה למשרד דיברו בינן לבין עצמן ברוסית כדי למנוע ממנה מידע, ולא כי הן היו לא מנומסות ולא שמו לב לנוכחותה של מישהי שלא דוברת רוסית במשרד. אני יכולה להעיד שזכיתי לעבוד עם שתיהן, כשאחת היתה אפילו מישהי שלמדה איתי לתואר ועשינו יחד תרגילים

בשלב מסוים אני הצלחתי בפרוייקט שהיא כנראה חשבה שהוא ״שלה״, ואני הפכתי להיות האויבת מספר אחת שלה בחברה - ולאחרונה בשרשרת די ארוכה של אויבים, כי כמה חודשים אחר כך היא פוטרה. הסיבות הרשמיות לא היו יחסי האנוש שלה, אבל אני מניחה שהם היו חלק בהחלטה.

אני יכולה להציג את הסיפור הזה בתור ״עבדתי עם פוסטמה שכולם שנאו כי היא הסתכסכה עם כולם, ובסוף פיטרו אותה אחרי שהיא הצליחה להסתכסך גם איתי״. או אני יכולה לספר שעבדתי עם בחורה שסבלה מבעיות אישיות שאילצו אותה לעבוד בחצי משרה, ולכן היא התקשתה להראות את היכולות שלה - ולא פעם זה גרם מולה מתיחות. כשראיתי שמתיחות כזו נוצרת מולי, התייעצתי עם ראש הצוות המשותפת שלנו איך אוכל לעבוד מול הקולגה בצורה יותר יעילה, והגענו יחד למסקנה שחשוב שרעביר לה את המסר שהידע והניסיון שלה חשובים, ולכן אתן לה מקום לתת פידבק על משימות שלי כשיש מקום לזה (למשל להזמין אותה לכל Design Review או. Code Review, לגשת אליה קודם כל עם שאלות, וכו׳).

שני הסיפורים מציגים את אותה סיטואציה, רק השני כנראה יתקבל בצורה יותר חיובית על ידי המראיינים.

בוודאי שצריך לדעת לנסח דברים. בתור מראיין אם הייתי שומע את הגרסה הראשונה הייתי חושב לעצמי שמדובר במישהי יהירה עם עודף בטחון עצמי (אם כי יכול להיות שזה בטחון עצמי מוצדק). לעומת זאת אם הייתי שומע את הגרסה השניה הייתי חושב לעצמי שמדובר בחרטטנית שמספרת לי סיפורי סבתא כי אף אחד לא היה מחזיק עובדת שצריך להתייחס אליה בצורה כזאת אלא אם כן יש שם איזה סיפור נסתר (ובאמת יש, לאור הסיפור האמיתי שסיפרת).

ועכשיו נשאלת השאלה - האם אני רוצה גאונה טכנית שבטוחה בעצמה אבל משדרת יהירות, או שאני רוצה חרטטנית מלוטשת שלא ברור מה היא באמת מוכרת?

בפועל - הייתי הכי שמח לשמוע את הסיפור האמיתי. כי הסיפור האמיתי מראה לי מצב מאוד שכיח שקורה בכל מקום, והייתי יכול לראות איך את באמת מתמודדת עם מצב שהוא אמיתי, אמין, ויכול לחזור על עצמו בכל מקום אליו את מגיעה.

אבל זה כי אני מהנדס ומנהל מהנדסים, לא חרטטן כוח אדם.

 

[מחפשת עבודה17]

בוודאי שצריך לדעת לנסח דברים. בתור מראיין אם הייתי שומע את הגרסה הראשונה הייתי חושב לעצמי שמדובר במישהי יהירה עם עודף בטחון עצמי (אם כי יכול להיות שזה בטחון עצמי מוצדק). לעומת זאת אם הייתי שומע את הגרסה השניה הייתי חושב לעצמי שמדובר בחרטטנית שמספרת לי סיפורי סבתא כי אף אחד לא היה מחזיק עובדת שצריך להתייחס אליה בצורה כזאת אלא אם כן יש שם איזה סיפור נסתר (ובאמת יש, לאור הסיפור האמיתי שסיפרת).

ועכשיו נשאלת השאלה - האם אני רוצה גאונה טכנית שבטוחה בעצמה אבל משדרת יהירות, או שאני רוצה חרטטנית מלוטשת שלא ברור מה היא באמת מוכרת?

תראה, כשאנחנו משוחחים עכשיו בסיטואציה שהיא לא ראיון עבודה, אני יכולה לספר לך שהשאירו את אותה עובדת משתי סיבות.

קודם כל, היא באמת היתה מישהי מאוד מוכשרת עם ידע מכמה תחומים בחברה, שלפעמים היה באמת צריך לשלב אותם. למשל בפרויקט המדובר שבו אני הצלחתי - כתבנו שינוי ענקי בבקאנד כדי לאפשר לאפליקציה מסוימת לפתח יכולת חדשה. אני זו שכתבתי את הקוד שבאמת אפשר את זה, ועשיתי את זה ברמה גבוהה ובלחץ וקיבלתי בצדק קרדיט על ההצלחה של הפרוייקט. אבל היא היתה מישהי שעבדה גם בבקאנד וגם באפליקציה שעבורה עשינו את השינוי, כך שהיא יכלה לחקור שם נקודות מאוד עקרוניות בממשק בין הבקאנד לאפליקציה שאני בשלב זה של העבודה בחברה כנראה לא הייתי מצליחה לעשות.

במקביל, במאת היה מדובר על מישהי עם בעיות בריאותיות מאוד קשות שבמסגרתן היא קיבלה חל״ת מאוד ארוך ואז אפשרו לה לחזור לעבוד במשרה חלקית עד שהיא תתאושש (כולל גמישות בשעות ההגעה והיציאה מהמשרד), ולא רצו לפטר אותה בתקופה הרגישה הזו. מעבר לזה, אני חושבת שהיתה תקווה מסוימת שאם היא תעבוד בצוות קטן ואינטימי יותר (כמו הצוות שבו אני עבדתי איתה) שבו היא באמת תוכל להיות סניורית ובעלת מעמד, היא תוכל להתגבר על ההתנהגות הזו ולבנות בטחון עצמי ביכולות שלה שהיה משחרר אותה מההתנהלות הבעייתית.

כזה לא קרה, ובמקביל אני הוכחתי את עצמי בעוד כמה משימות כמי שיכולה למלא תפקיד של סניורית בצוות (כשבמקביל מצבה הבריאותי השתפר כמובן), היא באמת פוטרה.

דרך אגב, לדעתי זה לא מקרה חריג שחברות מנסות לתת עוד ועוד צ׳אנסים לעובדים במצבים כאלו. גם באמדוקס זכורים לי שני סיפורים שאני אישית הייתי מודעת לפרטים כי הייתי מיודדת עם העובדות הרלוונטיות, גם אם לא עבדתי איתן ישירות.

 

[חזי2003]

לשאלה המקורית:
בעיניי, מבחני קודיליטי טובים לשני דברים.
הראשון זה לסנן החוצה את מי שבוודאי לא יודע לכתוב קוד. זה נכון שגם מי שפתר כמו שצריך אולי נעזר בחבר טלפוני או ב-LLM וכו', אבל דבר ראשון חסכנו את אלה שבוודאות לא יודעים.
השני, כשכבר מגיעים לראיון, אפשר מיד לצלול לפתרון של המרואיין ולדבר עליו, אז חסכנו זמן של הצגת השאלה וכתיבת הפתרון וקפצנו מיד לשלב של הדיונים (ועל הדרך נגלה אם המועמד כתב את הפתרון בעצמו או שאין לו מושג מה הולך שם)