פסילת הצעת מחקר

[יובל חייט]

פסילת הצעת מחקר

שלום רב סיימתי תואר ראשון בתחום X ותואר שני בתחום Y ללא תזה עם ממוצע 80. ניגשתי לתואר שלישי בתחום X, ושם נמסר לי כי בהתאם לנתונים שלי, אני יכולה להתחיל מסלול השלמות, שבמהלכו אני כותבת עבודה שוות ערך לתיזה, וכן עוברת וועדה שתבחן אילו או אם עליי גם ללמוד קורסים כלשהם. לאחר מילוי הדרישות של הוועדה והגשת עבודת שוות הערך, אני אמורה להגיש מועמדות לתואר שלישי והם יבחנו האם לקבל אותי. מצאתי מנחה וכתבתי "הצעה פרילימינארית לעבודה שוות ערך לתיזה במסלול השלמות לדוקטורט". שני שופטים פנימיים שפטו את העבודה, וקיבלתי מכתב חוות דעת מהוועדה לתואר שלישי שכלל תיקונים קלים ושורה תחתונה כתוב שההצעה מאושרת (זה טופס שבו יש רובריקה שצריך להקיף בעיגול אם ההצעה מאושרת או לא, והם הקיפו שההצעה מאושרת). לאחר מכן התחלתי לעבוד על הצעת המחקר, ובמקביל, אספתי נתונים למחקר עצמו והתחלתי בניתוח הנתונים והסקת מסקנות, כפי שהורה לי המנחה שלי. לאחר כל התיקונים, הגעתי למזכירות תואר שלישי בפקולטה כדי למסור את הצעת המחקר. המזכירה אמרה שהיא לא מקבלת את ההצעה, מכיוון שיש לה בתיק האישי שלי מכתב מאחד השופטים, שבו כתוב שההצעה (הפרילימינארית) ברמה נמוכה ו"לא לעניין" כדבריה. היא לא מוכנה להראות לי את המכתב (או להקריא לי אותו) כיוון שלדבריה הוא לא ממוען אליי אלא ליו"ר הוועדה לתואר שלישי. אי לכך הוחלט לא לאשר לי ללמוד במסלול השלמות. כמו-כן, גם לא מאשרים לתקן את הצעת המחקר, כלומר להרים את רמתה, לטענתה הוחלט שההצעה פסולה. הראיתי לה את המכתב שיש בידי, שבו כתוב שההצעה טובה ומאושרת. לטענתה בנוסף למכתב זה, אחד השופטים כתב מכתב נוסף (זה המכתב שלא הגיע לידיי ולא נותנים לי לראות אותו). לטענה מדוע היא לא אמרה לי/כתבה לי להפסיק את עבודתי, כלומר נתנה לי להמשיך לעבוד, היא רק עונה "אז הנה עכשיו אני אכין לך מכתב להפסיק את העבודה, תקבלי אותו בדואר בשבוע הבא". התקשרתי למנחה שלי, ושאלתי אותו האם הוא ידע על אותו מכתב, ואם כן מדוע המשיך להנחות אותי ולעבוד איתי על המחקר. המנחה אמר שהמכתב לא הגיע לידיו, אך יו"ר הוועדה צילצל אליו ואמר לו שאחד השופטים אמר שהעבודה ברמה נמוכה. המנחה טוען שבאותה שיחת טלפון הוא אמר ליו"ר הוועדה שהעבודה הולכת ומשתפרת, שנוסיף חומר ותוכן לעבודה, נעלה את רמתה, וכן נגיש הצעת מחקר (בנוסף להצעה הפרילימנארית) שאותה הוועדה תבחן. המנחה אומר שיו"ר הוועדה הסכים. כאמור אף אחד לא יידע אותי בכל זה. כעת יש בידי הצעת מחקר שלא מוכנים לקרוא אותה, וכן אוסף של מאות נתונים מוכנים לניתוח. האם התקיים כאן הליך תקין? ואם לא האם יש משהו שאני יכולה לעשות? מה אני יכולה לעשות במצב הנוכחי? תודה

 

[משוש30]

תבקשי מהמנחה שלך שיבקש מיו"ר הוועדה

שיעדכן את המזכירה! לא ייתכן שהדברים יתנהלו כך! כלומר, אני מניחה שניתן לפסול הצעת מחקר אבל לא בדרך בה הדבר נעשה.

 

[israel1962]

הייתי מחפש מחלקה ומנחה יותר מסודרים

נראה לי מנחה חלש ובלי מילה עכשיו את בהתחלה... מה יהיה אם תתקעי עמוק במחקר זמן עבודה רבה ואז ישחקו איתך משחקי אגו וכוח תגידי יפה שלום ותמשיכי הלאה

 

[נועה לביא]

כן, גם לי יצא להינות ממזכירה לא מעודכנת

שהחליטה לספר לי סיפורי סבתא בשם אותו זה שלמעשה לא עדכן אותה. אחרי שהייתי בטוחה שסוף העולם הגיע, טלפון אחד הבהיר את העניינים. בקיצור, המנחה ויו"ר ועדת ההוראה צריכים לעדכן את הגברת.

 

[פלפל אנגלי]

מה שמטריד אותי במקרה הזה

היא ההתנהלות המערכתית נטולת השקיפות. אני לא יודעת באיזה מוסד את אבל ברבות מהאוניברסיטאות יש נציבי קבילות סטודנטים/אומבודסמנים שתפקידם לעזור בדיוק במקרים כאלה.

 

[קיפי סגול]

התלבטתי אם לשתף

והחלטתי שכנראה שהגיע הזמן לחשוף את הסיפור האישי שלי, מנקודת מבטי הסובייקטיבית לחלוטין. ובכן, כשהגשתי את עבודת הדוקטורט לשיפוט המנחה והשופטת הפנימית קיבלו אותה עם הערות קלות בלבד מצד הבוחנת הפנימית. הבוחנת החיצונית לעומת זאת כתבה מכתב מפורט עם דרישה לתיקונים רבים. רובם סבירים. אבל, דבר אחד שהיא העלתה הוא בנוסח "מדוע לא נבדק גם... זה יכול היה להסביר חלק מהתוצאות". היא גם כתבה שהיא "לא יודעת אם יש בכך כדי לפסול את העבודה והיא משאירה את הדבר לשיקולו של יו"ר הוועדה לתואר שלישי". . יש לציין שאותו דבר שהיא חשבה שצריך היה להיבדק בא ממסגרת תיאורטית שונה לגמרי מזו שהשתמשתי בה למחקר ולא הוזכר כלל בהצעת המחקר שאושרה ע"י הועדה - כשאותה בוחנת עצמה היתה בין הבוחנים שבדקו ואישרו את הצעת המחקר. אני "כמובן" לא אמור לדעת מי הבוחנת, אבל הדבר נודע לי בדרכים עקיפות ובדיעבד והתברר שאותו נושא שהיא ביקשה להוסיף הוא בדיוק התחום שאותו היא חוקרת (במלים פשוטות: היא ציפתה שאעשה את המחקר שלה ולא את שלי) ובדיקה של אותו דבר נוסף הייתה מחייבת להתחיל את כל איסוף הנתונים מחדש. בהתייעצות עם המנחה- חוקרת בעלת מוניטין עולמי, אבל כבר מעבר לשיא ופנסיונרית מאונ' בחו"ל ועולה חדשה שלא מכירה מספיק את הביורוקרטיה המקומית וחסרת כוח בפוליטיקה הפנימית- הוחלט שהדרך הנכונה תהיה לתקן את העבודה לפי כל שאר ההערות ואלה נושא המדובר להתייחס בפרק הדיון כמגבלה של המחקר, להסביר שהנושא לא נבדק כיון שהוא מחוץ למסגרת התיאורטית ולציין זאת ככיוון למחקר עתידי. הגשתי את העבודה המתוקנת לבדיקה נוספת וחיכיתי לתשובה... וחיכיתי... וחיכיתי. כשלא הגיעה התשובה אחרי כמה חודשים, המנחה פנתה ליו"ר הוועדה לתואר שלישי. ואז הוא "נזכר" לעדכן אותה שהבוחנת דיברה איתו בטלפון(!) ואמרה ש"הסטודנט מסרב להתייחס להערותיי". אגב, העבודה ה"גרועה" שאינה ראויה לאישור זיכתה אותי פחות משנה קודם בפרס הרקטור. שוב, בהתייעצות עם המנחה החלטנו לכתוב מכתב ליו"ר הוועדה והפעם להיות חריפים יותר ולהזכיר שאותו נושא לא נכלל בהצעת המחקר שאושרה ע"י הוועדה. ושוב עברו כמה חודשים בלי שום תגובה, שביניהם כמה שיחות של המנחה עם יו"ר הוועדה בטלפון ופנים אל פנים. רק לאחר לחץ של המנחה החליט סוף סוף יו"ר הוועדה לעשות את מה שהיה בסמכותו לעשות מלכתחילה- לשלוח את העבודה לבוחן נוסף. גם זה נודע לי רק כשהרמתי טלפון למזכירת הוועדה לברר מה קורה. אף אחד לא חשב שמן הראוי לעדכן את הסטודנט או המנחה. בסופו של דבר הבוחן הנוסף אישר את העבודה כמו שהיא. בסה"כ עברה שנה (!) מאז שהגשתי את עבודת הדוקטורט ועד לאישורה, כשבמהלך שנה זו הדברים התנהלו בחוסר שקיפות מוחלט: בוחנת אנונימית מבחינתי (למרות שכאמור נודע לי מי זאת), תקשורת בין הבוחנת לוועדה שאינה מתועדת אלא נעשית בטלפון ואינה מגיעה לידיעת הסטודנט, יו"ר וועדה שאינו מעביר מידע לסטודנט או למנחה אלא רק כשפונים אליו וכו'. כשאני רואה היום מהצד השני כחבר סגל איך דברים מתנהלים במקומות אחרים בעולם, ברור לי לחלוטין שבמקום בו אני נמצא כיום דבר כזה פשוט לא יכול לקרות. 1) לכל סטודנט יש וועדה שמלווה אותו לכל אורך הדרך ותפקידה לוודא שהעבודה עומדת בדרישות. 2) ההתייחסות להצעת המחקר הרבה יותר מחייבת. כתבתי כאן פעם שהצעת מחקר היא סוג של חוזה בין הסטודנט לוועדה/ אוניברסיטה. הסטודנט צריך לשאוף לבצע את ההצעה כפי שאושרה (אם כי יש גמישות מסויימת כי תמיד במחקר קורים דברים לא מתוכננים) ואם הוא עושה זאת אי אפשר לבוא כלפיו בטענות שהיה צריך להיבדק גם... 3) הבוחנים- הפנימי והחיצוני- שאינם חברים בוועדה אינם מסתתרים מאחורי אנונימיות. שמותיהם ידועים לסטודנט, למנחה ולוועדה המלווה של הסטודנט. ו 4) (וזה הכי חשוב), לבוחן חיצוני אין משקל יתר לעומת המנחה, חברי הוועדה או הבוחן הפנימי. אם יש רוב שמאשר את העבודה, העבודה תאושר למרות התנגדות הבוחן החיצוני (היה לנו מקרה של בוחן שבא מאסכולה פוזיטיביסטית ובחן עבודת מחקר איכותנית ובהתחלה רצה לפסול את העבודה. כמו שקורה בד"כ הצליחו להגיע להסכמות, אבל כשלא הולך דעת הרוב היא שמכריעה). בקיצור, לא מאחל לאף אחד כאן להיתקל במצב כזה. וליובל, את עדיין בשלב מוקדם יחסית. אמנם השקעת מאמץ בכתיבת הצעת המחקר אבל זה לא שקול לכתיבה של עבודת תיזה או עבודת דוקטורט. את במצב שבו בהחלט כדאי לך לשקול למצוא מקום אחר ומנחה אחר, כי התחלת דרכך במקום הנוכחי לא מבשרת טובות (ואני בהחלט נוטה להסכים עם הניתוח של יאיר).

 

[Unicorn98]

חוויתי משהו דומה בזעיר-זעיר אנפין. שאלה:

אתה אומר שהצעת המחקר היא מעין חוזה בין התלמיד למוסד, ושמעתי דבר דומה מעוד אנשים. קרי - ברגע שהוועדה מאשרת את ההצעה, זהו מתווה עקרוני שהליכה בתלמו תספק את האוניברסיטה. השאלה שלי - הרי דיסרטציה אמורה להיות ברת פרסום, כלומר הן להציג ממצאים משמעותיים והן להיות רלוונטית ומחדשת לשדה המחקר. אם סיפקתי את דרישות ההצעה אך הממצאים יוצאים בלתי רלוונטיים/משמעותיים או מובהקים? אשמח אם תוכל קצת להסביר את הדינמיקה המורכבת.

 

[yairma1]

לדעתי...

אכן, הצעת המחקר אמורה להיות הבסיס להתקשרות עם האוניברסיטה. באופן עקרוני, מה שאושר אמור לבוא לידי ביטוי במחקר. אולם, וזה ההבדל בין "דוקטורט מאמרים" לבין עמיתו הקלאסי - אם מאיזו שהיא סיבה לא ניתן לפרסם הרי שהסטודנט מקבל את הציון על בסיס העבודה שכתב. למשל, תחשוב על מצב בו אתה חוקר במשך 6 שנים נושא שטרם נחקר. שבועיים לפני הגשת העבודה מישהו מפרסם מאמר זהה. אם היה מדובר בפרסום רגיל - היית חורק שיניים, מאחל למנוול שלל איחולים לפיהם הגיהנום יראה כגן עדן, אולי משנה קצת את המיקוד של המאמר ומנסה לפרסם בכל זאת. לא התפרסם - לא נורא. יש עוד אפשרויות. אם זה דוקטורט זה כן נורא. אם זה דוקטורט מאמרים שנמדד ביכולת לפרסם ובפרסום בפועל, זו בעיה גדולה מאד. זו בדיוק הסיבה מדוע קיים הערוץ הישן ויש שיאמרו הטוב והעדיף, לכתוב דוקטורט שנשען על הצעת המחקר ונע קדימה בלי קשר (או עם קשר מועט), לשאלה אם בינתיים מישהו פרסם כזה מחקר. יאיר

 

[Unicorn98]

יאיר, תובנותיך מעניינות. תודה. ארצה לשאול -

האם דוקטורט "קלאסי" יאושר גם ללא ממצאים משמעותיים? צריך להפריד בין מאמרים שהתפרסמו (כמו דוק' מאמרים) ובין הדרישה שהממצאים יהיו "ברי פרסום". שהרי הביטוי המאוחר משמעו שיש ממצאים שראויים לפרסום (גם אם מישהו הקדים אותך). מצד שני, מה קורה אם אין ממצאים מגובשים, למרות שההצעה אושרה? הרי תוכנית המחקר יכולה להיות מצוינת, ואין כל בטחון שתניב ממצאים מובהקים (בכל כיוון שהוא, לצורך הדיון). שאלה אחרת מעניינת, המנחה שלי המליץ בחום ללכת בכיוון של דוקטורט מאמרים. הטענה הראשונית היתה שזה וודאי מועיל הרבה יותר לקריירה אקדמית. טענה אחרת היתה שזה בעצם יותר קל ופחות מאמץ. לי נדמה שאפילו בחומרים מהתיזה שלי אפשר להוציא מאמר או שניים (אני עובד על מאמר כזה עם המנחה כעת). האם מותר לכלול בדוק' מאמר שמבוסס על איסוף התיזה (שאינה פרסום רשמי, כמדומני)?

 

[yairma1]

לדעתי:

מחקר עושים כדי לבדוק. אם התשובה ידועה מראש הרי שלא צריך מחקר. לכן, יש הטוענים שגם תשובה שלילית או לצורך העניין חוסר מובהקות (שקשורה ליכולת ההכללה) היא תוצאה בסדר גמור. אלא מה? כוון שאנו מוטים מאד לכוון של תוצאה שיש בה מן החידוש ירחונים שונים לא יפרסמו מחקר שלא מצא דבר אלא יעדיפו מאד מחקר שמצא דבר מה. אגב, גם ממצא שלילי ששולל טענה של מישהו לקשר וחוסר היכולת להוכיח קשר זה היא לפעמים מעניינת. אולם, לרוב נרצה תוצאה של מה כן ולא מה לא. כי חוסר קשר מעלה טווח רחב של אפשרויות בעוד שתשובה פוזיטיבית מכוונת לדבר מסוים. לכן יש הטיה חזקה מאד לצורך להוכיח דבר מה. לכן, כאשר מחקר לא מניב שום תוצאה מתחילים לחפש בציציותיו. מדוע זה קרה. האם התיאוריה שנעשה בה שימוש לא נכונה. הסקת המסקנות מהתיאוריה היתה שגויה. השיטה, רחמנא לצלן פגומה קלות או כל דבר אחר. קשה מאד להתמודד עם הביקורת על תוצאה שאינה מראה דבר. כאשר מדובר רק במובהקות אפשר לתקן זאת בעזרת הרחבת המחקר או שינוי שיטות ניתוח. כאשר לא נמצאים קשרים זו בעיה אחרת. קשה יותר להתמודדות. כשעושים דוקטורט קלאסי הרבה נשען על התהליך. תהליך נכון יניב נכונות רבה יותר לקבל את התוצאה השנויה במחלוקת. בעוד שדוקטורט מאמרים הנמדד בתוצאה ברורה של פירסום מתייחסת הרבה פחות לתהליך - למעשה לעורך הירחון ממש לא חשוב כמה עבדת על זה וכמה זה חשוב לך - הוא רוצה לפרסם מאמר שאומר דבר חשוב ומעניין. זה בדרך כלל יהיה ממצא פוזיטיבי. הוכחה של דבר מה. לגבי הקלות שבדוקטורט מאמרים. שים לב שבמחלקות וחוגים שונים דורשים דברים שונים מדוקטורט מאמרים. במקומות מסויימים דוקטורט מאמרים כשמו כן הוא: פורסם בשלושה מקומות ברמה זו או אחרת של מגזינים - הרי שסיימת. במקומות אחרים דורשים שתאסוף את המאמרים הללו לכלל משהו קוהרנטי ותכתוב מבוא וסיכום. במקומות אחרים דורשים יותר מכך. כתוצאה מכך, יוצא שלא תמיד דוקטורט מאמרים הינו קל יותר. לפעמים החיסכון לכאורה הופך להיות מעמסה קשה יותר. כדאי לבדוק בחוג שלך מה הדרישות כדי לוודא שלא תופתע משלל מטלות הנלוות לדוקטורט מאמרים שלא תכננת. כאמור, שווה גם לבדוק מה שכתבתי בפוסט הקודם. מה קורה אם זה לא מתפרסם - ממיליון סיבות אפשריות - רק מחציתן קשורות לאיכות המאמר. האם, במקרה של תקלה, תוכל "להיסוג" ולכתוב דוקטורט קלאסי או שתתעורר בעיה גם עם זה? גם לגבי מה ניתן לכלול היכן צריך לברר את הנוהל של החוג שלך - אני חושב שזה קצת שונה בין מקום אחד לשני ובין תחום אחד לשני. יאיר

 

[tulkin]

אני רק הערה קטנונית

חוסר מובהקות, לפחות בעיני כמה חוקרים טובים, הוא בעיקר עדות לתכנון מחקר לקוי. אסור לשכוח שמבחנים סטטיסטיים הם אינם סימטריים. "לא נמצא אפקט" אין משמעו "האפקט לא קיים" אם חוששים שאפקט מסויים לא קיים, אפשר לתכנן מחקר שיאשש (באופן סטטיסטי מובהק) את אי קיומו. אם רוצים ללכת בשיטת הגילוי, כלומר לבצע מחקר שיבדוק "האם קיים אפקט X או לא" - אזי צריך לתכננו כך שבין אם קיים האפקט ובין אם איננו קיים, התוצאות תצאנה מובהקות. ברוב מדעי החברה הלוגיקה של המחקר שונה לחלוטין מ"שיטת הגילוי". בד"כ יוצאים מתאוריה, גוזרים ממנה השערות לגבי מה צריך להיות האפקט לו התאוריה נכונה, ואז בודקים אם האפקט קיים. בצורת הטיעון הזו אתה באמת מצפה שיהיה אפקט. אי מציאת האפקט (לא "אי קיומו", אלא אי מציאתו בלבד) מהווה הפרכה לתאוריה, ובזה ניתן להסתפק. (מציאת האפקט כמובן מאששת את התאוריה במידה וזו השערה שמאתגרת את התאוריה, וזו נקודה חשובה מאד. כי תרומת המחקר היא פחות במציאת האפקט, שכאמור היה צפוי, אלא ברמת האתגור של ההשערה - ואת זה אפשר לראות עוד בשלב הצעת המחקר).

 

[קיפי סגול]

זו קצת אידיאליזציה של המציאות

במציאות, לרוב אי מציאת האפקט לא נתפסת כמשהו שמפריך את התיאוריה. לרוב מחפשים כל מיני הסברים- בד"כ כמו שציינת קשורים לתכנון המחקר- מדוע האפקט לא נמצא. חוקרים כמעט תמיד נמנעים מלומר "לא מצאנו אפקט ולכן התיאוריה שגויה". ולגבי אי גילוי האפקט לעומת אי קיומו: המבחנים הסטטיסטיים הקיימים ברובם נועדו לבחון הסתברות של השערת אפס לפיה אין אפקט. זה שונה מאד ממבחן שבא לבדוק (ולנסות לשלול) השערת אפס לפיה יש אפקט. אני לא מומחה גדול בסטטיסטיקה, אבל אני למעשה לא מכיר אף מבחן כזה. לכן, יש לנו בעיה להראות שאפקט כלשהו איננו קיים. פשוט- ותקן אותי אם אני טועה- אין לנו כמעט כלים לטפל בשאלה כזאת.

 

[tulkin]

אז ככה -

לגבי ההערה הראשונה שלך. אני מסכים איתך ששום "אי מציאת אפקט" לא נתפסת כהפרכה של תאוריה אבל: א. זו הלוגיקה עליה מבוססים הרבה מחקרים במדעי החברה ב. רמת התאוריזציה במדעי החברה היא, בעיני ולצערי הרב, נמוכה למדי - ולכן אין בהפרכת תאוריה שום דבר יוצא דופן, מהפכני או מעורר עניין. מה שנוטים לקרוא לו תאוריה זה בעצם נרטיב לוגי-תאורטי, סיפור שמסביר לך על סמך ממצאים קודמים למה מוצדק לשער השערה חדשה שלא חשבו עליה קודם. זה טיעון תאורטי, אבל לא תאוריה. ובהתאם הפרכה, אם ישנה, היא הפרכה של טיעון תאורטי, לא של תאוריה. וזה באמת לא ביג דיל, ולכן גם לא מתפרסם לעתים קרובות. לגבי החלק השני של מה שכתבת: אכן, המבחנים הסטטיסטיים המקובלים אכן לא יכולים "לאשש את השערת האפס". זה לא אומר שאי אפשר לבנות מבחנים שמאששים את השערת האפס. הנה 3 אפשרויות: 1. להתייחס יותר ברצינות לעוצמה סטטיסטית. עצמה סטטיסטית היא הסיכוי למצוא אפקט בהנחה שהוא קיים. עצמה סטטיסטית גבוהה מאד תחזק את המסקנה שאין אפקט אם אפקט כזה לא נמצא. זה לא כל הדרך - שכן עצמה סטטיסטית מושפעת מדברים אחרים - אבל זו בהחלט כברת דרך. היום משתמשים בשיקולי עצמה בעיקר לתכנון המחקר (קביעת גודל מדגם) ולעתים קרובות יותר אפילו מתעלמים מכך לגמרי (מעט מאד מאמרים מדווחים על עצמה סטטיסטית. רק על מובהקות מדווחים. הנקודה היא שאם לא מוצאים אפקט מובהק, אבל מראים עצמה סטטיסטית גבוהה - יש כאן בהחלט סיפור מעניין מאחורה. 2. הופכים את הכלים בעזרת סטטיסטיקאי מוכשר: אין שום דבר קדוש ב"השערת אפס" שמניחה שאין אפקט. זה רק נוח, אבל אפשר להפוך את היוצרות - לשער השערת אפס שיש אפקט ולתת השערה אלטרנטיבית שאין אפקט. אלא שאז צריך לנסח מחדש את המבחנים הסטטיסטיים (צריך לזכור שהמבחנים הסטטיסטיים מבוססים על חישובי הסתברות בהנחת השערת האפס. עבור השערת אפס פשוטה, החישובים האלה פשוטים, אבל עבור השערת אפס מסובכת של "יש אפקט" החישובים האלה מורכבים ודורשים ידע סטטיסטי רב ואולי סימולציות רבות וכו' - הרבה מעבר לכוחו של מדען חברה ממוצע). 3. נוטשים את פרדיגמת "השערת האפס". בכלל, ככל שעובר הזמן ומשתכללות השיטות הסטטיסטיות גוברת הביקורת על הפרדיגמה הסטטיסטית הזו. היא מבוססת במהותה על לוגיקה שגויה, שאמנם עובדת בד"כ מספיק טוב, אבל היא עדיין שגויה. יותר ויותר אנשים עוברים לסטטיסטיקה בייזיאנית ומודלים בייזיאנים להסקה סטטיסטית. במודלים האלה אין השערת אפס ואין את חוסר הסימטריה המובנה בפרדיגמת "השערת האפס". גם אין את הלוגיקה השגויה של הפרדיגמה הזו. בהסקה בייזיאנית אפשר לאשש או להפריך גם טענות של "אין אפקט", ללא בעיה רבה. הבעיה העיקרית שהשיטה הזו שונה מכל מה שלימדו אותנו, דורשת תוכנות אחרות לגמרי, עקומת הלמידה שלה לא פשוטה, והמודלים שלה יותר מורכבים מה המודלים הלינארים הסטדנרטיים שאנחנו רגילים אליהם. ייקח קצת זמן, אבל אני מאמין ש10-20 שנה מעכשיו זו תהפוך להיות פרדיגמה מרכזית, או לפחות משמעותי מאד במחקר כמותי במדעי החברה.

 

[קיפי סגול]

עוצמה סטטיסטית

כמו שציינת היא הסיכוי למצוא אפקט בהנחה שהוא קיים. זה לא אותו דבר כמו "לא למצוא אפקט בהנחה שהוא לא קיים". כלומר עוצמה סטטיסטית היא דרך טובה לבחון את ההסתברות לטעות מסוג שני (יש אפקט אבל לא מגלים אותו במחקר) ולא כדי לפתור את הבעיה שאנחנו מדברים עליה. הפיכת הכלים היא בהחלט דרך מעניינת. דיברתי על זה פעם עם חבר ביואינפורמטיקאי. לגבי סטטיסטיקה בייזיאנית ההבנה שלי מאד בסיסית. (אני מסוגל לחשב sensitivity, specificity ו predictive value של בדיקות רפואיות למשל, ומבין את הרעיון של simple markov models אבל זה בערך עד כמה שהבנתי מגיעה...)

 

[tulkin]

אתה כמובן צודק לגבי עוצמה סטטיסטית

אבל הפער הלוגי הזה הוא בדיוק האח התאום של המובהקות הסטטיסטית: אתה מעוניין לדעת את ההסתברות שהשערת האפס שלך נכונה בהינתן ממצאיך, ומובהקות ססטיסטית נותנת לך את ההסתברות לקבלת הממצאים שלך בהינתן השארת האפס. גם פה יש פער לוגי, ובכל זאת כבר עשרות שנים משתמשים בהסקה המבוססת על העקרון הזה. לכן נזהרתי עם ההמלצות שלי בנוגע לעצמה סטטיסטית (ואם לא הבהרתי זאת היטב, הריני עושה זאת עכשיו). עצמה גבוהה ומובהקות נמוכה מעידות על סיפור מעניין, שכנראה ניתן להסיק ממנו על נכונותה של השערת האפס - אבל זוהי מסקנה בעייתית מבחינה לוגית, ולכן צריך להיזהר בה מאד, ולבחון את הסיפור יותר לעומק.

 

[22ק ו ס ם]

עם כל הכבוד לסטטיטסטיקה הבייסינאית

שאני אגב מתומכיה, יש לה את המגבלות שלה. כל הניסיונות לחלק את העולם לכאלו שמשתמשים בסטטיסטיקה טובה או גרועה מתעלמות מהיתרונות והחסרונות של כל שיטה. בסטטיטיקה בייסינאית אתה צריך לתת הסתברויות אפריוריות וזה לא תמיד אפשרי או מדויק. יש בזה הרבה מן הניחוש ואם אתה טועה אפילו בקצת, אז המסקנות של המחקר שלך יהיו שגויות. בסטטיסטיקה השכיחותית יש דגש גדול מדי על מבחני מבוהקות והיום הנטייה היא לא לקבוע באופן שרירותי אלפא שרירותי אלא פשוט לדווח את ההסתברויות, כמו גם גודל אפקטים וגם על רווח סמך שהוא אינדיקטור חשוב מאוד.

 

[22ק ו ס ם]

מה זאת אומרת שחוסר מובהקות זה סימן לתכנון

לקוי של המחקר? אם אני בודק הבדלים בין שתי קבוצות על סמך מיטב הכלים הקיימים ולא מוצא מובהקות זה אומר שהמחקר לא טוב?! ממש לא ברור לי המשפט הזה. זה שיש אפשרות שאפקט קיים לא התגלה לא אומר שזה ככה תמיד. ככה עובדת הסטטיסטיקה השכיחותית. בסטטיסטיקה בייסינאית ההיגיון אחר אבל לזה מצטרפות בעיות אחרות.

 

[קיפי סגול]

בעיני ממצאים לא מובהקים חשובים לא פחות

ואולי יותר מממצאים מובהקים. זה לא שלא מצאת קשר (נניח), אלא מצאת שאין קשר - כמו שאמר לי פעם מורה חכם בתיכון שהנחה אותי בעבודת גמר. לצערי, יש הטייה פרסומית כנגד מחקרים כאלו שאין בהם ממצאים מובהקים, ואני חושב שזה במידה מסויימת מעוות את ההבנה שלנו לגבי תופעות שונות.

 

[tulkin]

הבעיה היא בדיוק זו שאתה ציינת

שום שיטה סטטיסטית מקובלת אינה יכולה להראות ש"אין קשר". כל מה שיכולת להראות זה שלא מצאת קשר - וזה בד"כ אפשר לייחס לשלומיאליות כזו או אחרת של החוקר. לכן יש צדק מסויים בהטיית פרסום ממצאים מובהקים. רק צרוף של הרבה מאד ממצאים לא מובהקים, באמצעות מטא-אנליזה יכולה, אולי ובתנאים מסויימים, לאשש טענות של "אין קשר".

 

[22ק ו ס ם]

הוא יכול להיות מאושר, בהחלט

לי יצא לקרוא דוקטורטים שלא מצאו שום דבר מרעיש. זה נראה לי מאוד תלוי במחלקה ובתחום אבל יש גמישות רבה. צריך לזכור שיש גם אנשים שלא ממשיכים לקריירה אקדמית והדוקטורט שלהם הוא סיכום הקריירה שלהם. במקרה כזה, גם אם לא גילו משהו משמעותי אפשר לתת להם לסיים את הדוקטורט כי עוד עיכוב יכול למנוע את ההשלמה שלו. וכמו שיאיר אמר, בהנחה ששאלת המחקר והשיטות היו טובות, גם אם לא התגלה אפקט מסוים עדיין יש לזה חשיבות. לגבי פרק מהתיזה, אני יודע שזה אפשרי אבל תלוי במנחים.