שיטות מחקר כמותיות

[tulkin]

בתור אחד שמבין קצת מתמטיקה ומעט סטטיסטיקה

ומבין פחות או יתר מה חוקרים במדעי החברה זקוקים לו.... ואחרי עיון בתוכן העניינים ובכמה עמודים לדוגמא הספר הזה בכלל לא מכיל סטטיסטיקה מתקדמת. הוא לא מכיל אפילו שביב של משהו שרלוונטי לאנשי מדעי החברה. הוא כן מכיל את הבסיס התאורטי עליו מתבססות תאוריות של הסקה סטטיסטית, החומר יותר קרוב לחומר שמכוסה בקורס בסיסי בתורת ההסתברות. אבל מעט מאד עמודים בו יכולים להיות רלוונטיים עבור איש מדעי החברה, ולא בגלל שהם לא מבינים מתמטיקה. מצד שני, אני מסכים איתך שיש יחסית מעט ספרים שנותנים מספיק עומק תאורטי לסטטיסטיקה ונגישים ורלוונטיים לאנשי מדעי החברה (או חוקרים כמותיים אחרים). אני מחפש כאלה גם, ואשמח לשמוע המלצות. בינתיים אני לומד מספרי תאוריה סטטיסטית שנגישים אך ורק לדוברי וקוראי מתמטיקה שוטפת. וזה בעיקר מייגע וגוזל זמן (זה גם מעניין, ולפעמים מזכיר לי למה אני כל כך אוהב מתמטיקה, אבל לא כל כךרלוונטי לי ודורש הרבה עבודת סינון)

 

[22ק ו ס ם]

הנה ספר מצויו לשיטות ליניאריות

זהו ספר מקיף שמשמש רפרנס טוב. הוא טוב כי הוא מציין את המודלים המתמטיים עם כל ההנחות שצריך לקחת בחשבון. יש בו קצת מתמטיקה אבל לא קשה מדי במיוחד. חשוב לזכור שיש הרבה מאוד ספרים ייעודיים לטכניקות ספציפיות (למשל רב משתנים) או לדיסיפלינות ספציפיות. הכי טוב לערוך חיפוש יחד עם הדיסיפלינה שלך (פסיכולוגיה, ניהול וכו') כי הדוגמאות יהיו יותר רלוונטיות.

 

[tulkin]

תודה, אני אעיין בו.

אם יש לך המלצות לספרים על שיטות אחרות, מתקדמות יותר, אני אשמח גם.

 

[22ק ו ס ם]

תלוי איזה שיטות

קח בחשבון שספרים כלליים תמיד יהיו שטחיים יותר מספרים ספציפיים. הכל תלוי באיזה כלים אתה משתמש. יש ספרים שלמים רק על דגימה למשל ואיך לבצע דגימה טובה. לרוב האנשים זה לא ממש רלוונטי אבל לחלק כן. אתה למשל הבנתי מתעניין ברשתות. אין לי מושג איזה ספרים יש בנושאים הללו. הכי טוב לקחת קורסים בסטטיסטיקה באוניברסיטה שלך שעוסקים בנושאים שמעניינים אותך ותוך כדי לימוד לקרוא את הספרים. הרבה פעמים ספרי סטטיסטיקה יושבים על המדף ללא שימוש. אנשים לא יושבים וקוראים ספר כזה מתחילתו עד סופו, אז גם את זה צריך לקחת בחשבון.

 

[tulkin]

כרגע מעניין אותי

structural equation modeling וגם hierarchical linear models שאני יודע עליהן מעט מאד, ונראות לי רלוונטיות ומעניינות. וחוץ מזה מעניין אותי לדעת איך קרה ולמה קרה שמדעי החברה זנחו גישות בייזיאניות להסקה סטטיסטית - גישות שפורחות בעולם המדעים המדוייקים ומדעי המוח, ושלי, למשל, יש הרבה פחות בעיה עקרונית איתן...

 

[22ק ו ס ם]

יש קורסים שלמים לנושאים הללו שעדיף לקחת

תמיד אפשר ללמוד אותם לבד אבל זה לא קל. SEM מציעים היום יותר ויותר במחלקות של מדעי החברה או חינוך ואם לא אפשר לקחת מהמחלקה לסטטיסטיקה שבטח מציעה משהו בכיוון. אני לא חושב שמדעי החברה זנחו שיטות בייסיניאיות. אני מכיר כמה כתבי עת שכבר לא מדווחים מובהקות. עם זאת, צריך לזכור שגם הסטטיסטיקה הבייסינית לא מושלמת וצריך להתאים את הכלים למחקר ולא להיפך.

 

[tulkin]

לי יותר נוח ללמוד לבד. לכן אני מחפש ספר טוב

 

[Unicorn98]

הבעיה שהצגת היא מאוד נוכחת, ואצלנו בפסיכו'

בהחלט מודעים לה. בגלל זה הקורסים בשיטות מחקר (הן בסוף ה-BA והן ב-MA) בהחלט מנסות להתמודד עם בעיית חוסר המקורות הכתובים שמגשרים על פערי התוכן המהותיים בין חקר הסטטיסטיקה והיסודות המתודולוגיים-פורמליים שלה, ובין המימוש שלה בתחומי מדעה"ח ובמיוחד פסיכולוגיה. היות ופסיכולוגיה היא (או מתיימרת להיות) התחום המחובר ביותר למתודולוגיות סטטיסטיות ברות קיימא, גם לימודי המחקר בפסיכו' הם המעמיקים ביותר בהשוואה לדיסיפלינות מקבילות. לכן הבעיה היא החמורה ביותר עבור חוקרי פסיכולוגיה ותלמידי המחקר בה. בעברית, משקיעים המון בלימודי סטט' ושיטות מחקר (כ-20% מה-BA וסדר גודל דומה ב-MA באופן ישיר). אגב, הבעיה חמורה בסטט' "שגרתית", אבל כמובן שהופכת אקוטית וקריטית הרבה יותר כשנכנסים לשטחי מחקר שפחות נפוצים, ואז אין בכלל היצע של קורסים. למשל - השטחות, תורת הגרפים, שיטות מחקר של רשתות וכדומה. אתה on your own. אני לא נכנס לויכוח האם צריך אכן לפתח בעצמי את כל המניפסטציות המתימטיות (למרות שאני לעתים נוטה לעשות זאת ברמה התרגולית, אין לי חשש ממתימטיקה למרות שיש לי מחסור לעתים ביסודות הנדרשים, מטבע הדברים). אבל העובדה שאין ספר כפי שהתייחסת, למשל, מאלצת אותנו להצמד לדברי המרצה שלנו לשיטות מחקר, שגם הוא נצמד לדברי המרצה שלו (כולם פסיכולוגים, למרות ההבנה המעמיקה במתודולוגיה ופורמליסטיקה של המתימטקה של הסטטיסטיקה) וכך הלאה. כאשר נשאל בתחילת השנה האם יש ספר שאליו ניצמד, התשובה היתה בבירור לא - הוא נתן לנו כחמישה-שישה רפרנסים, אבל אפילו הסביר שאין טעם ממש לגשת אליהם, הן בגלל המוגבלות שלנו והן בגלל שהוא עצמו עושה שעטנז שרירותי (שלא לומר חצי מקרי...), ומנסה לגשר על פערים. עוד לא הזכרנו את ה"החלקות", העיגולים והעידונים שהוא עושה (אני מזהה רק חלק מהם), למרות ההעמקה היחסית שלנו בהשוואה לחוגים אחרים במדעי החברה, עדיין יש כמה אנשים שמתפלצים בכיתה לנוכח כמה נפנופי ידיים

. בקיצור, עבור רוב האנשים (אלו שלא ימשיכו למחקר) - הבעיה היא מינורית ואולי עדיפה על בעיה הפוכה של חוסר הבנה. עבורי ועבור אנשים שאוהבים מתימטיקה ורוצים להעמיק בהבנה כדי להיות בעלי יכולת גמישות בעתיד (וזו הרי כל הפואנטה) - אנחנו נתקלים בחומה בצורה למדי.

 

[לטינית בנשמה]

זאת בעיה יסודית ביותר

זה כמו לחפש את המטבע מתחת לפנס. אתה למעשה בהודעה שלך רומז על זה ואני אפרט. ראשית, הוא באמת לא היה הראשון שכתב על זה. מיעוט חוקרים רציניים (למשל דניאל כהנמן) כבר כתבו על זה. כהן היה הראשון שבזה שהוא איבד את הנימוס וצעק על זה, הוא גם הביא את העניין למודעות. אחת הבעיות שכהן מדבר עליהן הינו שהפי ואליו נותן לך למעשה את הסתברות הדטה ודטה קיצוני ממנו בהינתן השערת האפס. היינו, הסתברות מותנת. את החוקר מעניין כמובן הסתברות המותנית ההפוכה את הסתברות השערת האפס בהינתן הדטה. אבל את זה אפשר לדעת רק בעזרת חוק BAYSE, והכנסת ההסתברות האפריורית לתמונה. אולם ההסתברות האפריורית (הסתברות השערת האפס ללא נתוני המחקר) היא גודל סוביקטיבי ולא מדעי. היא מחביאה בתוכה כל אי הוודאות שיש לך לגבי השערת המחקר. כמו שמייל כתב, במדעי החברה כל דבר קשור לכל דבר. אותה הסתברות אפריורית מחביאה בתוכה למעשה עובדה זאת שכל דבר תלוי בכל דבר ואותה איננו יכולים לדעת. זאת הבעיה בגישה הבייסיאנית שאתה מדבר עליה. לכן, לפני 60 שנה בחרו ללכת על הפי ואליו ועשו סינטזה, סלט ירקות וסלט מטבוחה, מגישת פישר וגישת ניימן-פירסן. הם בטח מתהפכים כיום בקבר שהם רואים מה עשו מהתיאוריות שלהם. אם אני אתן דוגמא, אזי אני אקח את המבחן הפסיכומטרי כמנבא סיכוי הצלחה בלימודים. הוקוס פוקוס שבודק את הנתונים מראה שיש מובהקות סטטיסטית. היינו בהינתן השערת האפס שפסיכומטרי לא מנבא הצלחה בלימודים, הסתברות הדטה קטנה מ-0.05. אבל אותך כמובן מעניין ההסתברות ההפוכה, ההסתברות שהפסיכומטרי מנבא הצלחה בהינתן הדטה. כדי לדעת את הדבר הזה אתה צריך את ההסתברות האפריורית שהפסיכומרטי מנבא הצלחה. אבל כידוע, הצלחה בלימודים הוא נושא מאד מאד מורכב. הוא תלוי בכל כך הרבה גורמים שחלקם הגדול כלל לא ידוע לנו. על זה בדיוק מייל כתב שבעולם מדעי החברה כל דבר תלוי בכל דבר. מישהו יכול לנבא בכלל שאדם מסוים יצליח כמו איינשטיין? האם יש לנו שמץ של מושג מדוע אדם אחד יוצא סטודנט בינוני ואדם אחר זוכה בפרס נובל? כל אי הוודאות הזאת "מוחבית" באותה הסתברות אפריורית. כמו שכתבת אלו הן "הבעיות" המופנות כלפי הגישה הבייאסיאנית. כתבתי את המילה בעיות במרכאות מאחר והן הרבה יותר מסתם בעיות. אלו הן בעיות היסוד במדעי החברה שלא ניתן להתעלם מהן ואי אפשר לפתור אותן בשיטה סטטיסטית אחרת. הן כאמור כוללות בתוכן את כי האי ודאות שמדע החברה צריך לפתור אבל בהסמכות על הפי ואליו הוא בחר לחפש את המטבע מתחת לפנס במקום במקום החשוך ומאד לא ידוע שיש לחפש את התשובה לגביהם. כלומר הבעיות אינן בעיות בשיטה שניתן לפתור אותן בגישה סטטיסטית אחרת. העובדה שבמשך שנים לא פירסמו בכתבי עת מאמרים בהם הפי ואליו גדול מ-0.05 גורם לכך שכל הדטה הניסיוני שנאסף מוטה. היינו, גם הדטה הגולמי ללא עיבוד שהצטבר במשך 60 שנה הוא לא תקין. זהו משבר אמיתי שעליו כהן צעק ושעדיין לא יצאו ממנו.

 

[תזאי בדימוס]

אופס ../images/Emo9.gif

זה תזאי בדימוס שכתב בלי לשים לב בניק של מישהי שהשתמשה קודם במחשב וגם היא כותבת בתפוז

 

[22ק ו ס ם]

אתה מגזים לגמרי

עם כל הבעיות מדעי החברה הגיעו להישגים רבים. מעבר לכך, אותן שיטות סטטיסיטות משמשות גם מדענים בתחומים אחרים כמו פיסיקה, ביולוגיה ורפואה. אי אפשר להגיד שהן עובדות שם ולא במדעי החברה כשמדובר באותן שיטות ממש (נניח למציאת תרופה חדשה). גם מה שאתה אומר עובדתית לא נכון. יש הרבה מאוד מאמרים ויותר ויותר כתבי עת שלא מתבססים על מובהקות ואפילו רחמנא ליצלן, מדווחים על מובהקות גדולה מ0.05. זה שזה לא מוצא את מה שאתה היית רוצה למצוא, לא אומר שזה נטול חשיבות לגמרי. כמו כל דבר צריך להבין מה המשמעות של כל ניתוח סטטיסטי אבל לא צריך לשפוך את התינוק עם המים, למרות שאני בהחלט לא חושב שסטטיסטיקה נטולת בעיות.

 

[חצישלישרבע]

אבל זו לא בעיה חדשה

בעצם זו התייחסות לבעיה שעומדת בבסיס חלק הארי מהמחקר שמתבצע, שאולי נחסכת מקומץ מקצועות: כשאתה חוקר תופעה מורכבת, התופעה היא , אפעס, מורכבת. יש השפעה של הרבה גורמים, ואופן ההשפעה שלהם מורכב וקשה לניתוח. והגישות להתמודד עם הבעיה הבסיסית הזו הן מה שעומד בבסיסו של מדע באשר הוא מדע:

להעלות השערה לגבי הגורמים המהותיים שמשפיעים על התופעה.

לגבות את הטיעון של הרדוקציה של הבעיה לגורמים המשפיעים האלו.

להציע מודע שמתאר את המשתנים הללו, ואת האופן שבו הם משפיעים על הבעיה

לנתח את הבעיה בהתאם. הצלחות מדעיות גדולות מגיעות דווקא מהמקום של בהירות מחשבתית שמפרידה את ה"מוץ" מן התבן. אין באמת מוץ ותבן כי אין מדד של "איכות, אבל הכוונה היא שכוחו של המדע הוא ברדוקציות מושכלות.

 

[תזאי בדימוס]

ראה תגובה נוספת שלי אליך בנוגע

למהו מדע. הטענה כי התופעות במדעי החברה הם תופעות מורכבות (הרבה הרבה יותר לדעתי מאשר פיסיקת החלקיקים) היא בבירור לא טענה חדשה. אבל המודעות לכך כי לא ניתן להתגבר על מורכבות זאת בעזרת הוקוס פוקוס שנקרא מובהקות סטטיסטית עדין לא הופנמה. ייתכן מאד כי בעוד 300 שנה שיבינו איך המוח פועל יסתכלו על כל המחקרים במדעי החברה ככאלו אשר דומים להקזת דם של פעם. לא יסתכלו כך על המדעים המדויקים כי המדעים המדויקים כל הזמן עומדים במבחני הפרכה. למשל, עצם זה שאנו מתכתבים בפורום באינטרנט, הוא מבחן לתחום הנדסת מחשבים. שיטת המחקר הנוהגת במדעי החברה ואשר ציינת אותה בהודעה שלך, ייצרה מעט מאד ניבויים חדים שניתן להעמיד אותם במבחן הפרכה ואשר בו הם אפילו עמדו. זה היבול של 60 שנות מחקר?

 

[22ק ו ס ם]

אתה מתכווח עם עצמך

אף אחד לא מדבר על שום הוקוס פוקוס או חושב שמובהקות סטטיסטית זה דבר אלוהים חיים. רצוי שתתעדכן קצת בספרות הסטטיסטית במדעי החברה כדי שתראה שהטענות שלך מופרכות למדי. אני ממש לא מקבל את הגישה של הכל או לא כלום. לפי הגישה שלך אין בכלל טעם לחקור כי אין לנו את הכלים לכך וזו שטות גמורה. אפשר לחקור במגבלות הקיימות ולגלות הרבה דברים חשובים. אגב, הדברים שאתה אומר על הפרכה שגויים פעמיים. לא רק שיש הרבה תחומים בפסיכולוגיה (למשל פסיכולוגיה קוגנטיבי) שנותנים ניבויים מדויקים ביותר וברי הפרכה, אלא שכל הקונספקט של ההפרכה בעייתי ביותר מבחינת איך מדע צריך להתקדם. ועדיין, לא הסברת איך אותן שיטות מחקר מיושמות בפיסיקה או רפואה בצורה טובה אבל פתאום לא מוצלחות במדעי החברה.

 

[תזאי בדימוס]

השיטת הללו לא מישמות בפיסיקה

אם הם היו מיושמות בפיסיקה לא היינו מתכתבים כאן היום. זה פשוט לא היה עובד. הרפואה משתמשת במחקרים אפימדיולוגים במדעי החיים לקבוע קבוצות סיכון למחלות מסוימות. המידע הזה משמש לקביעת השער הבסיסי הנדרש לאבחון הרפואי. ראה את הדוגמא של כהן (בעמ' 999 למאמרו) בדוגמא שהוא נותן באבחון סכיזופרניה. אולם השער הבסיסי איננו מוחלף בערך הניבוי החיובי של הבדיקה. ישנו הבדל עצום בין שימוש באפימדיולוגיה לקביעת שער הבסיס שישמש אותנו לחישוב ערך הניבוי החיובי של הבדיקה לבין החלפת ערך הניבוי של הבדיקה עם השער הבסיסי. התיאוריה הרפואית יודעת היטב להישמר מכשלים כאלו. בכמה מחקרים הראו שלמרות שהתיאוריה של האבחון הרפואי מלמדת רופאים להביא בחשבון את השער הבסיסי, רופאים בפועל כושלים בנקודה הזאת. זאת לא בעיה של הרפואה כמקצוע אלא בעיה של רופאים לא מקצועיים מספיק. ושוב, אתה מדבר על מדע מצוי. שאתה אומר שקונספט ההפרכה שגוי אתה למעשה מסתפק במדע מצוי. מפנה אותך להודאה אחרת שלי בה הסברתי כיצד כהנמן וטברסקי שלא הסתפקו במדע המצוי הגיעו להשגים מרשימים.

 

[22ק ו ס ם]

ומהן השיטות שהם משתמשים בהן?

ברוב המקרים מחקרים אפידימיולוגיים משתמשים בשיטות מובהקות קלאסיות וככה גם מפתחים תרופות חדשות, אין כאן שום דבר מהפכני או שונה ממדעי החברה.

 

[mummy]

וואו, מאיפה מגיע הזלזול התהומי הזה?

האם טרחת לרדת לעומקו של אותו "יבול של 60 שנות מחקר" שאתה מבטל כאן במחי יד? הצפי שלך ש"כל המחקרים במדעי הבחרה יתבררו כדומים להקזת דם של פעם" - לזה אתה מתכוון כשאתה מדבר על "ניבויים חדים שיעמדו במבחן ההפרכה"? קצת צניעות לא תזיק. נראה לי שזו סגולה הכרחית לכל חוקר באופן שחוצה דיספלינות ובלי קשר לשיטת המחקר המועדפת עליך.

 

[תזאי בדימוס]

כן טרחתי -(תגובה גם לקוסם)

למרות שזה לא תחום המחקר שלי. ולפני שאתן דוגמא, אני מאתגר אותכם להציג לי את ההישגים החשובים ביותר לדעתכם של בתחומי מדעי החברה, כיצד הם שינו את חיינו וכיצד הם ספרו לנו דברים חדשים שאנו לא יודעים כיום (כמו דוגמאת מציאת כוכב אורנוס או פיתוח מעבד בעזרת תיאוריות על חצאי מוליכים). הדוגמא שלי הינה מהמחקר של RIND שפורסם ב-1998 בכתב העת Psychological Bulletin של הארגון הפסיכולוגי האמריקאי (APA) ואשר נקרא: An Examination of Assumed Properties of Child Sexual Abuse Based on Nonclinical Samples ראו את המאמר עצמו כאן: http://home.wanadoo.nl/ipce/library_two/rbt/examination.htm ותיאור מה שקרה בעקבותיו כאן: http://en.wikipedia.org/wiki/Rind_et_al._(1998) ממצא של המאמר קבע כי התעללות מינית בילדים "אינה גורמת לפגיעה עמוקה בהיקף נרחב, בלי קשר למגדר, בקרב אוכלוסיית הקולג'ים". הדבר כמובן הוביל לוויכוח עצום. הנקודה הינה שהמאמר אושר לפרסום מאחר והוא עמד בכל הכללים לפרסום בדיוק כמו מאמרים רבים אחרים. אכן, מאמר זה בוקר רבות על ידי אחרים אולם כל ביקורת שתטיח בו אתה יכול גם להטיח במאמרים אחרים. הנקודה שלי איננה בתכני המאמר המטופש הזה, אלא כיצד ייתכן שעל כל מאמר שאומר א' ניתן להוציא מאמר ב' שאומר הפוך באותה שיטת מחקר בדיוק? ובכל זאת, בחנתי לעומק את אותו מאמר כמו גם את הביקורות על אותו מאמר. המסקנה שלי שכולם טועים שם. היינו, הן המאמרים שמוצאים נזקים משמעותיים כתוצאה מהתעללות מינית והן המאמר הנוכחי שלא מוצא נזקים משמעותיים כאלו טועים במשהו מאד עקרוני. המאמרים הללו שקולים בעיני שלוקחים ניצולי שואה, ששיקמו את חייהם ובודקים אותם באופן פסיכיאטרי/פסיכולוגי האם נגרמו להם נזקים. היינו בודקים האם יש להם בעיות אכילה, אלכוהול, כיצד הם מסתדרים בחברה וכולי וכולי. המחקרים הללו (כולל המחקרים שמצאו נזקים) משתמשים ב- 18 קטגוריות כאלו (ראו עמודים 11-13) באותו מאמר. מכאן, שאם אדם שעבר את השואה (כמו השופט אהרון ברק) שיקם את עצמו, יקבע לגביו על ידי מחקרים שכאלו כי לא נגרם לו נזק כתוצאה מהשואה. אבל מה עם הסבל שאותו אוד מוצל מאש עבר? מחקר כזה בכלל יכול למדוד סבל מטראומה? האם העובדה שאנשים שעוברים טראומה בחייהם משתקמים מפחיתה במשהו מהסבל שהם חוו? זה היבול של 60 שנות מחקר?

 

[22ק ו ס ם]

זה היבול שאתה מצאת?

אתה קודם יורה ואחר כך מסמן לך את המטרה. זה שמצאת מחקר אחד בעייתי אקראי לא שולל את כל הדיסיפלינה. הרי אפשר באותה מידה אני יכול להתמקד בתורת המיתרים שאינה תיאוריה מדעית ולומר, זה ההישגים של הפיסיקה המודרנית? ויכוח איתך הוא חסר טעם כי אתה בכוח מנסה להשוות דברים שונים. מדעני חברה לא מנסים למצוא כוכב חדש ולכן ההשוואה לזה מופרכת. יש אינספור מחקרים חשובים שנעשו במשך השנים אבל הרי אתה תשלול כל דבר שיביאו לך. אני פשוט לא מבין מה אתה בדיוק מציע, שלא יחקרו שום דבר עד שיגיע איזה גאון שימצא שיטות סטטיסטיות שתאשר?

 

[תזאי בדימוס]

תורת המיתרים היא תיאוריה מדעית

היינו, ניתן בעיקרון להפריך אותה. יש לה ניבויים. אלא שביצוע המבחנים בפועל איננו אפשרי בטכנולוגיה של ימינו. לכן הסטטוס שלה הינה כתיאוריה מדעית שעדיין לא עמדה בפועל במבחן שכזה. גם המפתחים שלה מתייחסים אליה אחרת לגמרי מאשר למכניקה הקוונטית שכן עמדה במבחנים שכאלו. אכן, בגלל שלא ניתן לבחון אותה בטכנולוגיה של ימינו, רבים הפיסיקאים שלא מוצאים בה עניין. לא מתווכחים לגביה מאחר ואף אחד מהמפתחים שלה לא מתיימר לקבוע כי מעמדה של תורת המיתרים כמו מעמדה של מכניקת הקוונטים. הם בהחלט מנסים למצוא מבחני הפרכה לגבי תיאוריה זאת כי הם יודעים היטב מה התנאי לקבלתה. יואכן, אף אחד מבין אלו העוסקים בתורת המיתרים לא קיבל פרס נובל. היינו, זה רק תיאוריה ולא יותר מכך. יש לה חשיבות עצומה למשל בתחום פיתוח המתמטיקה שכן העיסוק בה מוביל למתמטיקה חדשה. ואתה כמובן מוזמן שוב לפרט בעיני את ההשגים החשובים לדעתך של הפסיכולוגיה. וכמובן, אתה יכול להתווכח כמה המחקרים שנעשו חשובים. כמה חשוב שמחקר אחד יצביע על א' ומחקר אחר שנעשה באותם כלי מחקר בדיוק יצביע על הדבר ההפוך. אלא שכמו שכתבתי בהודאה אחרת, במדע אמיתי אין ויכוחים. במדע אמיתי, החוקר אמור להציע מבחן הפרכה שימנע את כל אותם הוויכוחים חסרי התכלית.