Why Most Published Research Findings Are Fals

[נ ע מ ה מ ה]

Why Most Published Research Findings Are Fals

http://www.plosmedicine.org/article/info:doi/10.1371/journal.pmed.0020124

 

[Gidi Shemer]

מאמר מעניין עם מסקנות וכותרת בעיתיות

אלא אם המאמר נופל תחת הכותרת שלו עצמו

קראתי בינתיים ברפרוף. מעניין לקרוא גם את התגובות שחלקן מלומדות מאד. הכוון נכון, המסקנות שלו קצת מפספסות.

יחי ההומאופתיה !!

 

[Gidi Shemer]

נעמהמה- הצעה קונסטרוקטיבית

שבתי עכשיו למחשב ויש לי הצעה.

את הבאת לינק למאמר מעניין, אני עברתי עליו ברפרוף והגבתי, כולל מתן הערה עוקצנית ומיותרת שלי. הדינמיקה הרגילה של הפורום תוביל עכשיו לתגובת נגד שלך, אחרים יבואו ויטענו שבכלל לא קראת את המאמר, יהיו עוד קצת התנגחויות והתנצחויות ודיונים על אינטרסים, ובסוף כל אחד יפרוש מרוצה לפינתו הוא בזירת האגרוף מבלי שבאמת מישהו פה דן במדע.

אז חשבתי שאולי נשנה את הדינמיקה. קצת עמוס עלי לקרוא את המאמר לעומק בימים הקרובים (הרבה חומר לקרוא), אבל אני אשמח לקרוא אותו לעומק בסביבות סופהשבוע. למה שלא נקרא אותו שנינו ברצינות? כדאי גם לקרוא את התגובות שבלינק, יש שם לפחות כמה שנראו לי (שוב, במבט מרפרף) כמדעיות ורציניות. אחרי שנקרא אותו נוכל לנהל דיון רציני, מה שקרוי באקדמיה Journal club.

אני מזמין את כל באי הפורום לקרוא ולדון. זה כולל את כולם כמובן, אבל אני אשמח במיוחד לשמוע את דעתם של המדענים וחובבי המדע, רוקד, זוהר, FPNH, שם מקורי 19, עוזי ואחרים (חלקכם נעלמתם לאחרונה).

מה דעתך?
בואי נהפוך את הדינמיקה הקבועה של ההתגוששות לדינמיקה של דיון רציני בביקורת רצינית.

 

[אני רק עובר]

נדמה לי שכבר הפניתי למאמר הזה כאן בעבר

או אולי זה היה למאמר אחר בנושא של אותו המחבר (ג'ון יואנידיס). אני כרגע חלק מצוות של הסטטיסטיקאי יואב בנימיני באת"א, אשר קיבל מענק מקרן של האיחוד האירופי ע"מ לחקור את הנושא הזה ולפתח כלים סטטיסטיים להתמודד איתו. אשמח לדון על כך כאן.

ההערכה הכללית שלנו לגבי יואנידיס די דומה להערכתו של גידי - הוא מעלה בעייה ממשית וחשובה מאוד, אם כי הוא ככל הנראה מגזים בהקף שלה. לדעתנו גם הניתוח שלו שם דגש על הסיבות היותר סנסציוניות, אבל הפחות חשובות לתופעה.

אולי גם צריך קודם כל להבהיר שכאשר יואנידיס מדבר על כך שלמעלה מחצי מן ה"תגליות" המתפרסמות הן שגויות, הוא מדבר על סוג מאוד מסויים של תגליות - אלו אשר עדיין לא שוכפלו בניסויים ו/או במעבדות נוספות. מרגע שתגלית מסויימת שוכפלה באופן בלתי-תלוי, הסיכוי שלה להיות שגויה קטן, וכמובן ממשיך לקטון במהירות עם כל שכפול נוסף. כאשר אנחנו מדברים על תגליות שנמצאות במרכז הקונצנזוס המדעי, אלו בד"כ תגליות ששוכפלו פעמים רבות באופן בלתי-תלוי, ולכן הסיכוי שלהן להיות שגויות שואף לאפס. המאמר של יואנידיס הרבה יותר רלבנטי לתגליות מן הסוג של ה"מים שזוכרים".

 

[Gidi Shemer]

יופי שאתה פה

אז למרות שהבטחתי שלא אקרא כי אני קצת עמוס עכשיו, כן חטאתי אתמול בלילה קצת בקריאה והיות ואני רחוק מאד מלהיות בצוות של סטטיסטיקאים (

) קראתי גם קצת במאמר התגובה של גודמן וגרינלנד שנתן לי תובנות. ההתרשמויות שלכם קרובות לאלו של גודמן וגרינלנד?

ובאמת תודה על התגובה. ביקשתי גם מטולקין שמסתובב בפורמים מדעיים ומתעסק בתאוריה של הסטטיסטיקה לתרום את הפידבק שלו.

 

[אני רק עובר]

יש לך קישור לגודמן וגרינלנד?

אני כרגע לא זוכר אם ראיתי את המאמר שלהם ומתעצל לחפש. מאמרי תגובה ליואנידיס לא חסר (עפ"י גוגל סכולר 1545 מצטטים את המאמר המדובר).

יש לציין שאני עצמי לא סטטיסטיקאי בהכשרתי, ומתחבר לנושא בעיקר מהתחום של מדידת פנוטיפים בעכברים מהונדסים גנטית, שם מוכרת בעייה של קושי לשכפל תגליות במעבדות אחרות.

 

[Gidi Shemer]

הנה

http://biostats.bepress.com/cgi/viewcontent.cgi?article=1135&context=jhubiostat

 

[אני רק עובר]

תודה, לא הכרתי אותו.

אני עוד צריך לקרוא אותו אך על פניו אכן נראה שדעתם אכן דומה לשלנו.

יואנידיס בהחלט עושה שירות חשוב כאשר הוא מצביע על כך שאחוז התגליות השגויות גבוה מהסף המקובל למובהקות סטטיסטית. למשל בתחומים של רפואה וביולוגיה מקובל ש-p-value צריך לצאת קטן מ-0.05 ע"מ שנכריז על התגלית כ"מובהקת סטטסטית". הרבה מדענים חושבים אינטואיטיבית שזה אומר שאחוז התגליות השגויות הוא 5%, והם טועים. אחוז התגליות השגויות האמיתי ללא ספק גדול יותר. השאלה היא כמה יותר. יואנידיס טוען שהוא גדול מ-50%, אבל זאת כבר מסקנה שמבוססת באופן בכלל לא פשוט על כל מיני הנחות, תלוייה בכל מיני פרמטרים שגודלם לא ידוע, קשה להעריך אותם, והם שונים בתחומים שונים ובתנאים שונים. באופן כללי נראה שברוב התחומים המדעיים האחוז הזה הוא איפשהו בין 5% ל-50%. אותנו לא כל כך מעניין מהו האחוז המדוייק. המשימה המוצהרת שלנו היא להבין למה הוא כנראה גדל בשנים האחרונות, ולפתח כלים ופרוצדורות שיקטינו אותו.

 

[Gidi Shemer]

אחלה, תודה

 

[deathcaster]

 

[uzi2]

אכן היה דיון כזה כבר

כאן

 

[נ ע מ ה מ ה]

 

[רוקד עם שבלולים]

אז...אפשר לקבל תקציר?

ביקשתי יפה.

 

[אני רק עובר]

תקציר (לא כל כך קצר)

כשקראתי את יואנידיס גיליתי שהטיעון שלו הוא בבסיסו טיעון שכבר שמעתי קודם בצורה אחרת, וסביר מאוד שגם אתם שמעתם.

דוגמה ידועה: נניח שנבדקתי למחלה מאוד נדירה, והבדיקה יצאה חיובית. מה הסיכוי שאני באמת חולה במחלה?

נאמר שהמחלה המדוברת נמצאת באחד מתוך 10,000 איש באוכלוסיה. כלומר הסיכוי שאני חולה לפני שעשיתי את הבדיקה הוא 0.0001.

אם אני באמת חולה, עדיין יש סיכוי שהבדיקה לא תגלה את זה. הסיכוי לגלות משהו בהינתן שהוא אכן קיים הוא מה שהסטטיסטיקאים קוראים ה"עוצמה" (power) של המבחן. כמעט כל מי שהתעסק במדע ניסויי יודע שלעתים קרובות העוצמה נמוכה בהרבה ממה שהיינו רוצים. אבל לצורך הדוגמה בואו נניח שהעוצמה של הבדיקה היא 100% כלומר במידה ואני חולה הבדיקה תאבחן אותי בוודאות.

אם לעומת זאת אני לא חולה, עדיין יש סיכוי שהבדיקה תאבחן אותי כחולה בטעות, מה שקוראים false positive. שוב, נסיינים יודעים שבהרבה ניסויים, הסיכוי הזה בהחלט קיים. לצורך הדוגמה שלנו נניח שהוא נמוך אבל לא אפס, אלא 0.001 (עשירית האחוז).

כלומר, אם 10,000 איש יעברו את הבדיקה, אנחנו מצפים שאחד מהם יהיה חולה והבדיקה תאבחן אותו בוודאות. לעומת זאת 9999 לא יהיו חולים, ומתוכם עשירית האחוז שהם 9.999 אנשים יאובחנו בטעות כחולים. כלומר, מתוך 10.999 אנשים שאובחנו כחולים רק אחד באמת חולה. למרות שהבדיקה שלי יצאה חיובית, הסיכוי שאני באמת חולה הוא פחות מ- 10% !

למה המסקנה הזו מנוגדת לאינטואיציה הראשונית שלנו? כי המחלה מאוד נדירה, והרוב הגדול של הנבדקים לא חולים. אמנם הסיכוי לאבחון חיובי שגוי הוא קטן, אבל סיכוי קטן מתוך רוב גדול עדיין מצליח להיות גדול משמעותית ממספר החולים.

עכשיו במקום "בדיקה רפואית" תכתבו "ניסוי מדעי" (או "מדידה מדעית" אם מדובר בתחום תצפיתי ולא ניסויי), במקום בדיקה חיובית תכתבו "תגלית מדעית", ובמקום "אבחון חיובי שגוי" תכתבו "תגלית שגויה", וקיבלתם את הטיעון של יואנידיס. לפי יואנידיס, מה שקובע את אחוז התגליות השגויות במדע זה בעיקר ה"נדירות" של ה"מחלה", כלומר איזה אחוז מההיפותזות שבודקים המדענים הן באמת נכונות. אם רק אחוז קטן מההיפותזות הנבדקות באמת נכון, אז (בניגוד לאינטואיציה שלנו) רוב ה"תגליות" המדעיות למעשה שגויות, אפילו אם הניסויים והמדידות אמינים למדי.

יואנידיס גם מדבר על כל מיני סוגים של הטיות (bias) שמחמירות את אחוז התגליות השגויות. למשל "אפקט המגרה" - מדען עושה ניסוי, לא מקבל תוצאה מובהקת, ואפילו לא טורח לפרסם. או "הטיית הפרסום" - יש סיכוי הרבה יותר טוב שהג'ורנל יפרסם תגלית מובהקת מאשר תוצאה שלילית. כמובן שדיברו על ההטיות האלו עוד הרבה לפני יואנידיס. אבל לפי יואנידיס האפקט שלהן הרבה יותר חמור ממה שחשבנו.

האם יואנידיס באמת צודק ובכמה? בשביל זה צריך להעריך את הפרמטרים הנ"ל בכל מיני תחומים מדעיים, בייחוד איזה אחוז מההיפותזות הנבדקות באמת נכון, וזה בכלל לא פשוט.

ישנה כמובן דרך פשוטה (אבל יקרה) לבטח את עצמנו משגיאות כאלו. בדוגמה המספרית של המחלה הנדירה, אם אני חוזר על הבדיקה כמה פעמים בלתי-תלויות, הסיכוי לאבחון שגוי יורד די מהר. כלומר, הבעייה בכל מקרה היא עם אותן תגליות שעדיין לא שיכפלו אותן בניסויים/מדידות בלתי-תלויים. בתגליות ששוכפלו הבעייה הרבה פחות חמורה עד בלתי קיימת.

 

[רוקד עם שבלולים]

תודה.

האמת שקיוויתי שנעמהמה תפרט את הפירוט הזה, אבל כנראה שזה לא הולך לקרות בקרוב. מעניין למה.

ממה שאני מבין ממך, יואנידיס בוחן את השלב הראשוני של מחקר מדעי ומגלה שהוא ...שלב ראשוני.

 

[BigBadWolf]

בניגוד לרפואה במדע לא מפרסמים תוצאות ראשוניות

לפחות בדרך כלל לא מפרסמים במדע תוצאות ראשוניות (יש שכן אבל מדענים יודעים לקחת כאלו בערבון מוגבל). מחקר רציני שמתפרסם כמובן עשה כמה חזרות, ביקורות חיוביות ושליליות ומסתמך על מספר ניסויים נפרדים. בנוסף, במאמר רושמים את כל התוצאות הרלוונטיות כך שכל אחד יוכל לשפוט בעצמו אם המסקנות נכונות, מוטלות בספק או שגויות.
לכן, אני לא בטוח כלל שהמסקנות שהגיעו אליהן רלוונטיות למדע. כמובן שיש פרסומים שגויים לפעמים אבל טבעו של המדע לקבור אותם לאחר שאחרים עשו ניסויים שמפריכים אותם.

 

[Gidi Shemer]

אני לושב שהתסריט למחקר המדעי שנתת כאן

הוא תמונה קצת ורודה מדי של מה שקורה במציאות.

 

[Gidi Shemer]

לושב = חושב

 

[BigBadWolf]

למה ורודה מידי?

דוגמה אמיתית - הגעתי במחקר שלי לתוצאה קצת הזויה שמנוגדת להגיון הכימי נכון למה שידוע היום. אני לא רץ לפרסם כמובן, צריך לוודא שהתוצאה נכונה בשיטות נוספות. נכון לעכשיו יש לי כבר 3 ניסויים שונים שמעידים על נכונות התוצאות ועדיין אני מחפש עוד הוכחות, אחרת מי יאמין לתוצאה שכזו? וגם לא מספיקה התוצאה הזו בלבד בשביל מאמר, צריך קצת תוכן חוץ מאותו גילוי כדי שניתן יהיה לתת הסבר מניח את הדעת לאותה תופעה (וכמובן שההסבר תמיד יקרא כהסבר אפשרי בלבד), לדוגמה צריך לבדוק פעילות כימית של אותו צורון שגיליתי, לעשות עליו מדידות קרקטריזציה, קצת חישובי DFT שיתיישבו עם התוצאה וכו'.

אז למה התמונה שאני מצייר ורודה מידי? פרסום מדעי כזה שונה מאוד מאבחון רפואי שמסתמך על ניסוי אחד במערכת מורכבת שלא ניתן לעשות לה רדוקציה (או אולי ניתן אך לא נעשה לצורך הניסוי כי זה לוקח יותר מידי זמן).

 

[רוקד עם שבלולים]

מה ההבדל בין "רפואה" ל"מדע"?

אתהמתאר כאן ניסויים בכימיה, שהיא מדע יחסית מדוייק. לא כל התחום המדעי יכול להגיע לרזולוציות כאלה.
אם אתה מחליט שמחקר רפואי לא נחשב מדע מבחינתך, אז אתה אכן יכול להתעלם מכל מה שכתוב במאמר ההוא לגבי מחקר רפואי ולרחוץ בנקיון כפיך*. אבל לא לכולם יש את הפריבילגיה לעסוק במחקר כימי; הרבה מדענים צריכים לעבוד על מערכות יותר מורכבות ופחות ניתנות לרדוקציה - ובכל זאת להביא תוצאות מאיפשהו.

אז כן, המאמר לא רלוונטי כל כך לעיסוק שלך. אשריך. אבל זה לא מבטל את הרלוונטיות שלו למחקר ביורפואי, וזה בוודאי לא מאפשר לך להחליט שמחקר ביורפואי הוא בעצם לא מדע, רק בגלל שהוא עוסק במערכות מסובכות יותר משלך.

* וכימאים באמת צריכים לרחוץ ידיים הרבה מאד.