איך ייתכן שמחקר אחד מראה שאכילת ופל לימון מסוכנת לבריאות, בעוד מחקר אחר מראה שאין לו השפעה שלילית? מדוע בעת שיטוט באתרי חדשות נפוצים נתקלים לעתים במחקרים עם תוצאות סותרות? [1] נסקור כאן חלק מהסיבות לכך.

"ישנם שלושה סוגים של שקרים: שקרים, שקרים גסים וסטטיסטיקה" (מיוחס לבנג'מין ד'יזראלי).
לפעמים, גם אם החוקרים בעלי כוונות טובות ודוברי אמת, תוצאות המחקר "יכולות לשקר". סטטיסטיקה היא כלי מחקרי חשוב. שימושה מתועד רבות בהיסטוריה: ממפקדי אוכלוסין במצרים העתיקה לצורכי מיסוי, דרך ניתוח מקרי מוות באנגליה במאה ה-17, ועד לאִפיון הוֹרשה בצמחי אפונה ע"י החוקר גרגור מנדל [2]. כיום, הסטטיסטיקה נמצאת בשימוש רחב בכל תחומי חיינו, והיא הכלי הבסיסי ביותר במחקרים ומאמרים מדעיים. עם זאת, כמו כל כלי, אם לא משתמשים בו נכון, בין אם בצורה מכוונת או בתום לב, נוצרות טעויות. במקרה זה אלו טעויות בדמות הטיות והשפעות סטטיסטיות שעלולות לעוות את המחקר ואת תוצאותיו.

נניח שהחלטנו לחקור "השפעות של אכילת ופל לימון על אמונה בתיאוריות קונספירציה". נדגים בעזרת המחקר חלק מההטיות הסטטיסטיות הנפוצות - "דגימה מוטה", "הטיית בחירה", "הטיית נסיין", "דגימה מוכתמת", "קטיף דובדבנים", "הטיית שרידות" ושגיאות סטטיסטיות [3]: 

• הטיית בחירה [4]: הטיָה הנובעת מבחירת הדרך שבה אנו אוספים נתונים, כך שאנחנו יכולים לפספס דגימות חשובות למחקר אשר פשוט נבלעו בשל דרך איסוף המידע שלנו. למשל, אם נבצע את המחקר בצורה התנדבותית באתר "מדע גדול בקטנה", סביר להניח שתהיה הטיה כזאת, כיוון שהסבירות שאנשים המאמינים בתיאוריות קונספירציה יגיעו למחקר נמוכה יותר מבאוכלוסייה הכללית, בגלל ששיעורם של המאמינים בתיאוריות קונספירציה מקרב הקוראים שלנו נמוך, והמחקר שלנו יראה קשר שונה מהקיים בין השניים. זה יקרה גם אם נקיים מחקר בקרב הנכנסים לאתר "ופל לימון - בחירה מודעת".
  

• דגימה מוטה (ממשפחת הטיות בחירה): הטיָה אשר נובעת מבחירה של מדגם שלא מייצג בצורה טובה את האוכלוסייה או את הסביבה הרלוונטים למחקר. הטיה זו לא מאפשרת לנו להשליך את המסקנות מהמחקר על האוכלוסייה שהתיימרנו לחקור. זו הסיבה שבגללה מחקרי המטא-אנליזה, המאגדים עשרות או מאות תוצאות מחקרים דומים לכדי תשובה אחת, נחשבות לראיה אמינה ביותר לקשר בין משתנים [5]. במקרה של המחקר שלנו, נרצה לייצג את כלל אוכלוסיית ישראל או אפילו העולם בשביל דיוק מקסימלי - כלומר לבחור אנשים המייצגים את האוכלוסייה, עם גיוון בפרטמרים שונים, כגון גיל, מין, מוצא, מגדר, השכלה וכולי. אם האוכלוסייה שלנו תכלול, לדוגמה, רק תלמידי בית ספר יסודי מיישוב מבודד בצפון, לא נוכל להשליך את המחקר שלנו על כלל האוכלוסייה כיוון שהם אינם מייצגים נכון את האוכלוסייה הכללית לפי גיל ואזור מגורים. וגם, בואו נודה בזה, ילדים קטנים יאמינו להכול - הם למעשה תיאוריות קונספירציה מהלכות.

• הטיית הנסיין ודגימה מוכתמת: שתי הטיות אשר נובעות מנוכחות הנסיין אשר צופה או עורך את הניסוי. בעוד הטיית הנסיין נובעת בשל רצון מודע או תת-מודע של החוקר להגיע לתוצאה כלשהי, וכך הוא משפיע על תוצאות המחקר או על הנדגמים, הדגימה המוכתמת גורמת לנחקר לשנות את התנהגותו ודעותיו מעצם הידיעה שמישהו צופה בו. לדוגמה, במחקר שלנו, הקריטריונים שלנו בקביעה אם מישהו מאמין בתיאוריית קונספירציה ישתנו בתלוי לאהבתנו או לסלידתנו מוופל לימון. לעומת זאת, דגימה מוכתמת יכולה לקרות כשהנדגמים אינם רוצים שיחשבו שהם מוזרים, ולפיכך הם "מתיישרים עם הנורמה". במילים אחרות, מכיוון שזה מביך להודות שאנחנו אוהבים ופל לימון ייתכן שנשקר לגבי זה.

• קטיף דובדבנים (cherry picking): בחירה סלקטיבית של התוצאות התומכות בהשערה שלך בלבד, תוך התעלמות מתוצאות שאינן תואמות. במחקר שלנו נוכל לעשות זאת אם נסכים לקבל למחקר בעיקר אנשים שנראים לנו קונספירטורים (מסתובבים עם כובע אלומיניום ולובשים חולצה של "הארץהשטוחה"), ואכלו מקערת ה"ופל לימון" שהצענו להם.

• הטיית שרידות (ממשפחת הטיות בחירה) [6]: התעלמות מדגימות או אנשים אשר לא "שרדו" את זמן המחקר, כלומר פרשו באמצע, נפטרו או שהדגימות נהרסו. ההטיה מוכרת מאוד, בעיקר בשל יצירת מיתוסים כמו "מחלות ילדות קלות" (כי אני מכיר רק את הילדים ששרדו ולא את אלו שמתו) או שאפשר לחיות עד גיל מבוגר מאוד אם מעשנים [6-5]. במחקרנו, אם לדוגמה תעלה תיאוריית קונספירציה על המחקר שאנחנו עושים, שאנו מכניסים אנשים לרשימת מעקב ממשלתית של חובבי ופל לימון, אנשים המאמינים לתיאוריות קונספירציה יפרשו מהמחקר שלנו, וכך נקבל הטיה בתוצאות המחקר.

• שגיאות מסוג 1 [7]:  אם לא עשינו לכאורה שום הטייה סטטיסטית בניסוי, ונקבל כי קיים קשר סטטיסטי באחוז הסתברות גבוה כלשהו בין שני משתנים, ייתכן שתוצאת הניסוי שגויה והתופעה אינה קיימת במציאות. אם במחקר שלנו אנחנו מוצאים קשר בין שני משתנים בהסתברות של 95%, כלומר סיכוי מאוד גבוה שהקשר קיים, עדיין ישנו סיכוי של 1 ל-20 שהקשר אינו קיים. אך אם נערוך את המחקר מספר רב של פעמים, ועדיין נמצא קשר מובהק בין המשתנים, ההסתברות שקשר זה באמת מתקיים במציאות עולה משמעותית - וכאן נוספת חשיבותם של מחקרי מטא-אנליזה [3].

וישנה הבעיה המחקרית הנקראת P-hacking: אם דוגמים עשרות קשרים יחדיו באותו המחקר ומעריכים את חוזק הקשר ביניהם, למשל בהסתברות של 95%, ישנו סיכוי גבוה מאוד שנמצא קשרים סטטיסטיים לא נכונים אשר נובעים משגיאה מסוג 1.

לסיכום, סקרנו רק חלק מההטיות ומההשפעות הקיימות במחקרים. ישנן כמובן עוד עשרות הטיות סטטיסטיות שונות. תמיד צריך להפעיל חשיבה ביקורתית בגישתנו אל מחקרים, ומומלץ תמיד להיות ספקנים לכותרות לא הגיוניות, [8] כמו העדפת ופל לימון או אי קיום האילומינטי.

מקורות:

[1] איך קוראים מאמר מדעי

[2] פוסט על מנדל 

[3] חמישים הטיות נפוצות

[3] מטא אנליזה

[4] הטיות בחירה

[5] איך נלחמנו בחצבת בעזרת מטוסי קרב

[6] כשל השורדים ובעיית החיסונים

[7] שגיאות מסוג 1 ו-2

[8] כותרת שצריך להטיל ספק באמינותה