מה הפרדוקס של סימפסון בסטטיסטיקה?

א פרדוקס היא אמירה או תופעה שעל פני השטח נראים סותרים. פרדוקסים עוזרים לחשוף את האמת הבסיסית מתחת לפני השטח של מה שנראה מופרך. בתחום הסטטיסטיקות, הפרדוקס של סימפסון מדגים אילו בעיות נובעות משילוב נתונים מכמה קבוצות.

עם כל הנתונים, עלינו לנקוט בזהירות. מאיפה זה בא? כיצד הושג? ומה זה באמת אומר? כל אלה שאלות טובות שעלינו לשאול כשמוצגים להם נתונים. המקרה המאוד מפתיע של הפרדוקס של סימפסון מראה לנו שלעיתים מה שהנתונים אומרים אינו באמת המקרה.

נניח שאנחנו מתבוננים בכמה קבוצות, ומבססים מערכת יחסים או מתאם עבור כל אחת מהקבוצות הללו. הפרדוקס של סימפסון אומר שכאשר אנו משלבים את כל הקבוצות יחד ומסתכלים על הנתונים בצורה מצטברת, המתאם אליו שמנו לב לפני כן עשוי להפוך את עצמו. לרוב זה נובע ממשתנים אורבים שלא נלקחו בחשבון, אך לעיתים זה נובע מהערכים המספריים של הנתונים.

כדי להבין קצת יותר את הפרדוקס של סימפסון, בואו נסתכל על הדוגמא הבאה. בבית חולים מסוים ישנם שני מנתחים. המנתח A פועל על 100 חולים, ו- 95 שורדים. המנתח B פועל על 80 חולים ו- 72 שורדים. אנו שוקלים לבצע ניתוחים בבית חולים זה ולחיות בניתוח זה דבר שחשוב. אנו רוצים לבחור את הטוב שבשני המנתחים.

אנו מסתכלים על הנתונים ומשתמשים בהם כדי לחשב איזה אחוז מחולי המנתח A שרדו את הניתוחים שלהם ומשווים אותם לשיעור ההישרדות של חולי המנתח B.

• 95 חולים מתוך 100 שרדו אצל המנתח A, ולכן 95/100 = 95% מהם שרדו.
• 72 חולים מתוך 80 שרדו אצל המנתח B, ולכן 72/80 = 90% מהם שרדו.

מניתוח זה, באיזה מנתח עלינו לבחור לטפל בנו? נראה כי המנתח A הוא ההימור הבטוח יותר. אבל האם זה באמת נכון?

מה אם היינו עוסקים במחקר נוסף על הנתונים ומגלים שבמקור שקל בית החולים שני סוגים שונים של ניתוחים, אך אז גיבשו את כל הנתונים כדי לדווח על כל אחד מהם מנתחים. לא כל הניתוחים שווים, חלקם נחשבו כניתוחי חירום בסיכון גבוה, ואילו אחרים היו בעלי אופי שגרתי יותר שתוכנן מראש.

מתוך 100 המטופלים שטיפלו במנתח A, 50 היו בסיכון גבוה, מתוכם שלושה מתו. 50 האחרים נחשבו לשגרה, ומתוכם 2 מתו. המשמעות היא שלניתוח שגרתי, לחולה המטופל על ידי מנתח A שיעור ההישרדות של 48/50 = 96%.

כעת אנו בודקים יותר את הנתונים עבור המנתח B ומגלים כי מבין 80 חולים, 40 היו בסיכון גבוה, מתוכם שבעה מתו. 40 האחרים היו שגרתיים ורק אחד מת. המשמעות היא שלמטופל שיעור הישרדות של 39/40 = 97.5% לניתוח שגרתי עם מנתח B.

עכשיו איזה מנתח נראה טוב יותר? אם הניתוח שלך אמור להיות שגרתי, אז המנתח B הוא למעשה המנתח הטוב יותר. אם אנו מסתכלים על כל הניתוחים שביצעו המנתחים, א 'עדיף. זה די אינטואיטיבי. במקרה זה המשתנה האורב של סוג הניתוח משפיע על הנתונים המשולבים של המנתחים.

הפרדוקס של סימפסון נקרא על שם אדוארד סימפסון, שתיאר לראשונה את הפרדוקס הזה בעיתון "פרשנות האינטראקציה בטבלאות מגירה" מ -1951. כתב העת של החברה המלכותית לסטטיסטיקה. פירסון ויול צפו כל אחד בפרדוקס דומה שחצי מאה לפני כן סימפסון, כך שלפרדוקס של סימפסון מכונה לעתים גם אפקט סימפסון-יול.

ישנם יישומים רבים ומגוונים של הפרדוקס באזורים מגוונים כמו סטטיסטיקות ספורט נתוני אבטלה. בכל פעם שהנתונים מצטברים, היזהר שפרדוקס זה יופיע.