דוגמאות להערכה מרבית של הסבירות

נניח שיש לנו א דגימה אקראית מאוכלוסייה בעלת עניין. יתכן שיש לנו מודל תיאורטי לאופן בו אוכלוסייה מופץ. עם זאת יתכנו מספר אוכלוסיות פרמטרים שאנחנו לא יודעים מהם הערכים. אומדן הסבירות המרבי הוא דרך אחת לקבוע פרמטרים לא ידועים אלה.

הרעיון הבסיסי העומד מאחורי הערכת הסבירות המרבית הוא שאנו קובעים את ערכי הפרמטרים הלא ידועים הללו. אנו עושים זאת בצורה כדי למקסם פונקציה של צפיפות הסתברות מפרקים קשורה או פונקציה מסת מסתית. נראה זאת ביתר פירוט בהמשך. לאחר מכן נחשב כמה דוגמאות להערכת הסבירות המרבית.

ניתן לסכם את הדיון לעיל בשלבים הבאים:

1. התחל עם מדגם של משתנים אקראיים עצמאיים X₁, איקס₂,... איקס_n מתפוצה נפוצה שלכל אחד מהם פונקצית צפיפות ההסתברות f (x; θ₁,.. .θ_k). התאים הם פרמטרים לא ידועים.
2. מכיוון שהמדגם שלנו אינו תלוי, ההסתברות להשיג את המדגם הספציפי שאנו צופים נמצאת על ידי הכפלת ההסתברויות שלנו יחד. זה נותן לנו פונקצית סבירות L (θ₁,.. .θ_k) = f (x₁ ;θ₁,.. .θ_k) f (x₂ ;θ₁,.. .θ_k)... f (x_n ;θ₁,.. .θ_k) = Π f (x_אני ;θ₁,.. .θ_k).
3. בשלב הבא אנו משתמשים חשבון למצוא את ערכי התטא שממקסמים את תפקוד הסבירות שלנו ל.
instagram viewer
4. ליתר דיוק, אנו מבדילים את פונקציית הסבירות L ביחס ל θ אם יש פרמטר יחיד. אם ישנם מספר פרמטרים אנו מחשבים נגזרות חלקיות של L ביחס לכל אחד מפרמטרי התטא.
5. כדי להמשיך בתהליך המיקסום, קבעו את הנגזרת של L (או נגזרות חלקיות) שווה לאפס ופתרו עבור תטא.
6. לאחר מכן נוכל להשתמש בטכניקות אחרות (כגון מבחן נגזר שני) כדי לוודא שמצאנו מקסימום לתפקוד הסבירות שלנו.

נניח שיש לנו חבילה של זרעים, שלכל אחד מהם הסתברות קבועה ע של הצלחה של נביטה. אנו שותלים n מבין אלה וספור את מספר הנבטים. נניח שכל זרע נובט ללא תלות באחרים. כיצד נקבע את אומדן הסבירות המרבי של הפרמטר ע?

אנו מתחילים בלשים לב כי כל זרע מעוצב על ידי חלוקה של ברנולי בהצלחה של ע. אנחנו נתנו איקס להיות 0 או 1, ותפקוד מסת ההסתברות לזרע יחיד הוא ו( איקס; ע ) = ע^איקס(1 - ע)^{1 - x}.

המדגם שלנו מורכב n שונה איקס_אני, לכל אחד מהם יש חלוקה של ברנולי. הזרעים שנובטים יש איקס_אני = 1 ולזרעים שלא מצליחים לנבוט יש איקס_אני = 0.

פונקציית הסבירות ניתנת על ידי:

L ( ע ) = Π ע^איקס_אני(1 - ע)^{1 - איקס}_אני

אנו רואים שניתן לשכתב את פונקציית הסבירות על ידי שימוש בחוקי המרחבים.

L ( ע ) = ע^{Σ x}_אני(1 - ע)^{n - Σ x}_אני

בשלב הבא אנו מבדילים פונקציה זו ביחס ל ע. אנו מניחים שהערכים של כל איקס_אני ידועים, ומכאן שהם קבועים. כדי להבדיל בין פונקציית הסבירות עלינו להשתמש בפונקציה כלל מוצרים יחד עם כלל הכוח:

L '( ע ) = Σ x_אניע^{-1 + Σ x}_אני (1 - ע)^{n - Σ x}_אני- (n - Σ x_אני ) עמ '^{Σ x}_אני(1 - ע)^{n-1 - Σ x}_אני

אנו משכתב חלק מהמצבים השליליים ויש לנו:

L '( ע ) = (1/ע) Σ x_אניע^{Σ x}_אני (1 - ע)^{n - Σ x}_אני- 1/(1 - ע) (n - Σ x_אני ) עמ '^{Σ x}_אני(1 - ע)^{n - Σ x}_אני

= [(1/ע) Σ x_אני - 1/(1 - ע) (n - Σ x_אני)]_אניע^{Σ x}_אני (1 - ע)^{n - Σ x}_אני

כעת, בכדי להמשיך בתהליך המקסום, אנו קובעים את הנגזרת הזו שווה לאפס ונפתור עבור p:

0 = [(1/ע) Σ x_אני - 1/(1 - ע) (n - Σ x_אני)]_אניע^{Σ x}_אני (1 - ע)^{n - Σ x}_אני

מאז ע ו 1- ע) הם לא אחרים שיש לנו את זה

0 = (1/ע) Σ x_אני - 1/(1 - ע) (n - Σ x_אני).

הכפלת שני צידי המשוואה על ידי ע(1- ע) נותן לנו:

0 = (1 - ע) Σ x_אני - ע (n - Σ x_אני).

אנו מרחיבים את הצד הימני ורואים:

0 = Σ x_אני - ע Σ x_אני - עn + pΣ x_אני = Σ x_אני - עn.

כך Σ x_אני = עn ו- (1 / n) Σ x_אני = p. משמעות הדבר היא שמעריך הסבירות המרבי של ע הוא מדגם ממוצע. ליתר דיוק זהו שיעור המדגמים של הזרעים שנבטו. זה תואם לחלוטין את מה שהאינטואיציה הייתה אומרת לנו. על מנת לקבוע את שיעור הזרעים שיינבטו, ראשית יש לקחת בחשבון מדגם מאוכלוסיית העניין.

יש כמה שינויים ברשימת השלבים שלעיל. לדוגמה, כפי שראינו לעיל, בדרך כלל כדאי להקדיש זמן להשתמש באלגברה כלשהי כדי לפשט את ביטוי פונקציית הסבירות. הסיבה לכך היא להקל על הבידול בביצוע.

שינוי נוסף ברשימת הצעדים שלמעלה הוא התחשבות בלוגריתמים טבעיים. המקסימום עבור הפונקציה L יתרחש באותה נקודה שהיא תהיה עבור הלוגריתם הטבעי של ל. לפיכך מקסום ln L שווה למקסום הפונקציה L.

פעמים רבות, בגלל נוכחותם של פונקציות מעריכיות ב- L, לקיחת הלוגריתם הטבעי של L תפשט מאוד חלק מהעבודה שלנו.

אנו רואים כיצד להשתמש בלוגריתם הטבעי על ידי בחינה מחדש של הדוגמה מלמעלה. אנו מתחילים בפונקציית הסבירות:

L ( ע ) = ע^{Σ x}_אני(1 - ע)^{n - Σ x}_אני .

לאחר מכן אנו משתמשים בחוקי הלוגריתם שלנו ורואים כי:

R ( ע ) = ב L ( ע ) = Σ x_אני ln p + (n - Σ x_אניln (1 - ע).

אנו כבר רואים כי הנגזרת הרבה יותר קלה לחישוב:

ר '( ע ) = (1/ע) Σ x_אני - 1/(1 - ע)(n - Σ x_אני) .

כעת, כמו קודם, אנו קובעים את הנגזרת הזו שווה לאפס ומכפילים את שני הצדדים ב ע (1 - ע):

0 = (1- ע ) Σ x_אני - ע(n - Σ x_אני) .

אנו פותרים עבור ע ולמצוא את אותה התוצאה כמו קודם.

השימוש בלוגריתם הטבעי של L (p) מועיל בדרך אחרת. הרבה יותר קל לחשב נגזרת שנייה של R (p) כדי לוודא שבאמת יש לנו מקסימום בנקודה (1 / n) Σ x_אני = p.

לדוגמא אחרת, נניח שיש לנו דוגמא אקראית X₁, איקס₂,... איקס_n מאוכלוסייה שאנחנו מדגמים עם התפלגות מעריכית. פונקציית צפיפות ההסתברות למשתנה אקראי אחד היא של הצורה ו( איקס ) = θ^-1ה ^-איקס/θ

פונקציית הסבירות ניתנת על ידי פונקצית צפיפות ההסתברות המפרקית. זהו תוצר של כמה מפונקציות צפיפות אלה:

L (θ) = Π θ^-1ה ^-איקס_אני^/θ = θ^-נה ^-Σאיקס_אני^/θ

שוב מועיל לקחת בחשבון את הלוגריתם הטבעי של תפקוד הסבירות. הבחנה זו תדרוש פחות עבודה מאשר הבחנה בין פונקציית הסבירות:

R (θ) = ln L (θ) = ln [θ^-נה ^-Σאיקס_אני^/θ]

אנו משתמשים בחוקי הלוגריתמים שלנו ומקבלים:

R (θ) = ln L (θ) = - n ln θ + -Σאיקס_אני/θ

אנו מבדילים ביחס ל θ ויש לנו:

R '(θ) = - n / θ + Σאיקס_אני/θ²

קבע נגזרת זו שווה לאפס ואנחנו רואים ש:

0 = - n / θ + Σאיקס_אני/θ².

הכפל את שני הצדדים על ידי θ² והתוצאה היא:

0 = - n θ + Σאיקס_אני.

כעת השתמש באלגברה כדי לפתור עבור θ:

θ = (1 / n) Σאיקס_אני.

אנו רואים מכאן שממוצע המדגם הוא זה שממקסם את פונקציית הסבירות. הפרמטר θ שמתאים למודל שלנו אמור פשוט להיות הממוצע של כל התצפיות שלנו.

חיבורים

ישנם סוגים אחרים של אומדנים. סוג הערכה חלופי אחד נקרא an אומדן חסר משוא פנים. עבור סוג זה, עלינו לחשב את הערך הצפוי של הסטטיסטיקה שלנו ולקבוע אם הוא תואם לפרמטר המקביל.