Utforska exempel på uppskattning av maximal sannolikhet

Anta att vi har ett slumpmässigt urval från en population av intresse. Vi kan ha en teoretisk modell för hur befolkningen fördelas. Det kan dock finnas flera populationsparametrar som vi inte känner till värdena. Maximal sannolikhetsberäkning är ett sätt att bestämma dessa okända parametrar. 

Grundidén bakom maximal uppskattning av sannolikheten är att vi bestämmer värdena på dessa okända parametrar. Vi gör detta på ett sådant sätt för att maximera en tillhörande ledsannolikhetsdensitetsfunktion eller sannolikhetsmassafunktion. Vi kommer att se detta mer detaljerat i det följande. Då beräknar vi några exempel på uppskattning av maximal sannolikhet.

Steg för maximal uppskattning av sannolikhet

Ovanstående diskussion kan sammanfattas med följande steg:

1. Börja med ett urval av oberoende slumpmässiga variabler X₁, X₂,... X_n från en gemensam distribution var och en med sannolikhetsdensitetsfunktion f (x; θ₁,... θ_k). Tetorna är okända parametrar.
2. Eftersom vårt prov är oberoende hittas sannolikheten för att få det specifika provet som vi observerar genom att multiplicera våra sannolikheter tillsammans. Detta ger oss en sannolikhetsfunktion L (θ₁,... θ_k) = F (x₁ ; θ₁,... θ_k) f (x₂ ; θ₁,... θ_k) ... f (x_n ; θ₁,... θ_k) = Π f (x_jag ; θ₁,... θ_k).
3. Därefter använder vi Calculus för att hitta värdena på theta som maximerar vår sannolikhetsfunktion L. 
4. Mer specifikt differentierar vi sannolikhetsfunktionen L med avseende på θ om det finns en enda parameter. Om det finns flera parametrar beräknar vi partiella derivat av L med avseende på var och en av teta-parametrarna.
5. För att fortsätta maximeringsprocessen ställer du in derivatet av L (eller partiella derivat) lika med noll och löser för theta.
6. Vi kan sedan använda andra tekniker (som ett andra derivattest) för att verifiera att vi har hittat ett maximum för vår sannolikhetsfunktion.

Exempel

Anta att vi har ett paket med frön, som var och en har en konstant sannolikhet p av framgång med groning. Vi planterar n av dessa och räkna antalet dem som spira. Antag att varje frö groddar oberoende av de andra. Hur bestämmer vi den största sannolikhetsberäknaren för parametern p?

Vi börjar med att notera att varje utsäde modelleras av en Bernoulli-distribution med en framgång av p. Vi låter X vara antingen 0 eller 1, och sannolikhetsmassfunktionen för ett enda frö är f(x; p ) = p^x (1 - p)^{1 - x}. 

Vårt prov består av n  annorlunda X_jag, var och en med har en Bernoulli-distribution. Frön som groddar har X_jag = 1 och frön som inte groddar har X_jag = 0. 

Sannolikhetsfunktionen ges av:

L ( p ) = Π p^x_jag (1 - p)^{1 - x}_jag

Vi ser att det är möjligt att skriva om sannolikhetsfunktionen genom att använda exponenternas lagar. 

L ( p ) = p^{Σ x}_jag (1 - p)^{n - Σ x}_jag

Därefter differentierar vi denna funktion med avseende på p. Vi antar att värdena för alla X_jag är kända, och följaktligen är konstanta. För att differentiera sannolikhetsfunktionen måste vi använda produktregeln tillsammans med strömregeln:

L '( p ) = Σ x_jagp^{-1 + Σ x}_jag (1 - p)^{n - Σ x}_jag - (n - Σ x_jag ) p^{Σ x}_jag (1 - p)^{n-1 - Σ x}_jag

Vi skriver om några av de negativa exponenterna och har:

L '( p ) = (1 /p) Σ x_jagp^{Σ x}_jag (1 - p)^{n - Σ x}_jag - 1 / (1 - p) (n - Σ x_jag ) p^{Σ x}_jag (1 - p)^{n - Σ x}_jag

= [(1 /p) Σ x_jag - 1 / (1 - p) (n - Σ x_jag)]_jagp^{Σ x}_jag (1 - p)^{n - Σ x}_jag

För att fortsätta processen för maximering sätter vi detta derivat lika med noll och löser för p:

0 = [(1 /p) Σ x_jag - 1 / (1 - p) (n - Σ x_jag)]_jagp^{Σ x}_jag (1 - p)^{n - Σ x}_jag

Eftersom p och (1- p) är noll vi har det

0 = (1 /p) Σ x_jag - 1 / (1 - p) (n - Σ x_jag).

Multiplicera båda sidorna av ekvationen med p(1- p) ger oss:

0 = (1 - p) Σ x_jag - p (n - Σ x_jag).

Vi utökar höger sida och ser:

0 = Σ x_jag - p Σ x_jag - p n + pΣ x_jag = Σ x_jag - p n.

Således Σ x_jag = p n och (1 / n) Σ x_jag = p. Detta innebär att den största sannolikhetsberäknaren för p är ett medelvärde. Mer specifikt är detta provandelen av frön som grodde. Detta är perfekt i linje med vad intuition skulle berätta för oss. För att bestämma andelen frön som kommer att gro, bör du först ta ett prov från den intressanta befolkningen.

Ändringar av stegen

Det finns några ändringar av ovanstående lista med steg. Som vi har sett ovan är det till exempel värdefullt att spendera lite tid med att använda viss algebra för att förenkla uttrycket för sannolikhetsfunktionen. Anledningen till detta är att göra differentieringen enklare att genomföra.

En annan ändring av ovanstående lista med steg är att ta hänsyn till naturliga logaritmer. Maximumet för funktionen L kommer att inträffa vid samma punkt som för den naturliga logaritmen hos L. Således är maximering av ln L ekvivalent med att maximera funktionen L.

Många gånger, på grund av förekomsten av exponentiella funktioner i L, kommer att ta den naturliga logaritmen av L mycket att förenkla en del av vårt arbete.

Exempel

Vi ser hur man använder den naturliga logaritmen genom att gå igenom exemplet ovan. Vi börjar med sannolikhetsfunktionen:

L ( p ) = p^{Σ x}_jag (1 - p)^{n - Σ x}_jag .

Vi använder sedan våra logaritlagar och ser att:

R ( p ) = ln L ( p ) = Σ x_jag ln p + (n - Σ x_jag) ln (1 - p).

Vi ser redan att derivatet är mycket lättare att beräkna:

R '( p ) = (1 /p) Σ x_jag - 1 / (1 - p) (n - Σ x_jag) .

Nu som tidigare sätter vi detta derivat lika med noll och multiplicerar båda sidor med p (1 - p):

0 = (1- p ) Σ x_jag - p(n - Σ x_jag) .

Vi löser för p och hitta samma resultat som tidigare.

Användningen av den naturliga logaritmen för L (p) är till hjälp på ett annat sätt. Det är mycket lättare att beräkna ett andra derivat av R (p) för att verifiera att vi verkligen har ett maximum vid punkten (1 / n) Σ x_jag = p.

Exempel

För ett annat exempel, anta att vi har ett slumpmässigt prov X₁, X₂,... X_n från en befolkning som vi modellerar med en exponentiell fördelning. Sannolikhetsdensitetsfunktionen för en slumpmässig variabel är av formen f( x ) = θ^-1 e ^{-x/ θ}

Sannolikhetsfunktionen ges av ledens sannolikhetsdensitetsfunktion. Detta är en produkt av flera av dessa täthetsfunktioner:

L (θ) = Π θ^-1 e ^-x_jag^{/ θ} = θ^-n e ^{-Σ x}_jag^{/ θ}

Återigen är det bra att ta hänsyn till den naturliga logaritmen för sannolikhetsfunktionen. Att differentiera detta kommer att kräva mindre arbete än att differentiera sannolikhetsfunktionen:

R (θ) = ln L (θ) = ln [θ^-n e ^{-Σ x}_jag^{/ θ}]

Vi använder våra lagar om logaritmer och får:

R (θ) = ln L (θ) = - n ln θ + -Σx_jag/ θ

Vi differentierar med avseende på θ och har:

R '(θ) = - n / θ + Σx_jag/ θ²

Ställ in detta derivat lika med noll och vi ser att:

0 = - n / θ + Σx_jag/ θ².

Multiplicera båda sidor med θ² och resultatet är:

0 = - n θ + Σx_jag.

Använd nu algebra för att lösa för θ:

θ = (1 / n) Σx_jag.

Vi ser av detta att provmedlet är det som maximerar sannolikhetsfunktionen. Parametern θ som passar vår modell bör helt enkelt vara medelvärdet för alla våra observationer.

anslutningar

Det finns andra typer av uppskattningar. En alternativ uppskattningstyp kallas en opartisk uppskattare. För denna typ måste vi beräkna det förväntade värdet på vår statistik och avgöra om den matchar en motsvarande parameter.