Summering av vissa delar av kapitel 8

Vi pratade om att  sannolikhetsfördelningar  kan betraktas som modeller  av verkligheten. Beroende på situation väljer vi Binomialfördelning, Poissonfördelning, Exponentialfördelning, etc…. .

Antag att vi i en viss situation har insett att just Poissonfördelning  skulle vara en lämplig modell att använda.
Poissonfördelningen har en parameter  \(\lambda\)  .

Då kommer vi till frågan vilken statistika  vi ska använda som estimator(punktskattning) för vår parameter.

I kapitel 8 tittade vi på egenskaper  hos en estimator(punkskattning).
I början av kapitel 9 handlar det mer om dessa egenskaper, men det ingår inte i denna kurs.

I denna kurs ingår från kapitel 9 endast delkapitlen 9.6 och 9.7.

Det handlar om hur  man hittar en lämplig statistika att använda som estimator, dvs hur man använder den information man får från sitt stickprov.
(En statistika är ju en funktion av stickprovet)

Exempel

Antag att du har 20 observationer  \(Y_1\)  ,  \(Y_2\)  , … ,  \(Y_{20}\)  som du har listat ut att de verkar komma från en Gammafördelning, dvs   \(Y_i\sim Gamma(\alpha,\beta)\)  .
Men du vet inte värdena på parametrarna  \(\alpha\)  och  \(\beta\)  .
Hur ska du utnyttja ditt stickprov för att göra bra punktskattningar av dessa parametrar?

Överblick

Vi presenterar i denna kurs tre vanliga metoder som används för att bestämma en lämplig estimator(punktskattning)  \(\hat{\theta}\)  till en parameter  \(\theta\)  :

• Moment-metoden (Kap 9.6) kräver att man vet vilken fördelning  \(Y_i\)  har.

• Minsta-kvadrat-metoden (nedan; finns ej i boken)

• Maximum-likelihood-metoden (Kap 9.7) kräver att man vet vilken fördelning  \(Y_i\)  har

Repetition av beteckningar för moment

Första momentet kring origo =  \(E(Y)\)  ; kan betecknas  \(\mu_1^{\prime }\)  

Andra momentet kring origo =  \(E(Y^2)\)  ; kan betecknas  \(\mu_2^{\prime }\)  

Exempel 1

Antag att vi listat ut att vi har en situation där en Poisson-fördelning skulle vara en lämplig modell, men vi vet inte värdet på  \(\lambda\)  .

Teoretiskt moment: \(\mu_1^{\prime }=E(Y)\)  .
För  \(Y\sim Po(\lambda)\)  gäller då att  \(\mu_1^{\prime }=\lambda\)  .

Stickprovsmoment:  \(m_1^{\prime }=\bar{Y}\)  .

Om vi nu sätter  \(\mu_1^{\prime }\)  lika med  \(m_1^{\prime }\)  , får vi att  \(\lambda=\bar{Y}\)  .

Ur detta följer att en lämplig estimator för  \(\lambda\)  
enligt momentmetoden är  \(\hat{\lambda}=\bar{Y}\)  .

Exempel 2

Låt  \(Y_{1},Y_{2},…,Y_{n}\)  vara ett slumpmässigt stickprov från  \(Gamma\left( \alpha ;\beta \right)\)  . Finn estimatorer till \(\alpha\)   och  \(\beta\)  med hjälp av momentmetoden.

Vi behöver då två moment (som erhålls med t. ex. mgf).
Vi kan t.ex. ta de två första momenten:

\(E\left( Y\right) =\mu _{1}^{\prime }=\alpha \beta\)    och

\(E\left( Y^{2}\right) =\mu _{2}^{\prime }\)  =  \(V\left( Y\right) +\left[ E\left(Y\right) \right] ^{2}\)  =  \(\alpha \beta ^{2}+\alpha ^{2}\beta ^{2}\)

Motsvarande moment i stickprovet blir

\(\displaystyle m_{1}^{\prime }=\frac{\sum Y_{i}}{n}\)  =  \(\bar{Y}\)    och

\(\displaystyle m_{2}^{\prime }=\frac{\sum Y_{i}^{2}}{n}\)

Nu sätter vi \(\mu_1^{\prime }\)  lika med  \(m_1^{\prime }\)  och vi sätter  \(\mu_2^{\prime }\)  lika med  \(m_2^{\prime }\)  .

Vi får då två ekvationer med två obekanta ( \(\alpha\)  och  \(\beta\)  ), nedan insatta i ett ekvationssystem:

\(\displaystyle \left\{ \begin{array}{c} \alpha \beta=\bar{Y} \\ \alpha \beta ^{2}+\alpha ^{2}\beta ^{2}=\frac{\sum Y_{i}^{2}}{n} \end{array}\right.\)

Lösning av ekvationssystemet kan du förhoppningsvis klara av själv:
Börja med att lösa ut  \(\beta\)  ur den övre ekvationen,
och stoppa in  \(\beta=\frac{\bar{Y}}{\alpha}\)  i den nedre ekvationen.

Efter en del algebra får vi slutligen att

\(\alpha\)  =  \(\displaystyle\frac{n \bar{Y}^{2}}{\sum Y_{i}^{2}-n\bar{Y}^{2}}\)    och

\(\beta\)  =  \(\displaystyle\frac{\sum Y_{i}^{2}-n\bar{Y}^{2}}{n \bar{Y}}\)

Ur detta följer att lämpliga estimator för   \(\alpha\)  och  \(\beta\)  
enligt momentmetoden är följande:

\(\hat{\alpha}\)  =  \(\displaystyle\frac{n \bar{Y}^{2}}{\sum Y_{i}^{2}-n\bar{Y}^{2}}\)    och

\(\hat{\beta}\)  =  \(\displaystyle\frac{\sum Y_{i}^{2}-n\bar{Y}^{2}}{n \bar{Y}}\)

Exempel

Antag att vi har ett stickprov av storlek  \(n=3\)  med följande observationer:  \(y_{1}=2,y_{2}=7,y_{3}=10\)  .

Vi vill skatta väntevärdet  \(\mu\)  för den fördelning som stickprovet kommer ifrån.

Minsta-kvadrat-metoden går ut på att låta  \(\mu\)  få det värde där summan av de kvadrerade avstånden mellan  \(y_{i}\)  och  \(\mu\)  blir så liten som möjligt.

För att hitta det värde på  \(\mu\)  där den summan blir minimal,
bildar man en funktion  \(Q=(2-\mu)^2\)  +  \((7-\mu)^2 + (10-\mu)^2\)  .

För att hitta den värde på  \(\mu\)  där summa-funktionen  \(Q\)  har sitt minsta värde, deriverar man  \(Q\)  med avseende på variabeln  \(\mu\)  och bestämmer sedan det värde  \(\mu\)  där derivatan blir noll.

I vårt exempel blir derivatan  \(\displaystyle \frac{dQ}{d\mu }\)  lika med
\(2\cdot(2-\mu)\cdot(-1)\)  +  \(2\cdot(7-\mu)\cdot(-1) + 2\cdot(10-\mu)\cdot(-1)\)  .

(Faktorerna  \((-1)\) är inre derivatan; derivatan av det som finns i parentesen.)

Om vi nu sätter  \(\displaystyle \frac{dQ}{d\mu } = 0\)  får vi lösningen  \(\mu \approx 6.33\)  .

Minsta-kvadrat-metoden ger alltså skattningen  \(\hat{\mu} \approx 6.33\)  .

Allmänt

Antag att vi har ett stickprov  \(Y_1\)  ,  \(Y_2\)  , … ,  \(Y_n\)  och vi vill göra en skattning av väntevärdet  \(\mu\)  .

För att hitta det värde på  \(\mu\)  där summan av kvadrerade avvikelser till väntevärdet blir minimal,

bildar man funktionen \(Q= \displaystyle \sum_{i=1}^{n}\left( Y_{i}-\mu \right) ^{2}\)  .

Eftersom vi vill hitta det värde på  \(\mu\)  som minimerar funktionen, så deriverar vi  \(Q\)  med avseende på  \(\mu\)  :

\(\displaystyle \frac{dQ}{d\mu }=\displaystyle \sum_{i=1}^{n}\frac{d}{d\mu }\left( Y_{i}-\mu \right)^{2}\)  =   \(\displaystyle \sum_{i=1}^{n} 2\left( Y_{i}-\mu \right)(-1)\)  =   \(\displaystyle \sum_{i=1}^{n} \left(-2 Y_{i}+ 2 \mu \right)\)  .

Sätt derivatan lika med noll för att finna extremvärde:

\(-2\displaystyle\sum_{i=1}^{n}Y_{i}+2n\mu=0\)     ger

\(\mu =\displaystyle \frac{\displaystyle \sum_{i=1}^{n}Y_{i}}{n}\)  =  \(\bar{Y}\) .

Det är enkelt att verifiera att detta är ett minimum.
(Observera att vi inte har gjort några antaganden om fördelningen för  \(Y_i\)  ).

Skattningen av  \(\mu\)  med användning av minsta-kvadrat-metoden gav alltså

\(\hat{\mu} =\displaystyle \frac{\displaystyle \sum_{i=1}^{n}Y_{i}}{n}\)  =  \(\bar{Y}\)