Kapitel 8
Inledning (Kap 8.1)
Begreppen parameter och statistika
En parameter är ett numeriskt mått på en population/sannolikhetsfördelning.
En statistika \(U\) är en funktion av en uppsättning iid slumpvariabler \(Y_1\) , \(Y_2\) , … , \(Y_n\) . Dessa kan också betraktas som ett stickprov, så man kan också säga att en statistika är en funktion av stickprovets observationer; \(U=g(Y_1,Y_2, … ,Y_n)\)
I kursen hittills har presenterats många sannolikhetsfördelningar . Man skulle kunna betrakta dessa som modeller av verkligheten.
I exempel 1 ser vi också att det finns en koppling mellan population och sannolikhetsfördelning .
Exempel 1
Tänk dig följande population: En oändligt stor låda med oändligt många lappar märkta 1,2,3,4,5,6; lika många lappar av varje sort. Slumpförsöket är att ta upp en lapp slumpvis ur denna population där slumpvariabeln \(Y\) är värdet på lappen.
(Sannolikhetsfördelningen för denna slumpvariabel \(Y\) skulle bli precis densamma som sannolikhetsfördelningen för resultatet av ett kast med en vanlig sexsidig tärning.)
En modell för \(Y\) är “likformig diskret sannolikhetsfördelning”; \(Y\sim U(1,6)\) .
Några parametrar i exempel 1:
Parametern \(a\) har värdet \(1\) .
Parametern \(b\) har värdet \(6\) .
Parametern \(\mu\) har värdet \(3.5\) .
Exempel 2
I en viss affär kommer det i genomsnitt in en kund var femte minut.
Tag en slumpvis utvald minut, och låt \(Y\) vara antalet kunder som kommer in just den minuten.
En modell för \(Y\) är “Poissonfördelning2; \(Y\sim Po(0.2)\) .
En parameter i exempel 2 är \(\lambda\) , som har värdet \(0.2\)
Skattning av parametrar
eller “Hur kommer man åt egenskaperna hos en population?”
Genom att ta ett stickprov vill man komma åt parametrarna. (parametrarna är ju enligt ovan ett numeriskt mått på en egenskap hos populationen.)
Vi vill alltså använda stickprovet för att göra en skattning av en parameter. Hur ska detta göras, dvs vilken statistika ska vi använda för att skatta vår parameter?
Den statistika som vi väljer kallas för en skattning (estimator på engelska) för vår parameter,
och det numeriska värde som vi får fram kallas en skattning (estimate på engelska).
Exempel
Antag att vi listat ut att vi har en situation där en Poisson-fördelning skulle vara en lämplig modell, men vi vet inte värdet på \(\lambda\) .
För att bestämma parametern \(\lambda\) kan vi använda estimatorn \(\bar{Y}\) .
Om vi gör fem observationer, och får \(y_1=4\) , \(y_2=3\) , \(y_3=1\) , \(y_4=3\) och \(y_5=2\) , blir vårt estimat av \(\lambda\) lika med \(2.6\) .
Begreppet punktskattning
I exemplet ovan, bestämde vi bara ett värde (en punkt) där vi tror att att parameterns värde är.
Man kan också göra en intervallskattning, vilket innebär att man anger ett intervall där man tror att parameterns värde finns. (Se kap 8.5 och framåt)
Egenskaper hos en punktskattning (Kap 8.2)
Antag att vi har en parameter \(\theta\) som vi vill skatta.
(\(\theta\) kan vara ett populationsmedelvärde \(\mu\) , en populationsvarians \(\sigma^2\) eller något annat.)
Säg att \(Y_1\) , \(Y_2\) , … , \(Y_n\) är ett stickprov av \(n\) stycken oberoende observationer från populationen.
Men hjälp av dessa observerade stickprovsvärden beräknar vi en punktskattning \(\hat{\theta}=g(Y_1,Y_2, … ,Y_n)\) av den okända populationsparametern \(\theta\) .
Önskvärda egenskaper hos en punktskattning
-
\(\hat{\theta}\) är väntevärdesriktig (unbiased på engelska),
dvs \(E\bigl(\hat{\theta}\bigr)=\theta\) -
\(\hat{\theta}\) är konsistent ,
dvs \(V\bigl(\hat{\theta}\bigr)\) minskar när \(n\) ökar. -
Dessutom önskar vi förstås att \(\hat{\theta}\) hamnar i närheten av \(\theta\) , dvs att avvikelsen \(\hat{\theta}-\theta\) är liten.
Exempel
Antag att \(\mu\) är den parameter vi vill skatta.
\(\theta\) motsvarar alltså \(\mu\) i det här exemplet.
Om vi har ett stickprov \(Y_1\) , \(Y_2\) , … , \(Y_n\) och vill skatta \(\mu\) , är följande statistika en lämplig estimator \(\hat{\theta}\) :
Stickprovsmedelvärdet \(\bar{Y}=\displaystyle \frac{ Y_1+Y_2+… +Y_n}{n}\)
Nu vill vi kolla om vårt \(\hat{\theta}=\bar{Y}\) uppfyller de önskade egenskaperna:
Väntevärdesriktig?
\(E\bigl(\hat{\theta}\bigr)=\theta\) ska kollas.
Det innebär i det här fallet att \(E\bigl(\bar{Y})=\mu\) ska kollas.
Och enligt Kap 7 del 1 gäller \(E\left( \bar{Y}\right)=\mu\) .
Konsistent? Vi ska kolla om \(V\bigl(\hat{\theta}\bigr)\) minskar när \(n\) ökar.
Det innebär i det här fallet att vi ska kolla om \(V\bigl(\bar{Y})\) minskar när \(n\) ökar.
Och enligt Kap 7 del 2 gäller att \(V\left( \bar{Y}\right)=\frac{V(Y)}{n}\) . Detta värde minskar när \(n\) ökar.
Beståndsdelar i avvikelsen \(\hat{\theta}-\theta\)
Avvikelsen \(\hat{\theta}-\theta\) kan betraktas bestå av två delar; systematiskt fel (bias på engelska) och slumpfel:
Beteckningar: \(\hat{\theta}-\theta\) = \(B\bigl(\hat{\theta}\bigr)+\epsilon\) ,
där det systematiska felet \(B\bigl(\hat{\theta}\bigr)\) = \(E\bigl(\hat{\theta}\bigr)-\theta\)
och slumpfelet \(\epsilon = \hat{\theta} – E\bigl(\hat{\theta}\bigr)\) .
Vi ser då att
\(\hat{\theta}-\theta\) = \(B\bigl(\hat{\theta}\bigr)+\epsilon\) = \(E\bigl(\hat{\theta}\bigr)-\theta + \hat{\theta} – E\bigl(\hat{\theta}\bigr)\) , vilket blir just \(\hat{\theta}-\theta\) om man förenklar uttrycket.
Exempel
Punktlige Patrik har en mätfirma som har fått i uppdrag att mäta avståndet \(\theta\) från vattentornet i Kronoparken till frihetsgudinnan i New York.
(För att ha något konkret att räkna på, låtsas vi att att \(\theta =6000\) km. Men det vet förstås inte Patrik om.)
Antag att Patrik i genomsnitt får värdet 6010 med sin mätmetod, dvs \(E\bigl(\hat{\theta}\bigr)=6010\) .
Men sedan gör slumpen att det varierar lite kring detta värde; exempel på mätresultat som Patrik fått: 6010.3, 6008.4, 6011.2, …
Om vi tittar på avvikelsen \(\hat{\theta}-\theta\) kan vi betrakta denna som \(10+\epsilon\) där talet 10 står för det systematiska felet, och \(\epsilon\) står för slumpfelet.
Mått på avvikelsen
Ett vanligt mått på avvikelsen/osäkerheten i skattningen är \(MSE\) som står för “Mean Square Error”.
\(MSE\) för en estimator \(\hat{\theta}\) definieras enligt följande: \(MSE\bigl(\hat{\theta}\bigr)\) = \(E\Bigl(\bigl(\hat{\theta}-\theta\bigr)^2\Bigr)\) .
Utveckling av uttrycket för \(MSE\) :
\(MSE\bigl(\hat{\theta}\bigr)\) = \(E\Bigl(\bigl(\hat{\theta}-\theta\bigr)^2\Bigr)\) = \(E\Bigl( \left( \hat{\theta}-E\left( \hat{\theta}\right) +E\left( \hat{\theta}\right) -\theta \right) ^{2}\Bigr)\) = \(E\Bigl(\left( \hat{\theta}-E\left( \hat{\theta}\right) \right) ^{2}\Bigr)\) + \(E\Bigl(\left(E\left( \hat{\theta}\right) -\theta \right) ^{2}\Bigr)\) = \(V\bigl(\hat{\theta}\bigr) +\left( B\left( \hat{\theta}\right) \right)^{2}\) .
Notera att i specialfallet när estimatorn \(\hat{\theta}\) är väntevärdesriktig, så blir \(B\bigl(\hat{\theta}\bigr)=0\) .
Då är \(MSE\bigl(\hat{\theta}\bigr)\) detsamma som “den gamla vanliga” variansen för skattningen; \(V\bigl(\hat{\theta}\bigr)\) .
Några vanliga väntevärdesriktiga skattningar (estimatorer) (Kap 8.3)
Benämningen “standard error”
Standard error betyder standardavvikelsen för fördelningen för \(\hat{\theta}\) .
\(V\bigl(\hat{\theta}\bigr)\) är en beteckning för variansen för fördelningen för \(\hat{\theta}\) .
En annan beteckning för samma varians är \(\sigma^2_{\hat{\theta}}\) .
Så en naturlig beteckning för standard error är \(\sigma_{\hat{\theta}}\) .
Estimatorer som ni behöver kunna härleda
I kursfordringarna ingår att ni kunna härleda väntevärde och varians (och följaktligen även standard error) för följande estimatorer:
Estimator för \(\mu\) .
Estimator för \(p\) .
Estimator för \(\mu_1-\mu_2\) .
Estimator för \(p_1-p_2\) .
Estimator för \(S^2\) . Här räcker det att du kan bevisa att estimatorn är väntevärdesriktig; du behöver inte gå in på dess standard error.