Med et observationssæt mener jeg observationer fra en række stokastiske variable, der alle har den samme fordeling, og i dette afsnit betragter jeg situationen med et normalfordelt observationssæt. Lad os se på estimation af middelværdien $\mu$ og variansen $\sigma^2.$ I de tidligere kapitler med tælledata blev likelihoodfunktionen brugt til at finde estimater. Likelihoodfunktionen blev der defineret som sandsynligheden for det observerede som funktion af parameteren i modellen, og estimatet er den værdi af parameteren, der giver maksimum af likelihoodfunktionen. For kontinuerte data kan man ikke bruge punktsandsynligheder (disse er nul), men vi har tætheden til rådighed, som repræsenterer sandsynligheden for at ligge i et lille område omkring et punkt. For kontinuerte data defineres likelihoodfunktionen til at være tætheden for det observerede som funktion af de parametre, der indgår i modellen. For uafhængige målinger bliver tætheden et produkt af tæthederne for de enkelte målinger. For vores normalfordelingsmodel bliver likelihoodfunktionen $$\begin{aligned} L(\mu,\sigma^2)&= f(x_1;\mu,\sigma)\cdot f(x_2;\mu,\sigma)\cdots f(x_n;\mu,\sigma) \\ & =\big(\frac{1}{\sqrt{2\pi\sigma^2}}\big)^n \exp\big(-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2\big). \end{aligned}$$ Heraf fremgår, at hvis denne funktion skal maksimeres med hensyn til $\mu,$ så skal vi minimere $$\sum_{i=1}^n(x_i-\mu)^2.$$ Derfor kendes estimationen også under navnet mindste kvadraters metode, idet $\hat\mu$ findes ved at minimere den samlede kvadratiske afstand mellem $\mu$ og observationerne. Differentieres det sidste udtryk med hensyn til $\mu,$ og sættes den afledede lig med nul, fås estimatet $$\hat\mu=\frac{1}{n}(x_1+x_2+\cdots+x_n)=\sum_ix_i/n=\bar x,$$ hvor en streg over et bogstav betyder gennemsnit af de tilhørende værdier. For at estimere variansparameteren $\sigma^2$ kan vi indsætte $\hat\mu$ i likelihoodfunktionen, $L(\hat\mu,\sigma^2),$ og maksimere denne med hensyn til $\sigma^2.$ Dette giver $\hat\sigma^2=\sum_i(x_i-\bar x)^2/n.$ Dette skøn er ikke helt tilfredsstillende, idet man kan vise (se nedenfor), at betragtet som stokastisk variabel gælder der, at $E(\hat\sigma^2)=\sigma^2(n-1)/n\neq\sigma^2.$ Man bruger derfor i stedet estimatet $$s^2=\frac{1}{n-1}\sum_{i=1}^n(x_i-\bar x)^2,$$ som kaldes den empiriske varians. Kvadratroden, $s,$ kaldes den empiriske spredning. Når vi betragter $s^2$ (eller $s$) som en stokastisk variabel, afviger vi fra vores generelle regel og betegner også denne med $s^2$ og ikke med $S^2$. For at kunne lave tests og konfidensintervaller for parametrene er det nødvendigt at kende fordelingen af vores skøn betragtet som stokastiske variable. Der gælder følgende resultat. Fordelingsresultatet for $\hat\mu$ følger umiddelbart fra regnereglerne for normalfordelte stokastiske variable i afsnit 4.1. Specielt bruges, at $$\text{Var}(\bar X)=\frac{1}{n^2}\cdot n\sigma^2=\frac{\sigma^2}{n},\quad \text{std}(\bar X)=\frac{\sigma}{\sqrt n}$$ Fordelingsresultatet for den empiriske varians $s^2$ er sværere at forstå. Vi ved, hvad en $\chi^2(n-1)$-fordeling er, men hvad er en $\sigma^2\chi^2(n-1)/(n-1)$ fordeling ? Dette skal faktisk forstås på den måde, at den stokastiske variabel $(n-1)s^2/\sigma^2$ følger en $\chi^2(n-1)$-fordeling. Jeg vil ikke udlede fordelingen af $s^2,$ men resultatet bygger på, at $\sum_i(X_i-\mu)^2\sim\sigma^2\chi^2(n)$ ifølge regnereglerne i afsnit 4.1. Når $\mu$ så erstattes med $\bar X,$ viser det sig, at antallet af frihedsgrader går fra $n$ til $n-1.$

Middelværdi af variansskøn

4.3.3 Beregning i python af gennemsnit og spredning

ForegåendeNæste