For nemt at kunne henvise til regressionsodellen i Statistisk Model 7.1.2 betegner jeg den her med $M_r$. Modellen siger $X_i\sim N(\alpha+\beta t_i,\sigma^2),$ $i=1,\ldots,n,$ og for at lave skøn over parametrene $\alpha,$ $\beta$ og $\sigma^2$ opstiller vi som i afsnit 4.3 likelihoodfunktionen og maksimerer denne. Da de $n$ målinger antages uafhængige, er likelihoodfunktionen produktet af tætheder, $$L(\alpha,\beta,\sigma^2)=\prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{1}{2\sigma^2}(x_i-\alpha-\beta t_i)^2} = \frac{1}{\sqrt{2\pi\sigma^2}^n} e^{-\frac{1}{2\sigma^2}\sum_{i=1}^n (x_i-\alpha-\beta t_i)^2}.$$ For at finde maksimum af denne med hensyn til $\alpha$ og $\beta$ skal vi minimere $$\sum_{i=1}^n \big(x_i-\alpha-\beta t_i\big)^2,$$ hvorfor dette kaldes mindste kvadraters metode (som i afsnit 4.3). Vi differentierer med hensyn til $\alpha$ og $\beta$ og sætter de afledede lig med nul. Løsningen til de to ligninger er $$\hat\beta=\frac{\sum_{i=1}^n(x_i-\bar x)(t_i-\bar t)} {\sum_{i=1}^n(t_i-\bar t)^2},\qquad \hat\alpha=\bar x-\hat\beta\bar t, \tag{7.2.1}$$ hvor de to gennemsnit er $\bar t=\sum_it_i/n$ og $\bar x=\sum_ix_i/n.$ Det vil være bekvemt at bruge følgende notation $$\mathit{SSD}_t=\sum_{i=1}^n (t_i-\bar t)^2\quad \text{og}\quad \mathit{SSD}(M_r)=\sum_{i=1}^n \big(x_i-(\hat\alpha+\hat\beta t_i)\big)^2,$$ hvor SSD står for Sum of Squared Deviations. Værdien $\hat\xi_i=\hat\alpha+\hat\beta t_i$ kaldes den $i$'te forventede værdi (middelværdien med parameterskøn indsat), og $$r_i=x_i-\hat\xi_i$$ kaldes det $i$'te residual.Indsættes $\hat\alpha$ og $\hat\beta$ i $L(\alpha,\beta,\sigma^2),$ og maksimeres med hensyn til $\sigma^2,$ fås $\hat\sigma^2=\frac{1}{n}\mathit{SSD}(M_r).$ Ligesom i afsnit 4.3 ændrer vi divisor her og bruger skønnet $s_r^2$ givet ved $$s_r^2=\frac{\mathit{SSD}(M_r)}{\mathit{df}(M_r)},\quad \mathit{df}(M_r)=n-2.$$ På denne måde opnås, at $s_r^2,$ betragtet som en stokastisk variabel, har middelværdi $\sigma^2$ (dette omtales ofte som, at variansskønnet er unbiased). Nedre indeks "r" står for regression.I Eksempel 7.2.2 nedenfor laves en figur med data fra Eksempel 7.1.1, med den estimerede linje indtegnet og med to parallelle linjer i afstanden $\pm 2s_r.$ For at kunne bruge skønnene til at lave inferens om parametrene skal vi kende fordelingen af de tilhørende stokastiske variable. Jeg vil her kort forklare det første resultat, da det peger frem mod et generelt resultat i næste kapitel. Fra (7.2.1) kan vi skrive $$\hat\beta=\frac{\sum_{i=1}^n(X_i-\bar X)(t_i-\bar t)} {\mathit{SSD}_t}= \frac{\sum_{i=1}^n X_i(t_i-\bar t)} {\mathit{SSD}_t}=\sum_{i=1}^n X_i a_i,\quad a_i=\frac{t_i-\bar t}{\mathit{SSD}_t}.$$ Her er $a_i$-erne faste tal (ikke-stokastiske), og vi betragter altså en linearkombination af uafhængige normalfordelte variable. Fra regnereglerne i afsnit 4.1 gælder der således, at $\hat\beta$ er normalfordelt. Vi skal nu blot eftervise, at middelværdi og varians er som angivet i Resultat 7.2.1. Dette følger af, at $$\begin{aligned} E\big(\hat\beta\big)&=\sum_i(\alpha+\beta t_i)a_i= \sum_i(\alpha+\beta t_i)\frac{t_i-\bar t}{\mathit{SSD}_t}= 0+\beta\sum_i t_i\frac{t_i-\bar t}{\mathit{SSD}_t} \\ &= \beta\sum_i (t_i-\bar t)\frac{t_i-\bar t}{\mathit{SSD}_t} =\beta, \end{aligned}$$ og $$\begin{aligned} \text{Var}\big(\hat\beta\big)=\sigma^2 \sum_i a_i^2 =\sigma^2\sum_i \frac{(t_i-\bar t)^2}{\mathit{SSD}_t^2} =\sigma^2\frac{\mathit{SSD}_t}{\mathit{SSD}_t^2} =\frac{\sigma^2}{\mathit{SSD}_t}. \end{aligned}$$ Fordelingen for $\hat\alpha$ findes på helt tilsvarende vis. For $s_r^2$ gælder der, at $\sum_i\big(x_i-(\alpha+\beta t_i)\big)^2\sim\sigma^2\chi^2(n),$ og man kan matematisk vise, at når vi indsætter $\hat\alpha$ og $\hat\beta,$ mister vi to frihedgrader (der estimeres to parametre), så $\mathit{SSD}(M_r)= \sum_i(x_i-(\hat\alpha+\hat\beta t_i))^2\sim\sigma^2\chi^2(n-2).$ For at vurdere, om den lineære sammenhæng giver en god beskrivelse af data, laver man ofte et residualplot. I denne figur afsættes residualerne $r_i$ mod de forklarende værdier $t_i.$ Man kigger efter to ting. For det første om der er systematiske afvigelser fra nullinjen, altså om der er områder, hvor de fleste af residualerne enten ligger over eller ligger under nullinjen. Dette vil være et udtryk for, at sammenhængen er mere kompliceret end blot en lineær sammenhæng. For det andet kigger man efter, om der er områder, hvor residualerne spreder sig mere end i andre områder. Dette vil pege mod, at antagelsen om den samme varians $\sigma^2$ på alle observationerne ikke er korrekt. Man kan også lave et qqplot af residualerne $r_1,\ldots,r_n$ for at vurdere, om normalfordelingsantagelsen er rimelig. ForegåendeNæste