Afsnit 6.2: Spaltningssætningen

Vi vil bruge følgende sætning uden bevis (sætningen bevises i kurset Multivariat statistisk analyse).

Resultat 6.2.1. (Spaltningssætningen)

Lad $Y_1,\ldots,Y_n$ være uafhængige og identisk fordelte med $Y_i\sim N(0,\sigma^2)$ , og lad $\mathbf{Y}=(Y_1,\ldots,Y_n)^{\text{\tiny T}}.$

Lad $\mathbf{B}_1$ være en $k_1\times n$ matrix, og lad $\mathbf{B}_2$ være en $k_2\times n$ matrix. Definer
$\mathbf{Z}_1=(Z_{11},\ldots,Z_{1,k_1})^{\text{\tiny T}}= \mathbf{B}_1\mathbf{Y}\quad \text{og}\quad \mathbf{Z}_2=(Z_{21},\ldots,Z_{2,k_2})^{\text{\tiny T}}= \mathbf{B}_2\mathbf{Y}.$ Hvis $\mathbf{B}_1\mathbf{B}_2^{\text{\tiny T}}=\mathbf{0}$ så er $\mathbf{Z}_1$ og $\mathbf{Z}_2$ stokastisk uafhængige.
Lad $\mathbf{B}$ være en $n\times n$ matrix, der opfylder $\mathbf{B}\mathbf{B}=\mathbf{B}$ og $\mathbf{B}^{\text{\tiny T}}=\mathbf{B}$ (matematisk betyder dette, at $\mathbf{B}$ er en orthogonal projektion). Definer $\mathbf{Z}=(Z_{1},\ldots,Z_{n})^{\text{\tiny T}}= \mathbf{B}\mathbf{Y}$ . Så gælder der, at
$\sum_{i=1}^nZ_i^2=| \mathbf{B}\mathbf{Y} |^2 = (\mathbf{B}\mathbf{Y})^{\text{\tiny T}}(\mathbf{B}\mathbf{Y}) \sim \sigma^2\chi^2(k),$ hvor $k$ er rangen af matricen $\mathbf{B}$ (dimensionen af det rum $\mathbf{B}$ projektierer ned på).

Kombinere vi ovenstående spaltningssætning med ortogonalitetsresultaterne 6.1.1 kan vi vise de fordelingsresultater, vi allerede har brugt nogle gange.

Resultat 6.2.2. (Uafhængighed mellem middelværdiskøn og variansskøn)

Betragt en generel lineær model med $\boldsymbol{\xi}\in L$ , hvor det $d$ -dimensionale underrum $L$ er udspændt af søjlerne i matricen $\mathbf{H}$ , og vi benytter parametriseringen $\boldsymbol{\xi}=\mathbf{H}\boldsymbol{\theta}$ . I denne model er skønnet $\hat{\boldsymbol{\theta}}$ over middelværdiparametrene og skønnet over variansen $s^2(M)=\sum_{i=1}^n(X_i-\hat\xi_i(M))^2/(n-d)$ stokastisk uafhængige. Desuden er $s^2(M)\sim\sigma^2\chi^2(n-d)/(n-d)$ .

Bevis

Lad $\mathbf{P}=\mathbf{H}(\mathbf{H}^{\text{\tiny T}}\mathbf{H})^{-1}\mathbf{H}^{\text{\tiny T}}$ være projektionsmatricen, og lad $\mathbf{Y}=\mathbf{X}-\boldsymbol{\xi}$ med $\boldsymbol{\xi}\in L.$ Så har vi

$\hat{\boldsymbol{\theta}}=\mathbf{B}_1\mathbf{X}=\mathbf{B}_1\mathbf{Y}+\boldsymbol{\theta},\quad \mathbf{B}_1= (\mathbf{H}^{\text{\tiny T}}\mathbf{H})^{-1}\mathbf{H}^{\text{\tiny T}},$ og

$(n-d)s^2(M)=(\mathbf{B}_2\mathbf{X})^{\text{\tiny T}}(\mathbf{B}_2\mathbf{X}) =(\mathbf{B}_2\mathbf{Y})^{\text{\tiny T}}(\mathbf{B}_2\mathbf{Y}), \quad \mathbf{B}_2=\mathbf{I}-\mathbf{P}.$ Da $\mathbf{B}_1=\mathbf{B}_1\mathbf{P}$ får vi

$\mathbf{B}_1\mathbf{B}_2^{\text{\tiny T}}= \mathbf{B}_1\mathbf{P}(\mathbf{I}-\mathbf{P}) =\mathbf{B}_1(\mathbf{P}-\mathbf{P})=0,$ og uafhængighedsresultatet følger af spaltningssætningen. Fordelingen af variansskønnet følger også af spaltningssætningen, idet $\mathbf{B}_2=\mathbf{I}-\mathbf{P}$ er matricen for projektionen på et rum af dimension $n-d$ .

Det generelle $F$ -test for reduktion fra en generel lineær model $M_1$ til en model $M_2$ er baseret på teststørrelsen $s^2(M_1,M_2)/s^2(M_1),$ hvor $s^2(M_1,M_2)=|\mathbf{P}_1\mathbf{X}-\mathbf{P}_2\mathbf{X}|^2/(d_1-d_2).$

Resultat 6.2.3. (Uafhængighed mellem tæller og nævner i generelt $F$ -test)

Under model $M_2$ i den generelle model (6.1.1) er $s^2(M_1)$ og $s^2(M_1,M_2)$ stokastisk uafhængige, $s^2(M_1)\sim\sigma^2\chi^2(n-d_1)/(n-d_1)$ og $s^2(M_1,M_2)\sim\sigma^2\chi^2(d_1-d_2)/(d_1-d_2)$ . Desuden har vi, at $s^2(M_1,M_2)=(\mathit{SSD}(M_2)-\mathit{SSD}(M_1)/ (\mathit{df}(M_2-\mathit{df}(M_1))$

Bevis

Vi lader $\mathbf{Y}=\mathbf{X}-\boldsymbol{\xi}$ med $\boldsymbol{\xi}\in L_2,$ og lader $\mathbf{P}_1$ og $\mathbf{P}_2$ være matricerne, der projektierer ned på henholdsvis $L_1$ og $L_2$ . Da $\boldsymbol{\xi}\in L_2$ gælder der, at $\mathbf{P}_1\boldsymbol{\xi}=\mathbf{P}_2\boldsymbol{\xi}=\boldsymbol{\xi}$ og $(\mathbf{I}-\mathbf{P}_j)\mathbf{X}=(\mathbf{I}-\mathbf{P}_j)\mathbf{Y}$ , $j=1,2.$ Vi har følgende udtryk

$(n-d_1)s^2(M_1)=|(\mathbf{I}-\mathbf{P}_1)\mathbf{Y}|^2\quad \text{og}\quad (d_1-d_2)s^2(M_1,M_2)=|(\mathbf{P}_1-\mathbf{P}_2)\mathbf{Y}|^2.$ Uafhængigheden følger nu af spaltningssætningen og $(\mathbf{I}-\mathbf{P}_1)(\mathbf{P}_1-\mathbf{P}_2)^{\text{\tiny T}}=0$ ifølge Resultat 6.1.1.

Fordelingsresultaterne følger også af spaltningssætningen, idet både $\mathbf{I}-\mathbf{P}_1$ og $\mathbf{P}_1-\mathbf{P}_2$ er projektionsmatricer.

Endelig har vi fra Resultat 6.1.1, at

$\mathit{SSD}(M_2)=|(\mathbf{I}-\mathbf{P}_2)\mathbf{X}|^2= |(\mathbf{I}-\mathbf{P}_1+\mathbf{P}_1-\mathbf{P}_2)\mathbf{X}|^2 =|(\mathbf{I}-\mathbf{P}_1)\mathbf{X}|^2+ |(\mathbf{P}_1-\mathbf{P}_2)\mathbf{X}|^2 = \mathit{SSD}(M_1)+\mathit{SSD}(M_1,M_2),$ hvor $s^2(M_1,M_2)=\mathit{SSD}(M_1,M_2)/(d_1-d_2).$ Da også $d_1-d_2=\mathit{df}(M_2)-\mathit{df}(M_1)$ , er den sidste del af resultatet vist.

6.2.1 Likelihood ratio test

I normalfordelingsmodellen $X_i\sim(\xi_i,\sigma^2)$ , $i=1,\ldots,n,$ og de $n$ variable er uafhængige, er likelihoodfunktionen

$L(\boldsymbol{\xi},\sigma^2)=\prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{1}{2\sigma^2}(X_i-\xi_i)^2} = \big(2\pi\sigma^2\big)^{-n/2}\exp\Big( -\frac{1}{2\sigma^2}|\mathbf{X}-\boldsymbol{\xi}|^2 \Big).$ Betragt to lineære modeller $M_1:\,\xi\in L_1$ og $M_2:\,\xi\in L_2$ med $L_2\subset L_1$ , og lad de tilhørende projektionsmatricer være $\mathbf{P}_1$ og $\mathbf{P}_2,$ og de tilhørende dimensioner af de to rum være $d_1$ og $d_2.$ Vi lader

$\hat{\boldsymbol{\xi}}(M_1)=\mathbf{P}_1\mathbf{X},\enspace \hat{\boldsymbol{\xi}}(M_2)=\mathbf{P}_2\mathbf{X},\enspace \mathit{SSD}_1=|\mathbf{X}-\mathbf{P}_1\mathbf{X}|^2\enspace \text{og}\enspace \mathit{SSD}_2=|\mathbf{X}-\mathbf{P}_2\mathbf{X}|^2.$ Hvis vi for eksempel maksimerer over $(\boldsymbol{\xi},\sigma^2)\in L_1\times \mathbf{R}_+,$ får vi middelværdiskønnet $\hat{\boldsymbol{\xi}}(M_1)$ og $\hat\sigma^2=\mathit{SSD}_1/n.$

Likelihood ratio teststørrelsen for reduktion fra model $M_1$ til model $M_2$ er

$\begin{aligned} Q & = \frac{ \max_{(\boldsymbol{\xi},\sigma^2)\in L_2\times \mathbf{R}_+} L(\boldsymbol{\xi},\sigma^2) } { \max_{(\boldsymbol{\xi},\sigma^2)\in L_1\times \mathbf{R}_+} L(\boldsymbol{\xi},\sigma^2) } = \frac{ \Big(2\pi\frac{\mathit{SSD}_2}{n}\Big)^{-n/2}e^{-n/2} } { \Big(2\pi\frac{\mathit{SSD}_1}{n}\Big)^{-n/2}e^{-n/2} } \\ & = \Big(\frac{\mathit{SSD}_1}{\mathit{SSD}_2}\Big)^{n/2} = \Big(\frac{ |\mathbf{X}-\mathbf{P}_1\mathbf{X}|^2 } { |\mathbf{X}-\mathbf{P}_2\mathbf{X}|^2 }\Big)^{n/2} = \Big(\frac{ |\mathbf{X}-\mathbf{P}_1\mathbf{X}|^2 } { |\mathbf{X}-\mathbf{P}_1\mathbf{X}|^2+ |\mathbf{P}_1\mathbf{X}-\mathbf{P}_2\mathbf{X}|^2 }\Big)^{n/2} \\ & = \Big(\frac{1}{ 1+\frac{ |\mathbf{P}_1\mathbf{X}-\mathbf{P}_2\mathbf{X}|^2 } { |\mathbf{X}-\mathbf{P}_1\mathbf{X}|^2 } }\Big)^{n/2} = \Big(\frac{1}{ 1+\frac{d_1-d_2}{n-d_1}F }\Big)^{n/2}, \end{aligned}$ hvor vi i det tredje lighedstegn i den anden linje har brugt Resultat 6.1.1 (ortogonalitet af projektioner), og til sidst har brugt definitionen på $F$ -teststørrelsen i Resultat 4.7.1.

Lad mig til sidst i dette afsnit argumentere for, at et $t$ -test, for at en middelværdiparameter er nul, er ækvivalent med $F$ -testet for den tilsvarende reduktion af modellen.

Argument

Lad os skrive modellen på formen

$\boldsymbol{\xi}=\mathbf{H}\boldsymbol{\theta},$ hvor $\mathbf{H}$ er en $n\times d$ matrix og $\boldsymbol{\theta}$ er en $d$ -dimensional søjle. Vi ønsker at teste hypotesen $\theta_1=0.$

Vi ændrer nu på søjlerne i $\mathbf{H}$ for at gøre beregningerne nemmere. Først ændrer vi den første søjle i $\mathbf{H}$ ved at trække en linearkombination af søjlerne 2 til $d$ fra, således at den nye søjle bliver vinkelret på de andre søjler. Dette ændrer ikke på parameteren $\theta_1$ , og hypotesen $\theta_1=0$ er den samme. Dernæst vælger vi nye søjler 2 op til $d$ , således at de nye søjler udspænder det samme rum og er vinkelrette på hinanden. Vi betegner den således ændrede $\mathbf{H}$ -matrix med $\mathbf{K}$ og tillader os at kalde den nye tilhørende parameter for $\boldsymbol{\theta}$ (fordi $\theta_1$ er den samme). Kalder vi søjlerne i $\mathbf{K}$ for $\mathbf{v}_1,\ldots,\mathbf{v}_d,$ har vi

$\begin{aligned} & M_1:\enspace \hat\theta_1(M_1)=\frac{\mathbf{v}_1^{\text{\tiny T}}\mathbf{X}}{ |\mathbf{v}_1|^2 },\enspace \hat\theta_j(M_1)=\frac{\mathbf{v}_j^{\text{\tiny T}}\mathbf{X}}{ |\mathbf{v}_j|^2 },\enspace j=2,\ldots,d, \\ & M_2:\enspace \hat\theta_1(M_2)=0,\enspace \hat\theta_j(M_2)=\frac{\mathbf{v}_j^{\text{\tiny T}}\mathbf{X}}{ |\mathbf{v}_j|^2 },\enspace j=2,\ldots,d. \end{aligned}$ Heraf får vi

$|\mathbf{P}_1\mathbf{X}-\mathbf{P}_2\mathbf{X}|^2 =|\hat\theta_1(M_1)\mathbf{v}_1|^2 = \hat\theta_1(M_1)^2|\mathbf{v}_1|^2,$ og $F$ -teststørrelsen er

$\frac{\hat\theta_1(M_1)^2}{s^2(M_1)/|\mathbf{v}_1|^2}.$ Da $\hat\theta_1(M_1)\sim N(0,\sigma^2/|\mathbf{v}_1|^2),$ ser vi, at $F$ -teststørrelsen er den kvadrerede $t$ -teststørrelse for hypotesen $\theta_1=0$ .

Foregående Næste