Som omtalt i foregående afsnit, kan vi ikke bruge backward selektion til at lave en simpel model, når der er for mange forklarende variable. Hvis man formoder, der kun er få af variablene, der har indflydelse på middelværdien af respons, kan man benytte en alternativ metode, kaldet forward selektion, til at etablere en model. Ved forward selektion starter man med den mindst mulige model, det vil sige modellen uden nogen forklarende variabel, hvor alle de stokastiske variable har samme middelværdi. Man bygger dernæst modellen op successivt, ved i hvert trin at inkludere en ny forklarende variabel valgt således, at spredningsskønnet $s(M)$ reduceres mest muligt. I denne bog vil jeg ikke stoppe algoritmen ud fra $p$-værdien, men ud fra prædiktionsspredningen opnået ved cross-validation. Lad os vende tilbage til data omkring oktantallet for 60 bensinprøver i afsnit 9.3. Tabellen nedenfor viser i de tre første rækker resultatet af at bruge forward selektion, indtil 6 variable er inkluderet. Den sidste række viser prædiktionsspredningen som funktion af, hvor mange variable der inkluderes. Den første variabel, der inkluderes, er variabel nummer 155. Skønnet over spredningen i en regressionsmodel med kun denne ene variabel er 0.661, og hvis vi i denne model laver $t$-testet for hypotesen $\beta_{155}=0,$ er $p$-værdien $5.1\cdot 10^{-23}.$ Når vi går fra denne ene variabel til to variable, er det variabel nummer 149, der tilføjes, og spredningsskønnet falder fra 0.661 til 0.276. Dette er et stort fald, og tilsvarende er $p$-værdien for test af hypotesen $\beta_{149}=0$ meget lille, nemlig $1.7\cdot 10^{-23}.$ I næste trin inddrages variabel nummer 39, og den tilsvarende $p$-værdi er 0.0000056, og i fjerde trin kommer variabel nummer 397 med, hvor $p$-værdien er 0.0006. I det femte trin tilføjes variabel 36, men nu er $p$-værdien noget større nemlig 0.0245, og faldet i spredningsskøn er da også kun fra 0.210 til 0.202. Figuren nedenfor viser tallene i tabellen udvidet op til forward selektion med 15 variable. Den sorte kurve i det venstre delplot er spredningsskønnet, og det højre delplot viser p-værdierne. Vi ser tydeligt et spring opad i $p$-værdierne, efter at fire variable er inkluderet. Fra 5 til 9 variable svinger $p$-værdien mellem to og fem procent, og det er først, når den tiende variabel inkluderes, at vi kommer over en formel grænse på 5 procent. Vi kan se, at spredningsskønnet falder (sorte kurve), jo flere variable vi inkluderer, og dette vil typisk være tilfældet i en situation som her med mange forklarende variable. Det skyldes, at vi i hvert trin leder efter den variabel, der gør spredningsskønnet mindst muligt. Vi kan derfor ikke bruge værdien af spredningsskønnet til at vurdere, hvornår vi skal stoppe forward selektionsprocessen. I stedet bruger vi prædiktionsspredningen fundet ved leave one out cross-validation. Prædiktionsspredningen, som funktion af hvor mange variable der inkluderes, er vist som den røde kurve i det venstre delplot i ovenstående figur. Prædiktionsspredningen viser, at vi kun bør inddrage tre variable i modellen, flere variable vil blot øge usikkerheden i prædiktionerne. Samlet set peger analysen på, at vi nok skal bruge tre eller fire variable til at beskrive data. Prædiktionsspredningen peger på tre variable hvorimod $p$-værdierne fra hvert trin viser et markant skift, når fire variable er inkluderet. Jeg har lavet to funktioner til at lave forward selektionsanalysen. Funktionen forward finder variable og tilhørende $p$-værdier baseret på alle data, og producerer en tabel, som vist i de tre første rækker i tabellen ovenfor for bensindata. Input til funktionen er $n\times d$ matricen med værdierne af de forklarende variable, vektoren med responsværdierne og et tal, der angiver, hvor mange trin der skal laves i forward selektionsalgoritmen. Den anden funktion, cvForward, laver beregningerne hørende til cross-validation (LOOCV). Input er som til funktionen forward. Output er prædiktionsspredningen, når der kun medtages 1 variabel, når der medtages 2 variable og så videre op til det antal, der er angivet i kaldet til funktionen. De to funktioner i filen pytFunktioner.py. Det følgende skjulte punkt viser brugen af forward og cvForward på data vedrørende oktantallet i bensinprøver.

9.4.3 Forward selektion og cross-validation

Det næste skjulte punkt viser, hvordan vi kan bruge modellen fundet ved forward selektion til at prædiktere nye prøver. Denne del kræver, at vi indskriver de variable, vi har fundet ved forward algoritmen.

9.4.4 Bruge slutmodellen til prædiktion

ForegåendeNæste