Vi vil nu betragte lineære operatorer på indre
produkt rum af endelig dimension . Vektorrummet er dermed
nødvendigvis defineret over et legeme , der enten er
eller . Det indre produkt på betegnes, som sædvanlig, med
. Denne opsætningen gør det muligt at tale om ortonormale
og ortogonale mængder i , og det er derfor naturligt at definere:
[Ortonormal diagonalisering]
En lineær operator kaldes ortonormalt
diagonaliserbar, såfremt der
eksisterer en ortonormal basis for bestående af
egenvektorer for . Såfremt , så siger vi
yderligere, at er ortonormalt diagonaliserbar, hvis
det tilsvarende er gældende for operatoren på
, når vi opfatter som et indre produkt rum
via skalarproduktet.
Lad betegne matricen
Så ortonormalt diagonaliserbar, idet med ,
og er
en ortonormal basis for (mht. skalarproduktet)
bestående af egenvektorer for operatoren .
Korrekt!Forkert.
At være ortonormalt diagonaliserbar er en stærkere betingelse end blot
at være diagonaliserbar, idet basen ikke blot skal bestå af
egenvektorer, men også skal være ortonormal. En ortonormalt
diagonaliserbar operator er derfor specielt diagonaliserbar, og
matricen er derfor diagonal.Bemærk, at en operator er ortonormalt
diagonaliserbar, såfremt der blot eksisterer en ortogonal basis for
bestående af egenvektorer (idet ortogonale baser kan skalares til
ortonormale baser).
Betragt den reelle matrix
med karakteristisk polynomium
Egenværdierne for er dermed og ,
mens de tilsvarende egenrum beregnes til
Ifølge Proposition 13.9 så udgør vektorerne
og da en basis for bestående af
egenvektorer. Faktisk er en ortogonal mængde
mht. skalarproduktet på . Vi konkluderer derfor, at
operatoren er ortonormalt
diagonaliserbar, hvis vi opfatter som et indre produkt rum
via skalarproduktet. Med andre ord har vi fundet, at
er ortonormalt diagonaliserbar.
Betragt den reelle matrix
med karakteristisk polynomium
Egenværdierne for er dermed og ,
mens de tilsvarende egenrum beregnes til
Betragt som en lineær operator på
, og opfat som indre produkt rum via skalarproduktet.
Vi påstår, at ikke er ortonormalt diagonaliserbar. Antag
nemlig, at er en ortonormal basis for
bestående af egenvektorer for . Egenvektorerne og
er lineært uafhængige, og kan derfor ikke være indeholdt i
det samme egenrum (idet alle egenrum har dimension lig
). Specielt kan vi (efter evt. ombytning af og )
antage, at er et multiplum af , mens er
et multiplum af . Dvs
for passende skalarer . Men da
vil
som er umuligt. Vi konkluderer, at ikke er ortonormal
diagonaliserbar.
Betragt følgende matricer som elementer i .
Markér de matricer , der er ortonormalt diagonaliserbare.
Lad betegne en ortonormalt
diagonaliserbar operator på et indre produkt rum
af endelig dimension .
Lad yderligere og betegne
forskellige egenværdier
for . Så er egenrummene og
ortogonale.
Lad betegne en
ortonormal basis for bestående af egenvektorer
for .
Vi lader betegne egenværdien for ,
for .
For ethvert element i egenrummet
der eksisterer der da skalarer ,
, så
Vi kan nu anvende på begge sider af (14.1)
og opnå
hvor vi undervejs har udnyttet, at 'erne er
egenvektorer. Idet , så
implicerer (14.1) og
(14.2) samlet, at
hvilket idet er en basis betyder, at
,
for alle . Specielt vil der for
ethvert gælde, at enten så er
eller også så er . Vi
konkluderer dermed, at er en linearkombination
af de elementer i , der har samme egenværdi
som .Lad nu betegne et arbitrært element i .
Så er på tilsvarende måde en linearkombination
af de elementer i , der har egenværdi . Idet
, så er og dermed linearkombination
af disjunkte delmængder af elementerne i . Da er
en ortonormal basis, så er og dermed ortogonale.
Ovenstående resultat giver anledning til et kriterium til
at tjekke, om en given operator er ortonormalt diagonaliserbar.
Kriteriet kræver, at man kender alle egenværdier for operatoren
og siger:
Lad betegne samtlige egenværdier for .
Så er ortonormalt diagonaliserbar hvis og kun hvis egenrummene er
parvist ortogonale og
I givet fald så kan man konstruere en ortonormal basis
for bestående af egenvektorer for på følgende vis:
sæt , for ,
og lad
betegne en ortonormal basis for egenrummet .
Samlingen (ordnet i vilkårlig rækkefølge)
er da en ortonormal basis for bestående af egenvektorer
for .
Hvis er ortonormalt diagonaliserbar, så er egenrummene
parvist ortogonale ifølge Proposition
14.4. Herudover implicerer Proposition
13.9, at (14.3) er opfyldt,
idet specielt er diagonaliserbar.Antag omvendt, at egenrummene er parvist
ortogonale, og at (14.3) er opfyldt. Så
er diagonaliserbar ifølge Proposition 13.9.
Herudover implicerer Proposition 13.9, at
er en basis for bestående af
egenvektorer for . Men da er parvist
ortogonale, så er en ortonormal basis per konstruktion.
Specielt er ortonormalt diagonaliserbar.
Lad betegne en lineær operator på et indre produkt rum
af endelig dimension . Lad yderligere betegne en basis for bestående
af egenvektorer for . Angiv, hvornår man med sikkerhed kan
konkludere, at er ortonormalt diagonaliserbar.
Når er en ortogonal basis.
Når normen af alle vektorerne er lig .
Når egenvektorer for hørende til forskellige egenværdier
er ortogonale.
Når ethvert egenrum for er udspændt af en delmængde af
.
Som det fremgår af Eksempel 14.2(2.) så er det ikke alle
operatorer, der er ortonormalt diagonaliserbare. Med andre ord så kan
man ikke altid finde en ortonormal basis for , så er
diagonal. Resultatet nedenfor, der omtales som Schurs sætning, viser
dog, at vi i det komplekse tilfælde altid kan opnå, at er
øvre triangulær.
[Schurs sætning]
Lad betegne en lineær
operator på et indre produkt rum af endelig dimension over
legemet . Så eksisterer der en ortonormal basis
for , så matrixrepræsentationen
er øvre triangulær.
Start med at bemærke, at der for en given basis
for gælder, at er øvre
triangulær hvis og kun hvis der for alle gælder, at
Denne bemærkning er en direkte konsekvens af definitionen på
.Beviset kører via induktion i . Tilfældet er
oplagt, og overlades til læseren. Antag derfor, at , og at
resultatet er vist for vektorrum af dimension
. Jf. Korollar 12.36, så kan vi vælge en
egenvektor for . Sæt nu
og lad . Da er ,
jf. Korollar 10.22. Lad betegne den
ortogonale projektionsafbildning på ,
jf. Definition 10.19, og lad betegne
restriktionen af til . Så er sammensætningen
en lineær operator på , og pr. induktion vil der derfor
eksistere en ortonormal basis for
, så er øvre triangulær. Specielt vil der
for gælde, at
Idet , for , så vil være
ortogonal på . Vi konkluderer, at
er en ortonormal samling af
elementer i . Specielt er lineært uafhængig og dermed en
ortonormal basis for .Vi påstår, at er øvre triangulær. I første omgang er det
klart, at er et element i , idet er
en egenvektor for . For der gælder der
yderligere, at
jf. (14.6). Men pr. definition af , så vil
Anvend nu, at , jf. Korollar 10.22, og
konkluder, at der eksisterer en skalar , så
Dette afslutter induktionsskridtet og dermed beviset.
Lad betegne en kvadratisk matrix, og lad
betegne den tilsvarende lineære
operator. Vi opfatter som et indre produkt rum via det
komplekse skalarprodukt. Som konsekvens af Schurs sætning så
eksisterer der en ortonormal basis for
, så matrixrepræsentationen er øvre triangulær.
Men, jf. Korollar 8.18, så er
hvor betegner standardbasen for .
Koordinattransformationsmatricen
er ydermere,
jf. Eksempel 8.10(1.), lig matricen
med søjler lig elementerne i basen . Specielt er en unitær
matrix. Ved anvendelse af Proposition 8.8 og
(14.9) så konkluderer vi, at matricen
er øvre triangulær.
Konklusionen i ovenstående eksempel er vigtig, og vi formulerer det
derfor som en sætning.
Lad . Så eksisterer der en unitær matrix
, så produktet
er øvre triangulær.
Konklusionen i Korollar 14.9 betyder specielt, at
enhver kompleks er similær til en øvre triangulær
matrix. Et tilsvarende resultat gælder ikke i det reelle tilfælde.
Angiv en matrix , der ikke er similær til
en øvre triangulær matrix.
Dit svar: Det er en som er med indgange med størrelse x givet ved
Korrekt!Forkert.
14.1 Selvadjungerede operatorer
Vi skal nu studere de såkaldte selvadjungerede
operatorer. Disse operatorer udmærker sig bl.a. ved, at de altid
er ortonormalt diagonaliserbare. I det reelle (men ikke i det
komplekse) tilfælde er alle ortonormalt diagonaliserbare operatorer
desuden selvadjungeret.
[Selvadjungeret operator] Lad
betegne en lineær operator på et indre produkt rum over et
legeme . Hvis der for alle elementer gælder, at
så siger vi, at er selvadjungeret.
Lad betegne en selvadjungeret operator på et
komplekst vektorrum . Angiv hvilke af nedenstående
udsagn, der er sande.
er selvadjungeret
når
er selvadjungeret
når
Sammensætningen er selvadjungeret
er invertibel
Vi vil i det følgende antage, at er endelig.
Betragt en matrix
og den tilsvarende lineære operator
. Vi opfatter som et
indre produkt rum via skalarproduktet. Betingelsen
(14.10) er i dette tilfælde identisk med kravet
for alle . Formuleret ved hjælp af matricen
, så betyder dette, at
Såfremt identiteten (14.11) anvendes på
standardbasiselementerne og , så finder vi,
at er selvadjungeret hvis og kun hvis . Hvis er en
reel matrix, så er dette ækvivalent med, at er symmetrisk.
Lad betegne en
operator på , og lad betegne et underrum i . Hvis
, så siges at være stabil
overfor . I givet fald så kan man
betragte som en operator på . Denne restringerede
operator betegnes i det følgende med .
Bemærk, at , for , blot er lig . Hvis
nu er selvadjungeret, så er det tilsvarende gældende om .
For at indse dette så skal vi blot tjekke, at identiteten
er opfyldt for alle . Men (14.12) er
klart opfyldt, da er selvadjungeret, og idet
og .
Inspireret af første del af ovenstående eksempel så definerer vi:
[Hermitisk matrix]
En matrix kaldes hermitisk, såfremt .
Hvilke af følgende komplekse matricer
er hermistiske.
Antag, at er hermitisk, altså at . Hvilke af følgende udsagn kan man med sikkerhed konkludere?
Indgangene på diagonalen i er alle 0.
Indgangene på diagonalen i er alle elementer i .
Hvis alle indgange i er elementer i , så er symmetrisk.
Hvis alle indgange i er elementer i , så er diagonal.
Lad betegne en lineær operator, og lad
betegne en ortonormal basis for . Så er selvadjungeret hvis
og kun hvis matrixrepræsentationen er hhv. hermitisk,
hvis , eller symmetrisk, hvis .
Lad betegne matrixrepræsentationen for
mht. . Idet vi opfatter som et indre produkt rum via
skalarproduktet, så er (for alle
)
mens
Vi konkluderer, at er selvadjungeret hvis og kun hvis
det tilsvarende er
gældende om . Påstanden følger nu af
Eksempel 14.12(1.).
Egenværdier og egenvektorer for selvadjungerede operatorer opfører sig
specielt pænt:
Lad betegne en selvadjungeret operator. Så
gælder der:
Alle egenværdier for er
reelle.
Såfremt og er
egenvektorer for hørende til forskellige egenværdier, så er
og ortogonale.
Lad og betegne egenvektorer for med egenværdier
hhv. og . Så gælder der både, at
men også, da er selvadjungeret, at
I tilfældet hvor (og dermed specielt ),
betyder (14.13) og (14.14) samlet, at
hvilket (idet er en egenvektor og dermed ) kun
er muligt, hvis . Dermed er
nødvendigvis et reelt tal.Betragt nu tilfældet, hvor er en egenvektor med egenværdi
. Da implicerer (14.13),
(14.14) og vores just opnåede viden om at egenværdier er
reelle, at
Heraf
hvilket kun er muligt, hvis
Dermed er og ortogonale som ønsket.
Enhver selvadjungeret operator har en
egenværdi. Dette følger af nedenstående
sætning.
Lad betegne en selvadjungeret operator. Så har
en reel egenværdi.
Såfremt , så vil have en kompleks egenværdi ,
jf. Korollar 12.36. Men alle egenværdier, og dermed
også , er ifølge Sætning 14.16 reelle. Dette viser
udsagnet i tilfældet .Betragt dernæst tilfældet . Lad betegne en
ortonormal basis for bestående af elementer, og lad
være matrixrepræsentationen for
mht. . Det er, jf. Proposition 12.12, tilstrækkeligt at
vise, at har en reel egenværdi.Start med at bemærke, at er en reel symmetrisk matrix ifølge
Lemma 14.15. Vi lader nu betegne matricen
opfattet som kompleks matrix. Så er en hermitisk
matrix, og den tilsvarende operator er derfor
selvadjungeret, jf. Eksempel 14.12(1.). Ifølge det allerede
viste så har en reel egenværdi , og dermed er
en singulær kompleks
matrix. Indgangene i er alle reelle, og vi lader nu
betegne opfattet som reel matrix. Så gælder der oplagt,
at
Vi påstår, at er en singulær reel matrix. I modsat fald ville
der eksistere en reel matrix , så
. Men så ville også
, hvor betegner
opfattet som kompleks matrix. Specielt er invertibel,
hvilket er en modstrid.Vi konkluderer, at er en singulær reel matrix, og dermed er
en egenværdi for . Dette afslutter beviset.
Vi kan nu bevise hovedsætningen i dette afsnit.
[Spektralsætningen]
Lad betegne en
selvadjungeret operator. Så eksisterer der en ortonormal basis for
bestående af egenvektorer for med reelle
egenværdier. Specielt er ortonormalt diagonaliserbar.
Idet vi allerede ved, jf. Sætning 14.16, at alle egenværdier
for er reelle, så skal vi blot vise, at har en ortonormal
basis bestående af egenvektorer for . Beviset for dette forløber
via induktion i . Hvis , så lader vi
betegne en arbitrær ortonormal basis for . I givet
fald er , dvs. for en
passende skalar , og er dermed også en
egenvektor for .Antag nu, at , og at resultatet er vist for selvadjungerede
operatorer på vektorrum af dimension . Vælg da, jf.
Sætning 14.17, en egenvektor for , og sæt
. Vi påstår, at er stabil overfor (se
evt. definition på stabil i Eksempel 14.12(2.)): hvis
, så følger det, idet er selvadjungeret, at
og dermed er . Lad nu betegne
restriktionen af til . Så er selvadjungeret ifølge
Eksempel 14.12(2.), og idet ,
jf. Korollar 10.22, så implicerer induktionsantagelsen, at
har en ortonormal basis bestående af
egenvektorer for (og dermed for ). Sæt nu
Så er elementerne i en ortonormal
mængde: er ortonormal pr. valg af
, og (og dermed ) er ortogonal på
, idet . Specielt
er lineært uafhængig og dermed en ortonormal basis for . Til
sidst bemærkes, at består af egenvektorer for .
Vi opfatter i det følgende som et indre produkt rum
via skalarproduktet.
Lad betegne den lineære operator på defineret ved
matricen
Idet er symmetrisk, så er selvadjungeret ifølge
Eksempel 14.12(1.), og har derfor en ortonormal basis
bestående af egenvektorer for . Faktisk fandt vi allerede i
Eksempel 13.14(2.), at vektorerne
udgør en basis for bestående af egenvektorer for . I dette
tilfælde er ikke ortogonal, men ved at
erstatte med så opnår man en ortogonal
basis
for . En ortonormal basis bestående af egenvektorer
kan herefter opnås ved en passende
skalering af .
I specialtilfældet hvor (indre produkt rum via
skalarproduktet) og , for en matrix , der kan
spektralsætningen også formuleres på følgende måde:
Lad .
Hvis og er hermitisk, så eksisterer der en unitær
matrix , så
er en diagonal matrix med reelle indgange.
Hvis og er symmetrisk, så eksisterer der en
ortogonal matrix , så
er en diagonal matrix.
Vi betragter alene tilfældet , og overlader det næsten
identiske argument i tilfældet til læseren.Betragt som indre produkt rum via skalarproduktet. Da er
en selvadjungeret operator, jf. Eksempel 14.12(1.). Vi
anvender nu Sætning 14.18, og konkluderer, at der eksisterer
en ortonormal basis for bestående af
egenvektorer for med reelle egenværdier. Lad
betegne matricen hvis 'te søjle er lig , for
. Så er unitær ifølge
Proposition 10.34. Herudover så implicerer
Lemma 13.5, at er en diagonalmatrix med de
reelle egenværdier for 'erne på diagonalen. Dette afslutter
beviset.
Vi kan præcisere spektralsætningen og påstår:
Lad betegne en lineær operator på et indre
produkt rum , og lad betegne en ortonormal basis for
bestående af egenvektorer for . Så er selvadjungeret hvis
og kun hvis egenværdierne for er reelle.
Kun hvis-delen er en direkte konsekvens af
Sætning 14.16. Lad betegne egenværdien for
, for , og antag nu, at
er reelle tal. Så er
en diagonalmatrix med 'te diagonalindgang lig
, for . Specielt er hhv. hermitisk
(hvis ) eller symmetrisk (hvis ). Dermed er
selvadjungeret, jf. Lemma 14.15.
I tilfældet kan vi dermed beskrive samtlige ortonormalt
diagonaliserbare operatorer.
Lad betegne en lineær operator på et reelt
indre produkt rum af endelig dimension . Så er
ortonormalt diagonaliserbar hvis og kun hvis er selvadjungeret.
Hvis-delen er en direkte konsekvens af Spektralsætningen
(Sætning 14.18). Antag omvendt, at er ortonormalt
diagonaliserbar. Så har en basis af bestående af egenvektorer
for med reelle egenværdier. Resultatet følger da af
Proposition 14.21.
14.2 Normale operatorer
Vi vil nu give en fuldstændig beskrivelse af de ortonormalt
diagonaliserbare operatorer i tilfældet . Vi definerer:
[Normal matrix]
Lad betegne en kvadratisk kompleks matrix. Så
kaldes normal hvis
Sæt . Idet er unitær og , så er
det tilstrækkeligt at vise ``kun hvis''-delen. Så antag, at er
normal. Idet er unitær, så er , og dermed er
Vi konkluderer, at er normal, og beviset er dermed afsluttet.
Lad . Så er normal hvis og kun hvis der
eksisterer en unitær matrix så er
diagonal.
Antag, at der eksisterer en unitær matrix , så
er diagonal. Så er normal ifølge
Eksempel 14.25(3.), og dermed er normal, jf.
Lemma 14.27.Antag omvendt, at er normal, og vælg jf. Korollar 14.9,
en unitær matrix , så er øvre triangulær. Ifølge
Lemma 14.27 er normal, og dermed er
. Vi påstår, at nødvendigvis er diagonal,
hvilket vil afslutte beviset. Lad betegne den 'te
indgang i , for . Idet er øvre triangulær,
så er , hvis .Antag, at ikke er diagonal. Så eksisterer der heltal
så . Lad betegne det
mindste sådanne . Dvs. betegner det mindste tal, så den
'te række i indeholder en indgang forskellig fra udenfor
diagonalen.Vi vil nu beregne den 'te indgang af produkterne og
. I første omgang er
hvor vi ved det sidste lighedstegn har anvendt, at , for
, pr. minimalitet af . Undervejs har vi også brugt, at
, for , idet er øvre triangulær.Vi udregner også
hvor vi ved det sidste lighedstegn har anvendt, at er øvre
triangulær.Idet , så må vi dermed have, at
hvilket kun er muligt, hvis
for .
Den sidste konklusion er i modstrid med antagelse om, at den 'te
række i indeholder et element udenfor diagonalen, der er
forskellig fra . Dette afslutter beviset.
Lad betegne en lineær isomorfi mellem to
komplekse indre produkt rum og af endelig dimension .
Lad betegne en operator på , og lad
betegne den inducerede operator på
. Antag, at er en lineær isometri. Så er ortonormalt
diagonaliserbar hvis og kun hvis er ortonormalt diagonaliserbar.
Vi starter med at vise ``kun hvis''-delen. Så antag, at er
ortonormalt diagonaliserbar. Lad
betegne en ortonormal basis for bestående af egenvektorer for
. Lad betegne egenværdien for , for
. Definer da
for ,
og sæt . Idet er en basis for
, og er en isomorfi, så er en basis for . Herudover
så gælder der, at
og dermed består af egenvektorer for . Slutteligt
bemærkes, at idet er en lineær isometri, så er
og dermed er en ortonormal samling af elementer. Vi har hermed
samlet vist, at er ortonormalt diagonaliserbar.``Hvis''-delen følger ved at anvende den allerede viste ``kun
hvis''-del på isomorfien og operatoren . Dette
afslutter beviset.
Lad betegne en lineær operator på et endelig
dimensionalt komplekst indre produkt rum af dimension . Lad
yderligere betegne en
ortonormal basis for , og lad betegne den tilsvarende
matrixrepræsentation. Så er ortonormalt diagonaliserbar hvis og
kun hvis er normal.
Vi argumenterer ved brug af koordinatiseringsafbildningen
der, som bekendt, er en lineær isomorfi mellem og . Hvis
opfattes som indre produkt rum via skalarproduktet, så er
yderligere en lineær isometri,
jf. Proposition 10.30. Lemma 14.29 implicerer
da, at er ortonormalt diagonaliserbar hvis og kun hvis det
tilsvarende er gældende om operatoren
på . Bemærk nu, at der for gælder, at
og er derfor lig operatoren , der multiplicerer med
. Men er ortonormalt diagonaliserbar hvis og kun hvis der
eksisterer en unitær matrix , så er diagonal,
hvilket er ækvivalent med, at er normal,
jf. Proposition 14.28. Dette afslutter beviset.
Lad betegne en lineær operator på et
komplekst indre produkt rum af endelig dimension
.
Vha. Proposition 14.30 kan man beskrive en algoritme,
der afgør, om er ortonormalt diagonaliserbar.
Angiv skridtene i den rækkefølge, som man skal udføre dem.
Vælg en ortonormal basis, , for .
Bestem determinanten af .
Beregn og . Sammenlign resultaterne.
Beregn .
Forkert.
Til denne metode skal vi ikke bruge determinanten.Forkert.
Man skal kende for at regne .Forkert.
Vi skal have regnet for at kunne regne og .Korrekt!
Denne metode virker. Matricerne og er ens hvis og kun hvis
er ortonormalt diagonaliserbar jf. Proposition 14.30.Forkert.
Hvis er eller , så er .Korrekt!
Nemlig. Hvis er unitær eller hermitisk, er den normal, og resultatet følger af den forrige proposition.Forkert.
Det er ikke rigtigt, at hvis er ortonormalt diagonaliserbar, at så er den unitær. F.eks. er
ikke unitær, men den er ortonormalt diagonaliserbar.Forkert.
Det er ikke rigtigt, at hvis er ortonormalt diagonaliserbar, at så er den hermitisk. F.eks. er
ikke hermitisk, men den er ortonormalt diagonaliserbar.Forkert.
unitær
ortonormalt diagonaliserbar
hermitisk
14.3 Singulær værdi dekompositionen
Lad betegne en reel matrix.
I dette afsnit vil vi se, at vi kan skrive som et produkt af tre
matricer
der opfylder
er en ortogonal reel matrix.
er en ortogonal reel matrix.
er en reel matrix
opfyldende, at , når , mens
for ,
hvor , er et passende heltal.
Vi lader betegne , for , og
omtaler som de singulære
værdier for . Faktoriseringen
(14.20) omtales derudover, som en singulær værdi
dekomposition (eller blot SVD) af .
Såfremt er en reel symmetrisk matrix, så
implicerer Spektralsætningen, jf. Korollar 14.20, at der
eksisterer en ortogonal matrix og en diagonal
matrix , så . Elementerne
på diagonalen i er i dette tilfælde
identiske med egenværdierne for (medtaget med algebraisk
multiplicitet), og ved evt. at ombytte søjlerne i , så kan vi
antage, at
Lad betegne matricen, der fremkommer ved at erstatte alle
indgange i med deres absolutte værdi. Det er nu en let øvelse at
indse, at vi kan multiplicere passende søjler i med , og på
den måde opnå en ortogonal matrix , så
. Specielt er en SVD af . De singulære
værdier for er i dette tilfælde lig absolutværdierne
, hvor gennemløber egenværdierne for , der er
forskellige fra (medtaget med algebraisk multiplicitet).
Såfremt er en SVD af en matrix ,
så er antallet af singulære værdier identisk med rangen af
. Dette følger af nedenstående resultat samt idet har rang
.
Lad betegne et legeme, og lad betegne en
matrix. Hvis er en invertibel matrix, så er
rangen af og identiske. Tilsvarende så er rangen af og
identiske, hvis er en invertibel matrix.
Idet søjlerummet for er lig mængden af elementer på
formen , for , så vil indeholde alle
elementer af formen , for . Specielt indeholder søjlerummet for , og
dermed er . Den modsatte ulighed følger ved at
anvende dette resultat på og , hvorved vi konkluderer, at
Hvis er invertibel, så opnår vi dermed også, at
som ønsket.
Lad betegne en reel matrix. Så er en
symmetrisk matrix, hvis egenværdier alle er . Herudover så
gælder der følgende identiteter af nulrum og rang
Vi arbejder i det følgende med skalarproduktet (og tilhørende norm)
på . At er symmetrisk følger af beregningen
Lad nu betegne en egenvektor for med egenværdi
. Så er
Da egenvektorer altid er forskellige fra nulvektoren, så konkluderer
vi dermed, at
som ønsket.At nulrummet kan indses på følgende måde: hvis
er et element i nulrummet for , så er
. Specielt er
og er derfor også et element i . Antag omvendt, at
er et element i . Så er en
egenvektor for med egenværdi , og identiteten
(14.24) implicerer da, at
og dermed er , som ønsket. Udsagnet om
følger nu af Korollar 7.36(2.), og
beviset er hermed afsluttet.
Vi har hermed alle ingredienser til at vise, at der altid eksisterer
en singulær værdi dekomposition.
Lad betegne en reel matrix. Så eksisterer
der en SVD for .
Idet er en symmetrisk matrix, så eksisterer
der, jf. Korollar 14.20, en ortogonal matrix
, så
er diagonal med diagonalindgange
. Ved evt. at ombytte
søjlerne i , så kan vi desuden antage, at
Lad nu betegne antallet af 'ere der er forskellige
fra . Så er identisk med rangen af . Men og
har samme rang, jf. Lemma 14.34, og dermed er lig
rangen af , jf. Lemma 14.35. Specielt er
.Bemærk nu, at idet er similær til , så er
netop egenværdierne til
, og vi konkluderer derfor, jf. Lemma 14.35, at
, for alle . Vi kan derfor vælge reelle tal
, så , for
. Specielt er
Lad nu betegne matricen, hvis 'te
indgang er lig , for , mens de resterende
indgange er lig . Så er
og vi har hermed opnået identiteten
Lad betegne søjlerne i . Så er
en egenvektor for med egenværdi . Sæt da
for . Idet søjlerne i udgør en ortonormal mængde,
så vil der for gælde,
at
hvor betegner Kroneckers delta. Vi konkluderer, at
er en ortonormal mængde i . Lad nu
være en udvidelse af
til en ortonormal basis for ,
jf. Bemærkning 10.27, og lad betegne
den ortogonale matrix med søjler . Vi
påstår da, at
hvilket er ækvivalent med det ønskede (idet er invertibel med
invers ). Påstanden følger ved at sammenligne de enkelte søjler
på højre- og venstresiden af (14.31). Lad i første
omgang betegne et heltal. Så er den 'te søjle
på venstresiden af (14.31) lig , mens
den 'te søjle på højresiden af (14.31) er lig
. Disse søjler er ens pr. definition af
. Lad nu . Idet den 'te søjle i
er en egenvektor for med egenværdi , så er
indeholdt i nulrummet for både og , jf.
Lemma 14.35. Det følger, at den 'te søjle på
venstresiden af (14.31) er lig . Den 'te
søjle på højresiden af (14.31) er tilsvarende lig
, idet den 'te søjle i er . Dette afslutter
beviset.
Ved grundig gennemlæsning af beviset for Sætning 14.36 så opnår
man faktisk en metode til at bestemme en singulær værdi dekomposition
af en given matrix . Metoden er som følger:
Bestem egenværdierne (med algebraiske multipliciteter)
for den symmetriske matrix .
Bestem en ortonormal basis for
bestående af egenvektorer for , så har
egenværdi , for .
Lad betegne antallet af 'ere der er forskellige
fra , og sæt , for .
Sæt for ,
og lad betegne en udvidelse af
til en ortonormal basis for .
Sæt lig matricen med søjler
, og lig matricen med
søjler . Sæt yderligere
lig matricen, hvis 'te indgang er
lig , for , mens de resterende indgange er
nul.
Så er .
En SVD af en given matrix er ikke entydigt bestemt. Hvis f.eks.
er nulmatricen, så kan man sætte og
vælge og vilkårlig blandt mængden af ortogonale matricer. De
singulære værdier er dog altid
entydigt bestemte:
Lad , og lad betegne en SVD
af . De singulære værdier
er da identiske med kvadratrødderne af egenværdierne for
der er forskellige fra (medtaget med algebraisk multiplicitet).
Specielt er de singulære værdier entydigt bestemte.
Idet og er ortogonale, så er
Matricen er dermed similær til den diagonale matrix
. Lad
betegne diagonalindgangene i
. Så er
for ,
mens , for . Det karakteristiske polynomium for
er dermed lig
for .
Idet og er similære, så er de karakteristiske polynomier
for og ydermere ens, og det karakteristiske polynomium
for er derfor også beskrevet ved (14.35).Vi konkluderer, at
er samtlige egenværdier for medtaget med algebraisk
multiplicitet. Dette afslutter beviset.
Vi ønsker nu at skrive produktet i en singulær værdi
dekomposition på en simplere måde. Til det formål starter vi med at
bemærke:
Lad betegne et legeme, og lad
og betegne matricer. Lad
betegne søjlerne i , og
lad
betegne rækkerne i . Så er
Vi skal blot tjekke, at indgangene på venstre- og højresiden af
(14.37) er parvis identiske. Så lad og
betegne heltal. Så er den 'te indgang på
venstresiden af (14.37) lig
Den 'te indgang af højresiden er derimod lig
hvilket viser det ønskede.
Lad være en SVD for en matrix
. Lad betegne
søjlerne i , mens
betegner søjlerne
i . Lad yderligere
betegne de singulære værdier for . Så er
Start med at bemærke, at er en
matrix, hvis 'te søjle er lig , for
, mens de resterende søjler alle er lig
. Udsagnet følger nu ved at anvende Lemma 14.38 på
matricerne og .
En opskrivning af formen (14.41) indeholder alt vigtig
information omkring en SVD af en matrix . Bemærk, at
(14.41) kan opskrives alene ud fra kendskabet til de
singulære værdier , for , samt de første
søjler i hhv. og . De resterende søjler i og har altså
ingen betydning, hvis man kun er interesseret i formen
(14.41).
Lad os bestemme en SVD af den reelle matrix
Vi beregner i første omgang den symmetriske matrix
og det tilsvarende karakteristiske polynomium
med rødder og . Herudover så bestemmer
man egenvektorer
hørende til hhv. og . Sæt nu
samt
Vi mangler nu alene at bestemme matricen med søjler ,
og . I første omgang er
Vektoren skal bestemmes som en vektor af længde , der er
ortogonal på og . En lille udregning viser, at man
kan anvende
og dermed er
Vi har hermed, at , samt den alternative form
En af de store pointer ved singulær værdi dekompositioner er, at hvis
som i (14.41), så vil matricerne
for heltal , være gode approksimationer til (se
evt. diskussionen i det kommende afsnit). Approksimationerne er
specielt gode, hvis er små for . Denne pointe er
specielt vigtig i praktiske anvendelser af lineær algebra. Hvis
f.eks. repræsenterer en samling af data, der er fremkommet ved en
række målinger, så vil indgangene i ofte være forstyrret af
måleusikkerheder. Så hvis er små for , så kan man
måske argumentere for, at giver et mere retvisende billede af
det system man måler på. Dvs. et billede hvor man har elimineret
måleusikkerheder. I andre sammenhænge kan det være for omfattende at
arbejde med al den information, der er gemt i , og man kan derfor
vælge at erstatte med for et passende . Dette anvendes
f.eks. i forbindelse med komprimering af billeder: hvis et billede er
opløst i pixels, og man til hver pixel har knyttet en farvekode, så
kan man samle informationen i en matrix . Hvis der er pixels i
den lodrette retning og pixels i den vandrette, så vil være et
element i , og den samlede mængde af information i
vil derfor bestå af reelle tal. Informationen der skal bruges for
at repræsentere er , så hvis er lille ift. og
, så skal der bruges mindre hukommelse for at gemme fremfor
. At på denne måde repræsenterer et billede, der er en
fornuftig approksimation til , er dog en helt anden sag.I det kommende afsnit vil vi studere, hvad der menes, når vi skriver,
at er en god approksimation til .
14.3.1 Approksimationer og SVD
Lad os nu vende tilbage til en SVD af en reel matrix
, givet ved
som i (14.41). Definer hertil hørende matricer
for . Ifølge Proposition 14.39, så er en
matrix af rang , og vi viser nedenfor, at er den bedste
approksimation til med en matrix af rang .For at vurdere hvor god en given approksimation er, så indfører vi en
norm på mængden . Mere præcist så definerer vi
for en given matrix den tilhørende
norm
Bemærk, at hvis man tog søjlerne i og
satte dem ovenpå hinanden, så ville man opnå en vektor
. Normen af er da lig længden af vektoren
(her arbejder vi med skalarproduktet på ). Vi bemærker også,
at
hvor vi på højresiden måler længderne via skalarproduktet på .
Vi har derfor, at:
Hvis er en ortogonal matrix, og
, så er
Tilsvarende vil
hvis er en ortogonal matrix.
Idet er en ortogonal matrix, så vil for
enhver vektor , jf. Proposition 10.34. Specielt vil
, for enhver søjle i . Men
søjlerne i produktet er netop af formen , og
identiteten (14.51) er dermed en konsekvens af
(14.50) idet
Bemærk nu, at definitionen (14.49) på normen af en matrix
kun afhænger af værdierne af indgangene i og ikke af deres
placering. Derfor er , for enhver matrix
. Heraf fås, at
hvor vi ved det næstsidste lighedstegn har anvendt, at er en
ortogonal matrix og at vi allerede har vist identiteten
(14.51). Dette afslutter beviset.
Lad betegne en matrix af rang med
singulære værdier
Så er
Hvis betegner en SVD af , og , for
, betegner den 'te søjle i , og , for
, betegner den 'te søjle i , så er
hvor betegner et heltal og
Lad betegne et heltal, og lad
betegne matricen, hvis 'te
indgang er lig , hvis , mens de resterende
indgange er lig . Da er ,
jf. Proposition 14.39. Specielt er
hvor vi undervejs har anvendt Lemma 14.41. Tilsvarende
kan vi beregne, at
som ønsket.
For to givne matricer der definerer vi nu
afstanden mellem og som normen af differencen
. Vi kan nu formulere, hvad der menes med, at er en god
approksimation til . I Proposition 14.42 har vi vist, at
afstanden opfylder, at
Nedenfor viser vi, at højresiden af (14.55) er den
mindst mulige afstand mellem og en matrix af rang . Med
andre ord så er en optimal approksimation til med en matrix
af rang .
Lad betegne en matrix af rang , og lad
betegne de singulære værdier for . Lad yderligere
betegne et heltal, og
betegne en matrix af rang . Så er
I nedenstående bevis vil vi bruge, at der eksisterer en matrix
af rang , så
for alle af rang . Dette resultat
hører til i et kursus i matematisk analyse, og vi vil derfor ikke
bevise det her, men alene benytte os af det.Lad betegne en SVD af , og lad
betegne de singulære værdier for . Da er rangen af lig
. Sæt nu , og opdel på følgende form
hvor , ,
og .
Tilsvarende opdeler vi
hvor , mens notationen betegner
nulmatricer af forskellige størrelser. Vi bemærker nu, at ,
og at der dermed gælder, at
hvor vi undervejs har anvendt Lemma 14.41.Lad nu betegne matricen
Da er af rang idet rækkerummet er udspændt af
vektorer. Specielt har også rang
, jf. Lemma 14.34, og derudover så gælder der,
at
Vi kan nu kombinere (14.57),
(14.60) og (14.59), og konkludere,
at
hvilket er ækvivalent med, at og at
. Tilsvarende vises, at .Alt i alt er vi kommet frem til, at
og dermed er
hvor
Det bemærkes, at og er similære, og at
standardbasisvektoren , for , er en egenvektor
for med egenværdien . Specielt er
en delmængde af de singulær værdier for
, jf. Proposition 14.37. Vi konkluderer, at
hvilket er ækvivalent med, at
Vi indsætter nu dette udtryk i (14.61) og opnår, at
hvor den første ulighed følger, idet
er de største singulære
værdier for , og hvor vi ved det sidste lighedstegn har anvendt
Proposition 14.42.
En bedste approksimation til matricen
fra Eksempel 14.40, med en matrix af rang er givet
ved
jf. (14.44). Afstanden er er givet ved
hvilket stemmer med, at er den mindste af de to singulære
værdier.
En bedste approksimation som omtalt ovenfor behøver ikke
nødvendigvis at være entydig. Hvis f.eks.
er identitetsmatricen af størrelse , så er de singulære værdier
givet ved
I dette tilfælde vil både
være bedst mulige approksimationer til med matricer af rang
. Der gælder nemlig, at