9Indre produkt og ortogonalitet

I planen $\mathbb{R}^2$ har vi i Kapitel 1 set på det Euklidiske indre produkt (kaldes også nogle gange prikprodukt eller skalarprodukt)

$\begin{pmatrix} u_1 \\ u_2 \end{pmatrix} \cdot \begin{pmatrix} v_1 \\ v_2 \end{pmatrix} = u_1 v_1 + u_2 v_2.$ Ved hjælp af det indre produkt indførte vi begreber som normen (længden) af en vektor og ortogonalitet. Normen af en vektor $\mathbf u\in \mathbb{R}^2$ blev defineret som $\sqrt{\mathbf u\cdot \mathbf u},$ og to vektorer $\mathbf u, \mathbf v\in \mathbb{R}^2$ blev kaldt vinkelrette eller ortogonale hvis $\mathbf u\cdot \mathbf v = 0.$

I dette kapitel indfører vi den oplagte generalisering af det indre produkt, fra planen $\mathbb{R}^2,$ til vilkårlige søjlevektorer i $\mathbb{F}^n$ (husk at $\mathbb{F}$ står for enten de reelle tal $\mathbb{R}$ eller de komplekse tal $\mathbb{C}$ ). Her skal man være særlig opmærksom på, at der for komplekse tal også indgår en kompleks konjugering, som er helt essentiel for at vi kan tale om længden af en kompleks vektor. Vi husker, at konjugeringen af et komplekst tal, $z = a+ib$ på standard form, er givet ved at skifte fortegn på imaginærdelen:

$\overline{z} = a - ib,$ og vi husker, at der helt særligt fås et reelt tal, når et komplekst tal ganges med sin komplekst konjugerede:

$z\overline{z} = \lvert z \rvert^2.$

Lad $\mathbf u,\mathbf v\in \mathbb{F}^n.$ Det Euklidiske indre produkt, mellem $\mathbf u$ og $\mathbf v,$ er defineret som

$\mathbf u\cdot \mathbf v = \overline{\mathbf v}^\textup{T}\mathbf u = u_1\overline{v_1}+\dots+u_n\overline{v_n}.$ Vektorerne $\mathbf u$ og $\mathbf v$ kaldes ortogonale, skrevet $\mathbf u\perp\mathbf v,$ hvis

$\mathbf u\cdot\mathbf v = 0.$ Den Euklidiske norm (længden) af $\mathbf u$ er defineret som

$\lvert \mathbf u \rvert = \sqrt{\mathbf u\cdot\mathbf u} = \sqrt{\lvert u_1 \rvert^2 + \dots + \lvert u_n \rvert^2}.$ En vektor $\mathbf u$ kaldes en enhedsvektor hvis $\lvert \mathbf u \rvert=1.$

Det er nok en god ide at tage Quiz 9.1 nu, så der kommer styr på brugen af komplekse tal i indre produkter.

Moralen i dette kapitel er, at lineær algebra bliver væsentligt mere kraftfuldt (og spændende!), når vi har et indre produkt at arbejde med. Specielt kan meget af vores geometriske intuition, om vektorer i planen fra Kapitel 1, anvendes på vektorer i $\mathbb{F}^n.$ Det vigtigste begreb vi kommer ind på i denne sammenhæng er ortonormalbaser, som giver en let måde at finde koordinater til vektorer (på samme måde som det er kendt fra standardbasen), og hvordan en "almindelig" basis kan omdannes til en ortonormalbasis.

9.1 Egenskaber for indre produkter og normer

Der gælder følgende helt essentielle egenskaber for det Euklidiske indre produkt, som umiddelbart følger fra Definition 9.1.

Lad $\mathbf u, \mathbf v, \mathbf w\in \mathbb{F}^n$ og $\lambda\in \mathbb{F}.$ Så gælder:

$(\lambda \mathbf u)\cdot \mathbf v = \lambda(\mathbf u\cdot \mathbf v)$ og $\mathbf u\cdot(\lambda\mathbf v) = \overline{\lambda}(\mathbf u\cdot\mathbf v).$
$\mathbf u\cdot(\mathbf v+\mathbf w) = \mathbf u\cdot\mathbf v + \mathbf u\cdot\mathbf w.$
$\mathbf u\cdot\mathbf v = \overline{\mathbf v\cdot\mathbf u}.$
$\mathbf u\cdot\mathbf u \geq 0,$ samt $\mathbf u\cdot\mathbf u = 0,$ hvis og kun hvis, $\mathbf u=\mathbf 0.$

Når egenskaberne ovenfor blev kaldt helt essentielle, er det fordi disse egenskaber faktisk er definitionen af hvad et generelt indre produkt skal opfylde. Det er muligt at definere indre produkter på andre typer af vektorrum end for søjlevektorer, eksempelvis på vektorrum af polynomier eller kvadratisk integrable funktioner.

Hovedessensen er, at de ovenstående egenskaber er nok til at kunne vise mange af resultaterne i dette kapitel, med brug af indre produkter på abstrakte vektorrum; eksempelvis kan Gram-Schmidt algoritmen også anvendes til at bestemme ortogonale funktioner, som er en vigtig del af teorien bag signalbehandling.

Fra egenskaberne i Proposition 9.2, kan vi bruge samme formel for den ortogonale projektion af en vektor $\mathbf v\in\mathbb{F}^n$ på en vektor $\mathbf u\in\mathbb{F}^n$ hvor $\mathbf u\neq \mathbf 0,$ som vi havde i Kapitel 1:

$\mathbf w = \Bigl(\frac{\mathbf v\cdot\mathbf u}{\lvert \mathbf u \rvert^2}\Bigr)\mathbf u. \tag{9.1}$

$\mathbf w$ er parallel med $\mathbf u$ (det er $\mathbf u$ ganget med skalaren i parentesen), og vi har at $\mathbf w\perp(\mathbf v-\mathbf w)$ :

$\mathbf w\cdot(\mathbf v-\mathbf w) = \mathbf w\cdot\mathbf v - \lvert \mathbf w \rvert^2 = \frac{(\mathbf v\cdot\mathbf u)(\mathbf u\cdot\mathbf v)}{\lvert \mathbf u \rvert^2} - \frac{\lvert \mathbf v\cdot\mathbf u \rvert^2\lvert \mathbf u \rvert^2}{\lvert \mathbf u \rvert^4} = 0.$ Vi kan derfor skrive $\mathbf v = \mathbf w + (\mathbf v-\mathbf w),$ hvor højresiden er to ortogonale vektorer; $\mathbf w$ er komponenten af $\mathbf v$ der peger i retning af $\mathbf u,$ mens $\mathbf v-\mathbf w$ er komponenten af $\mathbf v$ der er ortogonal på $\mathbf u.$

Bevæbnet med definitionen af det indre produkt og ortogonale projektioner, kan vi lave overraskende meget nyttig matematik. Blandt andet nedenstående fundamentale resultater.

Lad $\mathbf u, \mathbf v\in \mathbb{F}^n,$ så gælder følgende:

Pythagoras sætning:
$\mathrm{Re}(\mathbf u\cdot\mathbf v) = 0 \quad \Leftrightarrow \quad\lvert \mathbf u+\mathbf v \rvert^2 = \lvert \mathbf u \rvert^2 + \lvert \mathbf v \rvert^2.$
Cauchy-Schwarz ulighed:
$\lvert \mathbf u\cdot \mathbf v \rvert \leq \lvert \mathbf u \rvert\lvert \mathbf v \rvert.$
Trekantsuligheden:
$\lvert \mathbf u + \mathbf v \rvert \leq \lvert \mathbf u \rvert + \lvert \mathbf v \rvert.$
Parallelogramloven:
$\lvert \mathbf u \rvert^2 + \lvert \mathbf v \rvert^2 = \tfrac{1}{2}(\lvert \mathbf u + \mathbf v \rvert^2 + \lvert \mathbf u - \mathbf v \rvert^2).$
Polariseringsidentiteten:
$\begin{aligned} \mathbb{F} = \mathbb{R}:& \quad \mathbf u\cdot\mathbf v = \tfrac{1}{4}(\lvert \mathbf u+\mathbf v \rvert^2 - \lvert \mathbf u-\mathbf v \rvert^2), \\ \mathbb{F} = \mathbb{C}:& \quad \mathbf u\cdot\mathbf v = \tfrac{1}{4}(\lvert \mathbf u+\mathbf v \rvert^2 - \lvert \mathbf u-\mathbf v \rvert^2)+\tfrac{i}{4}(\lvert \mathbf u+i\mathbf v \rvert^2 - \lvert \mathbf u-i\mathbf v \rvert^2). \end{aligned}$

Bevis

$\phantom{}$

Pythagoras sætning

Beviset er en direkte udregning, hvor sammenhængen mellem indre produkt og norm udnyttes, samt at $\mathbf v\cdot \mathbf u = \overline{\mathbf u\cdot\mathbf v}$ :

$\begin{aligned} \lvert \mathbf u + \mathbf v \rvert^2 &= (\mathbf u+\mathbf v)\cdot(\mathbf u + \mathbf v) \\ &= \mathbf u\cdot\mathbf u + \mathbf v\cdot\mathbf v + \mathbf u\cdot\mathbf v + \mathbf v\cdot\mathbf u \\ &= \lvert \mathbf u \rvert^2 + \lvert \mathbf v \rvert^2 + 2\mathrm{Re}(\mathbf u\cdot\mathbf v). \end{aligned}\tag{9.2}$ Det er nu tydeligt, at $\mathrm{Re}(\mathbf u\cdot\mathbf v)=0$ præcis når ligheden i Pythagoras sætning er sand.

Cauchy-Schwarz ulighed

Hvis $\mathbf u = \mathbf 0$ er uligheden sand, da der står $0$ på begge sider. Antag nu at $\mathbf u\neq \mathbf 0,$ så kan vi bestemme den ortogonale projektion $\mathbf w,$ af $\mathbf v$ på $\mathbf u,$ ved brug af formlen i (9.1), således at $\mathbf v = \mathbf w + (\mathbf v-\mathbf w)$ og $\mathbf w\perp(\mathbf v-\mathbf w).$

Nu kan vi lave en udregning, hvor udtrykket for $\mathbf v$ indsættes:

$\begin{aligned} \lvert \mathbf v \rvert^2 &= \mathbf v\cdot\mathbf v \\ &= (\mathbf w+(\mathbf v-\mathbf w))\cdot(\mathbf w+(\mathbf v-\mathbf w)) \\ &= \mathbf w\cdot\mathbf w + \underbrace{(\mathbf v-\mathbf w)\cdot(\mathbf v-\mathbf w)}_{=\lvert \mathbf v-\mathbf w \rvert^2\geq 0} + \underbrace{(\mathbf v-\mathbf w)\cdot\mathbf w + \mathbf w\cdot(\mathbf v-\mathbf w)}_{= 0} \\ &\geq \lvert \mathbf w \rvert^2 \\ &= \frac{\lvert \mathbf v\cdot\mathbf u \rvert^2}{\lvert \mathbf u \rvert^2}. \end{aligned}$ Nu kan vi gange igennem med $\lvert \mathbf u \rvert^2$ på begge sider, for derefter at tage kvadratroden (som er en voksende funktion), for at få

$\lvert \mathbf u\cdot\mathbf v \rvert \leq \lvert \mathbf u \rvert\lvert \mathbf v \rvert.$

Trekantsuligheden

For et komplekst tal $z$ gælder

$\mathrm{Re}(z) \leq \lvert \mathrm{Re}(z) \rvert \leq \lvert z \rvert.$ Fra (9.2) i beviset for Pythagoras sætning, får vi derfor

$\lvert \mathbf u+\mathbf v \rvert^2 = \lvert \mathbf u \rvert^2 + \lvert \mathbf v \rvert^2 + 2 \mathrm{Re}(\mathbf u\cdot \mathbf v) \leq \lvert \mathbf u \rvert^2 + \lvert \mathbf v \rvert^2 + 2\lvert \mathbf u\cdot \mathbf v \rvert.$ Beviset følger nu ved brug af Cauchy-Schwarz ulighed, samt at kvadratrod-funktionen er voksende:

$\lvert \mathbf u + \mathbf v \rvert^2 \leq \lvert \mathbf u \rvert^2 + \lvert \mathbf v \rvert^2 + 2\lvert \mathbf u \rvert\lvert \mathbf v \rvert = (\lvert \mathbf u \rvert + \lvert \mathbf v \rvert)^2.$

Parallelogramloven

Fra (9.2) i beviset for Pythagoras sætning har vi følgende, samt ved udskiftning af $\mathbf v$ med $-\mathbf v$ :

$\begin{aligned} \lvert \mathbf u \rvert^2 + \lvert \mathbf v \rvert^2 & = \lvert \mathbf u + \mathbf v \rvert^2 - 2\mathrm{Re}(\mathbf u\cdot\mathbf v) \\ &= \lvert \mathbf u - \mathbf v \rvert^2 + 2\mathrm{Re}(\mathbf u\cdot\mathbf v). \end{aligned}\tag{9.3}$ Ved at addere de to udtryk ovenfor fås parallelogramloven.

Polariseringsidentiteten

Ved at subtrahere de to udtryk i (9.3), i beviset for parallelogramloven, fås

$4\mathrm{Re}(\mathbf u\cdot\mathbf v) = \lvert \mathbf u + \mathbf v \rvert^2-\lvert \mathbf u - \mathbf v \rvert^2. \tag{9.4}$ For $\mathbb{F}=\mathbb{R}$ fås polariseringsidentiteten fra (9.4).

Antag nu at $\mathbb{F}=\mathbb{C}.$ Ved at erstatte $\mathbf v$ med $i\mathbf v$ i (9.4), fås

$\begin{aligned} 4i\mathrm{Im}(\mathbf u\cdot\mathbf v) &= 4i\mathrm{Re}(-i(\mathbf u\cdot\mathbf v)) = 4i\mathrm{Re}(\mathbf u\cdot(i\mathbf v)) \\ &= i(\lvert \mathbf u + i\mathbf v \rvert^2-\lvert \mathbf u - i\mathbf v \rvert^2). \end{aligned}\tag{9.5}$ Nu er polariseringsidentiteten summen af (9.4) og (9.5).

9.2 Ortonormalbasis (ONB)

De fleste kan godt lide at bruge standardbasen $\{\mathbf e_1,\dots,\mathbf e_m\}$ for $\mathbb{F}^m,$ på grund af de flotte geometriske egenskaber den har. Hver vektor peger ud af akserne i det typiske retvinklede koordinatsystem, og koordinaterne til vektor $\mathbf u = (x_1,\dots,x_m)^\textup{T}\in \mathbb{F}^m$ kan direkte aflæses fra vektorens indgange. Vi har nemlig

$\begin{aligned} \mathbf u &= x_1\mathbf e_1 + x_2\mathbf e_2 + \dots + x_m\mathbf e_m \\ &= (\mathbf u\cdot\mathbf e_1)\mathbf e_1 + (\mathbf u\cdot\mathbf e_2)\mathbf e_2 + \dots + (\mathbf u\cdot\mathbf e_m)\mathbf e_m. \end{aligned}\tag{9.6}$ Det at vi kan "aflæse" koordinaterne nemt, svarer præcis til udregningen af koordinatvektoren ved de indre produkter $(\mathbf u\cdot\mathbf e_1,\dots,\mathbf u\cdot\mathbf e_m)^\textup{T}.$ Dette er betydelig lettere end at skulle løse et ligningssystem, for at finde en koordinatvektor. Vi skal se at denne lettere måde at finde koordinater på, hænger sammen med ortogonalitet af basisvektorerne.

Først skal vi overbevise os selv om, at ortogonale vektorer er lineært uafhængige, hvilket fra et geometrisk synspunkt nok ikke er så overraskende.

Hvis $\mathbf u_1,\dots,\mathbf u_m$ er indbyrdes ortogonale vektorer, $\mathbf u_i\perp\mathbf u_j$ for alle $i\neq j,$ og ingen af vektorerne er nulvektorer, så er $\mathbf u_1,\dots,\mathbf u_m$ lineært uafhængige.

Bevis

For at undersøge lineær uafhængighed af vektorerne, ser vi på en linearkombination

$\mathbf 0 = \alpha_1\mathbf u_1 + \alpha_2\mathbf u_2 + \dots + \alpha_m\mathbf u_m.$ Af ortogonaliteten får vi derfor

$0 = \mathbf 0\cdot\mathbf u_i = \alpha_1(\mathbf u_1\cdot\mathbf u_i) + \alpha_2(\mathbf u_2\cdot\mathbf u_i)+\dots+\alpha_m(\mathbf u_m\cdot\mathbf u_i) = \alpha_i\lvert \mathbf u_i \rvert^2.$ Vi konkluderer at hvert $\alpha_i = 0$ for $i=1,\dots,m,$ da $\mathbf u_i\neq \mathbf 0$ var en af antagelserne i sætningen. Altså er vektorerne lineært uafhængige.

Da ortogonale vektorer er lineært uafhængige, opfylder de allerede det vigtigste kriterium for at danne baser for vektorrum.

$\phantom{}$

En basis $\{\mathbf u_1,\dots,\mathbf u_m\}$ for et underrum af $\mathbb{F}^n$ kaldes en ortogonalbasis hvis $\mathbf u_i\perp\mathbf u_j$ for alle $i\neq j.$
Hvis en ortogonalbasis $\{\mathbf w_1,\dots,\mathbf w_m\}$ består af enhedsvektorer, $\lvert \mathbf w_i \rvert = 1$ for alle $i,$ så kaldes det en ortonormalbasis (ONB).

Da det er et vigtigt begreb, udpensler vi her kravene til at $\{\mathbf w_1,\dots,\mathbf w_m\}$ er en ONB for et underrum $U\subseteq \mathbb{F}^n$ :

$\{\mathbf w_1,\dots,\mathbf w_m\}$ skal være indbyrdes ortonormale, det vil sige for alle indeks $i$ og $j$ skal gælde
$\mathbf w_i \cdot \mathbf w_j = \begin{cases} 0 & \text{for } i\neq j, \\ 1 & \text{for } i=j. \end{cases}$ Udtrykket på højresiden ovenfor betegnes ofte $\delta_{ij},$ hvilket er Kronecker's delta.
$\{\mathbf w_1,\dots,\mathbf w_m\}$ skal udgøre en basis for $U,$ hvilket typisk kan vises med en kombination af Sætning 9.5 og Sætning 6.18.

Vi vil meget ofte anvende ONB-forkortelsen fra Definition 9.6 fremadrettet. Der er flere af resultaterne i de næste afsnit og kapitler, der specifikt gør brug af ortonormalbaser, hvor det er vigtigt at vektorerne er normaliseret så de har norm 1 (ved at dividere med normen af vektoren), og ikke kun er ortogonale; dette er nok en af de mest almindelige fejl man begår, når man første gang skal diagonalisere en matrix ved brug af spektralsætningen i Kapitel 11.

Nu skal vi se nogle pæne formler for at udregne koordinater for en ONB, helt analogt med hvad vi så for standardbasen i (9.6), samt en brugbar formel der relaterer normen af en vektor, til de indre produkter med basisvektorerne (faktisk at normen af en vektor er lig normen af koordinatvektoren med hensyn til en ONB).

Lad $\{\mathbf w_1,\dots,\mathbf w_m\}$ være en ONB for et underrum $U\subseteq \mathbb{F}^n.$ For ethvert $\mathbf u\in U$ gælder

$\begin{aligned} \mathbf u &= (\mathbf u\cdot \mathbf w_1) \mathbf w_1 + \cdots + (\mathbf u\cdot \mathbf w_m) \mathbf w_m,\\ \lvert \mathbf u \rvert^2 &= \lvert \mathbf u\cdot \mathbf w_1 \rvert^2 + \cdots + \lvert \mathbf u\cdot \mathbf w_m \rvert^2. \end{aligned}$

Bevis

Lad $(x_1,\dots,x_m)^\textup{T}$ være koordinatvektor for $\mathbf u$ med hensyn til $\{\mathbf w_1,\dots,\mathbf w_m\},$

$\mathbf u = x_1 \mathbf w_1 + \cdots + x_m \mathbf w_m.$ Nu følger af ortonormaliteten at

$\mathbf u\cdot \mathbf w_i = (x_1 \mathbf w_1 + \cdots + x_m \mathbf w_m)\cdot \mathbf w_i = x_i\lvert \mathbf w_i \rvert^2 = x_i,$ hvilket viser første påstand, at koordinaterne er givet ved de indre produkter.

Den anden påstand følger af regneregler for det indre produkt:

$\lvert \mathbf u \rvert^2 = \mathbf u\cdot \mathbf u = (x_1 \mathbf w_1 + \cdots + x_m \mathbf w_m)\cdot (x_1 \mathbf w_1 + \cdots + x_m \mathbf w_m) = \lvert x_1 \rvert^2 + \cdots + \lvert x_m \rvert^2,$ hvor vi på samme måde har benyttet at $\mathbf w_i\cdot \mathbf w_j = 0$ for $i\neq j$ og $\mathbf w_i\cdot \mathbf w_i = 1.$

Vi kan skrive Proposition 9.8 op i form af koordinatvektoren for $\mathbf u\in U.$ For en ONB $B = \{\mathbf w_1,\dots,\mathbf w_m\}$ af $U,$ har vi

$[\mathbf u]_B = \begin{pmatrix} \mathbf u \cdot \mathbf w_1 \\ \vdots \\ \mathbf u \cdot \mathbf w_m \end{pmatrix}.$

De tre vektorer

$\mathbf w_1 = \frac{1}{\sqrt{2}}\begin{pmatrix} -1 \\ 1 \\ 0\\ 0 \end{pmatrix},\quad \mathbf w_2 = \frac{1}{2}\begin{pmatrix} 1 \\ 1 \\ 1 \\ 1 \end{pmatrix}\quad\text{og}\quad \mathbf w_3 = \frac{1}{2}\begin{pmatrix} -1 \\ -1 \\ 1 \\ 1 \end{pmatrix}$ udgør en ONB for $U = \mathrm{span}\{\mathbf w_1, \mathbf w_2, \mathbf w_3\}.$ Dette ses ved, at vektorerne er normaliserede og ortogonale (tjek det gerne!), samt af Sætning 9.5.

Det er nu ikke så kompliceret at bruge Proposition 9.8 til at afgøre om en vektor $\mathbf u\in \mathbb{C}^4$ ligger i $U.$ Dette sker, hvis og kun hvis,

$\mathbf u = (\mathbf u\cdot \mathbf w_1) \mathbf w_1 + (\mathbf u\cdot \mathbf w_2) \mathbf w_2 + (\mathbf u\cdot \mathbf w_3) \mathbf w_3.$ Hvis for eksempel

$\mathbf v = \begin{pmatrix} 1 \\ 1 \\ 2 \\ 1 \end{pmatrix}$ er

$(\mathbf v\cdot \mathbf w_1) \mathbf w_1 + (\mathbf v\cdot \mathbf w_2) \mathbf w_2 + (\mathbf v\cdot \mathbf w_3) \mathbf w_3 = \tfrac{5}{2}\, \mathbf w_2 + \tfrac{1}{2}\, \mathbf w_3 = \begin{pmatrix} 1\\ 1\\[1mm] \frac{3}{2}\\[1.5mm] \frac{3}{2} \end{pmatrix},$ hvilket tydeligvis ikke er lig $\mathbf v,$ og derfor har vi $\mathbf v\notin U.$ Derimod har vi med

$\mathbf u = \begin{pmatrix} 0 \\ 0 \\ 1 \\ 1 \end{pmatrix}$ at

$(\mathbf u\cdot \mathbf w_1) \mathbf w_1 + (\mathbf u\cdot \mathbf w_2) \mathbf w_2 + (\mathbf u\cdot \mathbf w_3) \mathbf w_3 = \mathbf w_2 + \mathbf w_3 = \mathbf u,$ det vil sige $\mathbf u\in U.$

9.3 Gram-Schmidt algoritmen

Vi har set ovenfor, at ONB'er er særligt nemme at regne med. Spørgsmålet er om alle underrum af $\mathbb{F}^n$ har en ONB? Her er svaret ja, og grunden ligger i en klassisk og smuk algoritme, tilmed opfundet af en dansker. Ideen kommer fra formlen for projektion af en vektor på en anden vektor, som vi genopfriskede i (9.1).

Hvis $\{\mathbf u_1,\dots,\mathbf u_m\}$ er en ortogonalbasis for et underrum $U\subseteq \mathbb{F}^n,$ kan vi finde en ONB ved at normalisere:

$\mathbf w_1 = \frac{\mathbf u_1}{\lvert \mathbf u_1 \rvert}, \quad \mathbf w_2 = \frac{\mathbf u_2}{\lvert \mathbf u_2 \rvert}, \quad \dots, \quad \mathbf w_m = \frac{\mathbf u_m}{\lvert \mathbf u_m \rvert}.$ Ved at sætte dette ind i Proposition 9.8 for et $\mathbf v\in U,$ får vi den tilsvarende formel for koordinaterne i en ortogonalbasis:

$\begin{aligned} \mathbf v &= (\mathbf v\cdot \mathbf w_1) \mathbf w_1 + (\mathbf v\cdot \mathbf w_2) \mathbf w_2 + \cdots + (\mathbf v\cdot \mathbf w_m) \mathbf w_m \\ &= \Bigl(\frac{\mathbf v\cdot\mathbf u_1}{\lvert \mathbf u_1 \rvert^2}\Bigr)\mathbf u_1 + \Bigl(\frac{\mathbf v\cdot\mathbf u_2}{\lvert \mathbf u_2 \rvert^2}\Bigr)\mathbf u_2 + \dots + \Bigl(\frac{\mathbf v\cdot\mathbf u_m}{\lvert \mathbf u_m \rvert^2}\Bigr)\mathbf u_m. \end{aligned}\tag{9.7}$ Hvis vi kigger på de enkelte led, og sammenligner med (9.1), ser vi at $\mathbf v$ er summen af de ortogonale projektioner af $\mathbf v$ på henholdsvis $\mathbf u_1,$ $\mathbf u_2,$ $\dots,$ $\mathbf u_m.$

En måske vigtigere observation fra (9.7) er, at vi kan finde komponenten af $\mathbf v$ i én ortogonal retning, ved at trække alle de andre ortogonale projektioner fra $\mathbf v.$ For eksempel er den sidste komponent

$\Bigl(\frac{\mathbf v\cdot\mathbf u_m}{\lvert \mathbf u_m \rvert^2}\Bigr)\mathbf u_m = \mathbf v - \Bigl(\frac{\mathbf v\cdot\mathbf u_1}{\lvert \mathbf u_1 \rvert^2}\Bigr)\mathbf u_1 - \Bigl(\frac{\mathbf v\cdot\mathbf u_2}{\lvert \mathbf u_2 \rvert^2}\Bigr)\mathbf u_2 - \dots - \Bigl(\frac{\mathbf v\cdot\mathbf u_{m-1}}{\lvert \mathbf u_{m-1} \rvert^2}\Bigr)\mathbf u_{m-1}.$ Dette er princippet bag Gram-Schmidt algoritmen: Tag en basis for et vektorrum, konstruer nye vektorer ved induktivt at trække ortogonale projektioner fra, for derved at danne en ny ortogonalbasis for det samme vektorrum.

Animation af den modificerede Gram-Schmidt algoritme for tre vektorer fra Wikipedia. Læg mærke til, at de indre produkter $\mathbf u\cdot \mathbf v$ annoteres som $\langle \mathbf u, \mathbf v\rangle$ i animationen.

Proceduren i Figur 9.1 kan generaliseres til et vilkårligt antal vektorer. Denne generalisering blev først fundet af danskeren Jørgen Pedersen Gram i 1883, og kendes i dag under navnet Gram-Schmidt algoritmen. Det er en af de helt fundamentale metoder i lineær algebra.

Lad $\mathbf v_1, \dots, \mathbf v_m$ være lineært uafhængige vektorer i $\mathbb{F}^n$ og lad

$U = \mathrm{span}\{\mathbf v_1,\dots, \mathbf v_m\}.$ Ved algoritmen

$\begin{aligned} \mathbf u_1 &= \mathbf v_1\\ \mathbf u_2 &= \mathbf v_2 - \Bigl(\frac{\mathbf v_2\cdot \mathbf u_1}{\lvert \mathbf u_1 \rvert^2}\Bigr) \mathbf u_1\\ \mathbf u_3 &= \mathbf v_3 - \Bigl(\frac{\mathbf v_3\cdot \mathbf u_1}{\lvert \mathbf u_1 \rvert^2}\Bigr) \mathbf u_1 - \Bigl(\frac{\mathbf v_3\cdot \mathbf u_2}{\lvert \mathbf u_2 \rvert^2}\Bigr) \mathbf u_2\\ &\enskip\vdots \\ \mathbf u_m &= \mathbf v_m - \Bigl(\frac{\mathbf v_m\cdot \mathbf u_1}{\lvert \mathbf u_1 \rvert^2}\Bigr) \mathbf u_1 - \cdots - \Bigl(\frac{\mathbf v_m\cdot \mathbf u_{m-1}}{\lvert \mathbf u_{m-1} \rvert^2}\Bigr) \mathbf u_{m-1}, \end{aligned}\tag{9.8}$ opnås ortogonale vektorer $\mathbf u_1, \dots, \mathbf u_m\in U,$ så $\mathbf u_i\neq \mathbf 0$ og

$U = \mathrm{span}\{\mathbf u_1, \dots, \mathbf u_m\}.$ En ONB basis $\{\mathbf w_1,\dots,\mathbf w_m\}$ for $U$ opnås ved at normalisere basisvektorerne:

$\mathbf w_1 = \frac{\mathbf u_1}{\lvert \mathbf u_1 \rvert}, \quad \dots, \quad \mathbf w_m = \frac{\mathbf u_m}{\lvert \mathbf u_m \rvert}.$

Bevis

Fra ortogonal projektionerne har vi, at $\{\mathbf u_1,\dots,\mathbf u_m\}$ er indbyrdes ortogonale vektorer.

Fra processen i (9.8) ser vi, at $\mathbf u$ -vektorerne er linearkombinationer af $\mathbf v$ -vektorerne (indsæt udtrykkene for $\mathbf u$ i højresiden). $\mathbf u_i\neq\mathbf 0$ da $\mathbf v$ -vektorerne er lineært uafhængige. Tilsvarende, ved at flytte de ortogonale projektioner til venstresiden i (9.8), ser vi også at $\mathbf v$ -vektorerne er linearkombinationer af $\mathbf u$ -vektorerne. Det betyder altså at

$\mathrm{span}\{\mathbf u_1,\dots,\mathbf u_m\} = \mathrm{span}\{\mathbf v_1,\dots,\mathbf v_m\} = U.$ Da $\{\mathbf u_1,\dots,\mathbf u_m\}$ er indbyrdes ortogonale, er de blandt andet også lineært uafhængige (Sætning 9.5), og udgør derfor en basis for $U.$

Hvis Gram-Schmidt algoritmen benyttes på et sæt af vektorer, som ikke er lineært uafhængige, vil algoritmen undervejs afsløre dette og give $\mathbf u_i = \mathbf 0,$ hvor

$\mathbf v_i \in \mathrm{span}\{\mathbf v_1, \dots, \mathbf v_{i-1}\}.$ Algoritmen kan modificeres ret enkelt ved at springe trin med $\mathbf u_i = \mathbf 0$ over, og arbejde videre med $\mathbf v_{i+1}$ ud fra de allerede fundne ortogonale vektorer $\mathbf u_1, \dots, \mathbf u_{i-1}.$

Vi betragter underrummet $U \subset \mathbb{C}^5$ udspændt af vektorerne

$\mathbf v_1 = \begin{pmatrix} 1 \\ -1 \\ 0 \\ 1 \\ 1 \end{pmatrix}, \quad \mathbf v_2 = \begin{pmatrix} 6 \\ 2 \\ 3 \\ 0 \\ 4 \end{pmatrix} \quad\text{og}\quad \mathbf v_3 = \begin{pmatrix} 5 \\ 3 \\ 3 \\ 1 \\ 5 \end{pmatrix}.$ Vi benytter Gram-Schmidt algoritmen til at finde en ONB for $U.$ Første trin er $\mathbf u_1 = \mathbf v_1.$ Dernæst udregner vi

$\mathbf u_2 = \mathbf v_2 - \Bigl(\frac{\mathbf v_2\cdot \mathbf u_1}{\lvert \mathbf u_1 \rvert^2}\Bigr) \mathbf u_1 = \begin{pmatrix} 6 \\ 2 \\ 3 \\ 0 \\ 4 \end{pmatrix} - 2\begin{pmatrix} 1 \\ -1 \\ 0 \\ 1 \\ 1 \end{pmatrix} = \begin{pmatrix} 4 \\ 4 \\ 3 \\ -2 \\ 2 \end{pmatrix}.$ Så vidt så godt; man kan tjekke efter for regnefejl, ved at undersøge om $\mathbf u_1 \cdot \mathbf u_2 = 0.$ Sidste skridt er nu udregningen af $\mathbf u_3$ via

$\mathbf u_3 = \mathbf v_3 - \Bigl(\frac{\mathbf v_3\cdot \mathbf u_1}{\lvert \mathbf u_1 \rvert^2}\Bigr) \mathbf u_1 - \Bigl(\frac{\mathbf v_3\cdot \mathbf u_2}{\lvert \mathbf u_2 \rvert^2}\Bigr) \mathbf u_2 = \begin{pmatrix} 5 \\ 3 \\ 3 \\ 1 \\ 5 \end{pmatrix} - 2 \begin{pmatrix} 1 \\ -1 \\ 0 \\ 1 \\ 1 \end{pmatrix} - \begin{pmatrix} 4 \\ 4 \\ 3 \\ -2 \\ 2 \end{pmatrix} = \begin{pmatrix} -1 \\ 1 \\ 0 \\ 1\\ 1 \end{pmatrix}.$ Hermed er $\{\mathbf u_1, \mathbf u_2, \mathbf u_3\}$ en ortogonalbasis for $U.$ Da $\lvert \mathbf u_1 \rvert = 2, \lvert \mathbf u_2 \rvert = 7$ og $\lvert \mathbf u_3 \rvert = 2$ vil

$\bigl\{\tfrac{1}{2}\mathbf u_1, \tfrac{1}{7}\mathbf u_2, \tfrac{1}{2}\mathbf u_3\bigr\}$ være en ONB for $U.$

9.3.1 Den modificerede Gram-Schmidt algoritme

Gram-Schmidt algoritmen, som angivet ovenfor, er numerisk ustabil i praksis. Ved en lille modifikation med hensyn til udregningen af $\mathbf u_i,$ fås en numerisk stabil algoritme, som er mindre følsom overfor afrundingsfejl. Dette modificerede trin består i at udregne $\mathbf u_i$ gennem følgende kæde af operationer:

$\begin{aligned} \mathbf u_i^{(1)} &= \mathbf v_i - (\mathbf v_i\cdot \mathbf u_1) \mathbf u_1\\ \mathbf u_i^{(2)} &= \mathbf u_i^{(1)} - (\mathbf u_i^{(1)}\cdot \mathbf u_2) \mathbf u_2\\ &\enskip\vdots \\ \mathbf u_i^{(i-1)} &= \mathbf u_i^{(i-2)} - (\mathbf u_i^{(i-2)}\cdot \mathbf u_{i-1}) \mathbf u_{i-1}, \end{aligned}$ med $\mathbf u_i = \frac{\mathbf u_i^{(i-1)}}{\lvert \mathbf u_i^{(i-1)} \rvert}$ som resultat.

Eksempel

Lad os benytte vektorerne

$\mathbf v_1 = \begin{pmatrix} 1 \\ -1 \\ 0 \\ 1 \\ 1 \end{pmatrix}, \quad \mathbf v_2 = \begin{pmatrix} 6 \\ 2 \\ 3 \\ 0 \\ 4 \end{pmatrix} \quad\text{og}\quad \mathbf v_3 = \begin{pmatrix} 5 \\ 3 \\ 3 \\ 1 \\ 5 \end{pmatrix}$ fra sidste eksempel, som input til den modificerede Gram-Schmidt algoritme. Første skridt giver

$\mathbf u_1 = \frac{\mathbf v_1}{\lvert \mathbf v_1 \rvert} = \frac{1}{2}\begin{pmatrix} 1 \\ -1 \\ 0 \\ 1 \\ 1 \end{pmatrix}.$ Udregningen af $\mathbf u_2$ foregår som

$\mathbf u_2^{(1)} = \mathbf v_2 - (\mathbf v_2\cdot \mathbf u_1) \mathbf u_1 = \begin{pmatrix} 6 \\ 2 \\ 3 \\ 0 \\ 4 \end{pmatrix} - 4\cdot \frac{1}{2}\begin{pmatrix} 1 \\ -1 \\ 0 \\ 1 \\ 1 \end{pmatrix} = \begin{pmatrix} 4 \\ 4 \\ 3 \\ -2 \\ 2 \end{pmatrix},$ med

$\mathbf u_2 = \frac{1}{7}\begin{pmatrix} 4 \\ 4 \\ 3 \\ -2 \\ 2 \end{pmatrix}.$ Udregningen af $\mathbf u_3$ foregår som

$\mathbf u_3^{(1)} = \mathbf v_3 - (\mathbf v_3\cdot \mathbf u_1) \mathbf u_1 = \begin{pmatrix} 5 \\ 3 \\ 3 \\ 1 \\ 5 \end{pmatrix} - 4\cdot \frac{1}{2} \begin{pmatrix} 1 \\ -1 \\ 0 \\ 1 \\ 1 \end{pmatrix} = \begin{pmatrix} 3 \\ 5 \\ 3 \\ -1 \\ 3 \end{pmatrix}$ og

$\mathbf u_3^{(2)} = \mathbf u_3^{(1)} - (\mathbf u_3^{(1)}\cdot \mathbf u_2) \mathbf u_2 = \begin{pmatrix} 3 \\ 5 \\ 3 \\ -1 \\ 3 \end{pmatrix} - 7 \cdot \frac{1}{7} \begin{pmatrix} 4 \\ 4 \\ 3 \\ -2 \\ 2 \end{pmatrix} = \begin{pmatrix} -1 \\ 1 \\ 0 \\ 1 \\ 1 \end{pmatrix},$ med endeligt resultat

$\mathbf u_3 = \frac{1}{2}\begin{pmatrix} -1 \\ 1 \\ 0 \\ 1 \\ 1 \end{pmatrix},$ i fin overensstemmelse med foregående eksempel.

Denne algoritme kaldes den modificerede Gram-Schmidt algoritme. Den numeriske stabilitet illustreres i eksemplet nedenfor.

For at uddybe hvad der egentlig menes med numerisk stabil, eller mindre følsom overfor afrundingsfejl, kan man som eksempel afprøve Gram-Schmidt algoritmen, og den modificerede Gram-Schmidt algoritme på vektorerne

$\begin{pmatrix} 1 \\ \epsilon \\ 0 \\ 0 \end{pmatrix},\quad \begin{pmatrix} 1 \\ 0 \\ \epsilon \\ 0 \end{pmatrix}\quad \text{og}\quad \begin{pmatrix} 1 \\ 0 \\ 0 \\ \epsilon \end{pmatrix},$ med afrundingsfejlen $1 + \epsilon^2 \approx 1.$ Hvis en lommeregner kan vise $10$ cifre i displayet og $\epsilon = 0.000001,$ så er $1 + \epsilon^2 = 1$ på lommeregneren.

Med afrunding og normering i hvert trin, giver den klassiske Gram-Schmidt algoritme

$\mathbf u_1 = \begin{pmatrix} 1 \\ \epsilon \\ 0 \\ 0 \end{pmatrix},\quad \mathbf u_2 = \frac{1}{\sqrt{2}} \begin{pmatrix} 0 \\ -1 \\ 1 \\ 0 \end{pmatrix}\quad\text{og}\quad \mathbf u_3 = \frac{1}{\sqrt{2}} \begin{pmatrix} 0 \\ -1 \\ 0 \\ 1 \end{pmatrix}.$ Læg mærke til at $\mathbf u_2\cdot \mathbf u_3 = \frac{1}{2},$ hvilket er en grim fejl som følge af afrundingen, som ikke afhænger af hvor lille $\epsilon > 0$ bliver.

Derimod giver den modificerede Gram-Schmidt algoritme

$\mathbf u_1 = \begin{pmatrix} 1 \\ \epsilon \\ 0 \\ 0 \end{pmatrix},\quad \mathbf u_2 = \frac{1}{\sqrt{2}} \begin{pmatrix} 0 \\ -1 \\ 1 \\ 0 \end{pmatrix}\quad\text{og}\quad \mathbf u_3 = \frac{1}{\sqrt{6}} \begin{pmatrix} 0 \\ -1 \\ -1 \\ 2 \end{pmatrix}.$ Her er $\mathbf u_2\cdot \mathbf u_3 = 0.$

9.4 Adjungerede, unitære og ortogonale matricer

For en matrix $A$ er $\overline{A}$ den kompleks konjugerede af $A.$ Det svarer til, at komplekst konjugere hver af indgangene i matricen:

$\overline{A} = \begin{pmatrix} \overline{a_{11}} & \dots & \overline{a_{1n}} \\ \vdots & \ddots & \vdots \\ \overline{a_{m1}} & \dots & \overline{a_{mn}} \end{pmatrix} \quad\text{for}\quad A = \begin{pmatrix} a_{11} & \dots & a_{1n} \\ \vdots & \ddots & \vdots \\ a_{m1} & \dots & a_{mn} \end{pmatrix} .$

Nu skal vi introducere en matrix, som har helt særlige egenskaber når det kommer til det indre produkt, og som bliver brugt i resten af kapitlerne.

Den adjungerede $A^*$ defineres som den kompleks konjugerede og transponerede af $A$ :

$A^* = \overline{A}^\textup{T}.$

Det er meget vigtigt ikke at forveksle den adjungerede $A^*$ med den klassisk-adjungerede $\textup{adj}(A)$ ; se også Sætning 5.14 og Bemærkning 5.15.

Bemærk fra Definition 11.1, at en matrix der opfylder $A = A^*$ både kendes som en Hermitisk matrix og som en selvadjungeret matrix.

For andre indre produkter på vektorrum (eksempelvis på funktionsrum), er det egenskaben fra Sætning 9.16, der entydigt definerer den adjungerede med hensyn til det indre produkt.

For eksempel er

$A^* = \begin{pmatrix} -i & 1\\ 1 - i & i \end{pmatrix}\qquad\text{for}\qquad A = \begin{pmatrix} i & 1 + i\\ 1 & -i \end{pmatrix}.$

Som vi kender det fra transponering af matricer (Proposition 4.17), kan vi bestemme den adjungerede af et produkt ved formlen

$(AB)^* = B^*A^*.$ En anden måde at skrive det Euklidiske indre produkt er

$\mathbf u\cdot\mathbf v = \mathbf v^*\mathbf u.$ Ved at kombinere de to ovenstående resultater, får vi en meget vigtig egenskab.

Lad $A$ være en $m\times n$ matrix, så gælder

$(A\mathbf u)\cdot \mathbf v = \mathbf u\cdot (A^*\mathbf v) \qquad\text{og}\qquad \mathbf v\cdot(A\mathbf u) = (A^*\mathbf v)\cdot\mathbf u.$

Vi kan altså flytte en matrix fra en indgang i det indre produkt til den anden, ved at finde dens adjungerede. Læg mærke til, at $\overline{A} = A$ hvis $A$ er en reel matrix, så i det tilfælde vil $A^* = A^\textup{T}.$

Lad $A$ være en matrix.

$\mathrm{rang}(A^*) = \mathrm{rang}(A).$
Hvis $A$ er kvadratisk: $\det(A^*) = \det(\overline{A}) = \overline{\det(A)}.$

Bevis

(i): Af dimensionssætningen (Sætning 6.25) er det tilstrækkeligt at vise

$\dim \mathcal{C}(A^*) = \dim \mathcal{C}(A^\textup{T}).$ For nogle komplekse søjlevektorer $\mathbf v_1,\dots,\mathbf v_r,$ hvor vi opskriver en linearkombination der giver $\mathbf 0,$

$\alpha_1\mathbf v_1+\dots+\alpha_r\mathbf v_r = \mathbf 0 = \overline{\alpha_1}\,\overline{\mathbf v_1} + \dots + \overline{\alpha_r}\,\overline{\mathbf v_r},$ er $\mathbf v_1,\dots,\mathbf v_r$ lineært uafhængige, hvis og kun hvis, $\overline{\mathbf v_1},\dots,\overline{\mathbf v_r}$ er lineært uafhængige.

Vi har $\mathbf v\in \mathcal{C}(A^\textup{T}),$ hvis og kun hvis, $\overline{\mathbf v}\in \mathcal{C}(A^*),$ da der eksisterer $\mathbf x$ så

$\mathbf v = A^\textup{T}\mathbf x \quad \Leftrightarrow \quad \overline{\mathbf v} = A^*\overline{\mathbf x}.$ Samlet set har vi $\dim \mathcal{C}(A^*) = \dim \mathcal{C}(A^\textup{T})$ af Sætning 6.18.

(ii): Af Proposition 5.9 er $\det(A^*) = \det(\overline{A}),$ og resultatet følger nu af Definition 5.2.

Vi skal nu se på de matricer $U,$ hvorom det gælder at $U^* = U^{-1},$ altså hvor vi meget nemt kan udregne den inverse af matricen, ved blot finde den adjungerede. Selvom disse matricer ofte ser grimme og ubehagelige ud (rent numerisk), er det nogle af de letteste at arbejde med, måske lige ud over diagonalmatricerne. De har også en særrolle i diagonalisering af nogle vigtige klasser af matricer i Kapitel 11.

$\phantom{ }$

Matrix $U$ kaldes en unitær matrix hvis $U^* = U^{-1}.$
Reel matrix $Q$ kaldes en ortogonal matrix hvis $Q^\textup{T} = Q ^{-1}.$

Bemærk, en ortogonal matrix er unitær, men det modsatte er kun sandt hvis matricen er reel.

En vigtig geometrisk egenskab for unitære matricer $U$ er, at de bevarer det indre produkt:

$(U\mathbf u)\cdot (U\mathbf v) = (U^*U\mathbf u)\cdot \mathbf v = \mathbf u\cdot \mathbf v.$

Tilsvarende, ved at indsætte $\mathbf u$ på $\mathbf v$ 's plads ovenfor ses, at unitære matricer også bevarer normen af en vektor:

$\lvert U\mathbf u \rvert = \lvert \mathbf u \rvert.$

En afbildning med denne egenskab kaldes en isometri.

Bemærk, vi har (af Sætning 9.17 og Sætning 5.7):

$1 = \det(I) = \det(U^*U) = \det(U^*)\det(U) = \lvert \det(U) \rvert^2. \tag{9.9}$ Så for unitær matrix $U$ er $\lvert \det(U) \rvert = 1.$ Det vil sige, for ortogonal matrix $Q$ er $\det(Q)$ enten $1$ eller $-1.$

Det næste resultat viser, at det ikke er kompliceret at konstruere unitære matricer; det svarer præcis til de kvadratiske matricer med indbyrdes ortonormale søjler. Her kender vi allerede Gram-Schmidt algoritmen til at bestemme ONB'er.

En kvadratisk matrix er unitær netop hvis dens søjler er indbyrdes ortonormale (indbyrdes ortogonale enhedsvektorer).

Bevis

Dette følger af definitionen på matrixmultiplikation. Lad $U = (\mathbf u_1,\dots,\mathbf u_n)$ være en kvadratisk matrix, så er

$(U^* U)_{ij} = \mathbf u_i^*\mathbf u_j = \mathbf u_j\cdot \mathbf u_i.$ Kravet om $U^*U = I_n$ kan nu oversættes til

$\mathbf u_j\cdot\mathbf u_i = \begin{cases} 1 & \text{for } i=j, \\ 0 & \text{for } i\neq j, \end{cases}$ altså at søjlerne i $U$ er indbyrdes ortonormale.

Lad os analysere hvordan en ortogonal $2\times 2$ matrix $Q$ tager sig ud. Antag at

$Q = \begin{pmatrix} a & b\\ c & d \end{pmatrix}.$ Så er

$\begin{pmatrix} 1 & 0\\ 0 & 1 \end{pmatrix} = Q^\textup{T} Q = \begin{pmatrix} a & c\\ b & d \end{pmatrix} \begin{pmatrix} a & b\\ c & d \end{pmatrix} = \begin{pmatrix} a^2 + c^2 & ab + cd\\ ab + cd & b^2 + d^2 \end{pmatrix}.$ Af Proposition 9.19 er søjlevektorerne i $Q$ ortogonale enhedsvektorer. Sætter vi $a = \cos(\theta)$ og $c = \sin(\theta),$ har vi altså to muligheder for $Q$ :

$Q_1 = \begin{pmatrix} \cos(\theta) & -\sin(\theta)\\ \sin(\theta) & \phantom{-}\cos(\theta) \end{pmatrix}\qquad\text{og}\qquad Q_2 = \begin{pmatrix} \cos(\theta) & \phantom{-}\sin(\theta)\\ \sin(\theta) & -\cos(\theta) \end{pmatrix}.$ Geometrisk svarer $Q_1$ til en rotation af planen, mens $Q_2$ svarer til en spejling. Ved eksplicit udregning ser man, at $1$ er en egenværdi for $Q_2.$ En tilhørende egenvektor er retningsvektor for linjen som der spejles i (som viser sig at være linjen gennem $(0,0),$ med vinklen $\theta/2$ med den positive del af $x$ -aksen).

En unitær $1\times 1$ matrix er netop et komplekst tal $z$ med $z\overline{z} = 1.$ Det vil sige, $z = \mathrm{e}^{i \theta}$ for en passende vinkel $\theta.$ For to komplekse tal $a, b\in \mathbb{C}$ med $\lvert a \rvert^2+\lvert b \rvert^2 = 1,$ er

$U = \begin{pmatrix} a & b\\ -\overline{b} & \overline{a} \end{pmatrix}$ et eksempel på en unitær $2\times 2$ matrix. Her kan man benytte

$a = \mathrm{e}^{i\varphi_1} \cos \theta \quad\text{og}\quad b = \mathrm{e}^{i\varphi_2} \sin \theta,$ for vilkårlige vinkler $\theta, \varphi_1, \varphi_2.$ For eksempel er

$\begin{pmatrix} \frac{1}{2} + \frac{1}{2} i & \frac{1}{2} + \frac{1}{2} i\,\, \\ \\ -\frac{1}{2} + \frac{1}{2} i & \frac{1}{2} - \frac{1}{2} i\,\, \end{pmatrix}$ en unitær $2\times 2$ matrix, svarende til $\theta = \varphi_1 = \varphi_2 = \pi/4.$

Tre berømte unitære matricer er

$\begin{pmatrix} 0 & 1\\ 1 & 0 \end{pmatrix},\qquad \begin{pmatrix} 0 & -i\\ i & 0 \end{pmatrix}\qquad\text{og}\qquad \begin{pmatrix} 1 & 0\\ 0 & -1 \end{pmatrix},$ som indgår i beskrivelsen af sammenhængen mellem en partikels spin og et elektromagnetisk felt inden for kvantemekanik.

9.4.1 Diskret Fourier transformation

En af de allervigtigste anvendelser af en ONB for $\mathbb{C}^n,$ som samlet set giver en unitær matrix, er den diskrete Fourier transformation $\mathscr{F}_n.$

Lad $\omega_n = \mathrm{e}^{-\frac{2\pi}{n}i},$ så defineres $n\times n$ matricen

$\mathscr{F}_n = \frac{1}{\sqrt{n}}\begin{pmatrix} 1 & 1 & 1 & 1 & \cdots & 1 \\ 1 & \omega_n & \omega_n^2 & \omega_n^3 & \cdots & \omega_n^{n-1} \\ 1 & \omega_n^2 & \omega_n^4 & \omega_n^6 & \cdots & \omega_n^{2(n-1)} \\ 1 & \omega_n^3 & \omega_n^6 & \omega_n^9 & \cdots & \omega_n^{3(n-1)} \\ \vdots & \vdots & \vdots & \vdots & \ddots & \vdots \\ 1 & \omega_n^{n-1} & \omega_n^{2(n-1)} & \omega_n^{3(n-1)} & \cdots & \omega_n^{(n-1)(n-1)} \end{pmatrix}. \tag{9.10}$ Specifikt, er indgangene

$(\mathscr{F}_n)_{kj} = \frac{1}{\sqrt{n}}\omega_n^{(k-1)(j-1)} = \frac{1}{\sqrt{n}}\mathrm{e}^{-\frac{2\pi(k-1)(j-1)}{n}i}.$ Givet en vektor $\mathbf x = (x_0,\dots,x_{n-1})^\textup{T} \in \mathbb{C}^n,$ fås den diskrete Fourier transformation af $\mathbf x$ i form af $\widehat{\mathbf x} = (\widehat{x}_0,\dots,\widehat{x}_{n-1})^\textup{T}\in\mathbb{C}^n$ ved

$\widehat{\mathbf x} = \mathscr{F}_n\mathbf x.$ Indgangene bliver

$\widehat{x}_k = (\mathscr{F}_n\mathbf x)_k = \frac{1}{\sqrt{n}}\sum_{j=0}^{n-1} x_j\mathrm{e}^{-\frac{2\pi kj}{n}i}, \quad k = 0,\dots,n-1. \tag{9.11}$ Af notationsmæssige årsager, har vi indekseret $\mathbf x$ og $\widehat{\mathbf x}$ med indeks $0,\dots,n-1.$ Et konkret eksempel på matricen (9.10) er for $n=4,$ hvor $\omega_4 = \mathrm{e}^{-\frac{\pi}{2}i} = -i$ :

$\mathscr{F}_4 = \frac{1}{2}\begin{pmatrix} 1 & 1 & 1 & 1 \\ 1 & -i & -1 & i \\ 1 & -1 & 1 & -1 \\ 1 & i & -1 & -i \end{pmatrix}.$

Matricen $\mathscr{F}_n$ fra (9.10) er unitær.

Bevis

Vi starter med at vise sum-formlen for en trunkeret geometrisk række: Lad $z\in\mathbb{C},$ med $z \neq 1,$ så er

$\sum_{k=0}^{n-1}z^k = \frac{1-z^{n}}{1-z}. \tag{9.12}$ Ved at opskrive summen, samt gange denne med $z,$ ses at

$\begin{aligned} s_n &= 1+z+z^2+\dots+z^{n-2}+z^{n-1}, \\ zs_n &= z + z^2 + z^3 + \dots + z^{n-1} + z^n. \end{aligned}$ Ved differencen $s_n-zs_n$ overlever derfor kun $1$ fra første udtryk, og $-z^n$ fra det andet, hvilket giver (9.12):

$(1-z)s_n = 1-z^n.$ $\mathscr{F}_1 = 1$ er åbenlyst unitær, så antag at $n\in\mathbb{N}$ og $n>1.$ Hvis $\mathbf w_j$ er $(j+1)$ 'te søjle af $\mathscr{F}_n,$ for $j=0,\dots,n-1,$ så har vi af (9.12):

$\mathbf w_{j}\cdot\mathbf w_{j'} = \frac{1}{n}\sum_{k=0}^{n-1} \bigl(\mathrm{e}^{\frac{2\pi(j'-j)}{n}i}\bigr)^k = \frac{1-\mathrm{e}^{2\pi(j'-j)i}}{n(1-\mathrm{e}^{\frac{2\pi(j'-j)}{n}i})} = 0, \quad j\neq j',$ da $\mathrm{e}^{2\pi(j'-j)i}=1.$ Hvorimod vi har

$\lvert \mathbf w_j \rvert^2 = \mathbf w_{j}\cdot\mathbf w_{j} = \frac{1}{n}\sum_{k=0}^{n-1} 1 = 1.$ Dermed er $\mathscr{F}_n$ en kvadratisk matrix med indbyrdes ortonormale søjler, så af Proposition 9.19 er $\mathscr{F}_n$ unitær.

Dermed genskabes $\mathbf x$ fra $\widehat{\mathbf x}$ med den inverse diskrete Fourier transformation

$\mathbf x = \mathscr{F}_n^{-1}\widehat{\mathbf x} = \mathscr{F}_n^*\widehat{\mathbf x}.$ Indgangene bliver

$x_k = (\mathscr{F}_n^*\widehat{\mathbf x})_k = \frac{1}{\sqrt{n}}\sum_{j=0}^{n-1} \widehat{x}_j\mathrm{e}^{\frac{2\pi kj}{n}i}, \quad k = 0,\dots,n-1. \tag{9.13}$

I Figur 9.2 er et eksempel på hvordan man kan "sample" en funktion/signal

$f(t) = \sin(3t)-5\cos(t)-\cos(5t), \quad t\in[0,2\pi],$ i diskrete punkter $x_k = f(t_k)$ med $t_k = \frac{2\pi k}{n}$ for $k=0,\dots,n-1,$ hvor der i alt anvendes $n=11$ sampling-punkter. Ud fra dens diskrete Fourier transformation, kan aflæses information om frekvensindholdet.

Venstre: Funktionen $f$ samt sampling-punkterne $x_k = f(t_k)$ for $k=0,\dots,10.$ Højre: Skaleret realdel $\frac{1}{\sqrt{n}}\mathrm{Re}(\widehat{x}_k)$ og skaleret imaginærdel $\frac{1}{\sqrt{n}}\mathrm{Im}(\widehat{x}_k)$ af indgangene i den Fourier transformerede vektor for $k = 0,\dots,10.$

Den samplede funktion består af trigonometriske funktioner, hvor "frekvensen" går op til $B = \frac{5}{2\pi}$ (frekvensen er det reciprokke tal til den mindste periodicitet af de trigonometriske funktioner som indgår; her er den mindste periodicitet $\frac{2\pi}{5}$ fra $\cos(5t)$ ). Et berømt resultat kaldet Nyquist-Shannon sampling sætning, fortæller at det eksakte frekvensindhold kan ses fra den diskrete Fourier transformation, hvis afstanden mellem jævnt fordelte sampling-punkter på intervallet $[0,2\pi)$ er mindre end $\frac{1}{2B}.$ I dette eksempel er det derfor nok med $n=11$ sampling-punkter, for at se alt frekvensindholdet. I praksis betyder det, at man ud fra ganske få "målinger" på et signal, kan dekomponere signalet i dets frekvensbestanddele.

Hvordan kommer det til udtryk? Her er $n=11$ og $\frac{2\pi k}{n} = t_k$ er de diskrete punkter hvor funktionsværdierne bestemmes. Så fra (9.13) har vi

$x_k = \frac{1}{\sqrt{n}}\sum_{j=0}^{n-1} \widehat{x}_j\mathrm{e}^{jt_k i}.$ Fra Figur 9.2 ses, at især $\widehat{x}_1$ og $\widehat{x}_{10}$ er store bidrag i Fourier transformationen, hvilket svarer til led af typen:

$\mathrm{e}^{t_k i} \quad \text{og} \quad \mathrm{e}^{10t_k i} = \mathrm{e}^{-t_k i},$ hvor periodiciteten af den komplekse eksponentialfunktion er anvendt. Men vi har netop at

$-5\cos(t_k) = -\frac{5}{2}(\mathrm{e}^{t_k i} + \mathrm{e}^{-t_k i}),$ hvilket svarer til samplingen af $-5\cos(t),$ som er det største bidrag til $f.$ Tilsvarende har vi mindre bidrag fra

$\mathrm{e}^{3t_k i}, \quad \mathrm{e}^{8t_k i} = \mathrm{e}^{-3t_k i}, \quad \mathrm{e}^{5t_k i} \quad \text{og} \quad \mathrm{e}^{6t_k i} = \mathrm{e}^{-5t_k i},$ hvor periodiciteten af den komplekse eksponentialfunktion igen er anvendt. Dette er i fin overensstemmelse med

$\sin(3t_k) = \frac{i}{2}(-\mathrm{e}^{3t_k i}+\mathrm{e}^{-3t_k i}) \quad \text{og} \quad -\cos(5t_k) = -\frac{1}{2}(\mathrm{e}^{5t_k i}+\mathrm{e}^{-5t_k i}),$ svarende til bidragene for $\sin(3t)$ og $-\cos(5t)$ i $f.$

Den diskrete Fourier transformation, gennemgået her, relaterer sig til andre Fourier transformationer, der agerer på funktionsrum og rum af talfølger. Dette er emner der gennemgås i et kursus om Fourieranalyse.

Fourier transformation $\mathscr{F} \colon L^2(\mathbb{R}) \to L^2(\mathbb{R}),$ hvor $L^2(\mathbb{R})$ er det uendelig dimensionale vektorrum af kvadratisk integrable funktioner. For funktion $f\in L^2(\mathbb{R}),$ er den givet ved
$\widehat{f}(\xi) = (\mathscr{F} f)(\xi) = \frac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}f(x)\mathrm{e}^{-i x\xi}\,\mathrm{d} x,$ og med invers Fourier transformation
$f(x) = (\mathscr{F}^* \widehat{f})(x) = \frac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}\widehat{f}(\xi)\mathrm{e}^{i x\xi}\,\mathrm{d} \xi.$
Diskret-tid Fourier transformation $\mathsf{F} \colon \ell^2(\mathbb{Z}) \to L^2([-\pi,\pi])$ (kaldes også nogle gange diskret Fourier transformation), hvor $\ell^2(\mathbb{Z})$ er det uendelig dimensionale vektorrum af kvadratisk summable talfølger. For talfølge $u\in \ell^2(\mathbb{Z}),$ er den givet ved
$\widehat{u}(\xi) = (\mathsf{F} u)(\xi) = \frac{1}{\sqrt{2\pi}}\sum_{k=-\infty}^{\infty} u(k)\mathrm{e}^{-i k\xi},$ og med invers diskret-tid Fourier transformation
$u(k) = (\mathsf{F}^* \widehat{u})(k) = \frac{1}{\sqrt{2\pi}}\int_{-\pi}^{\pi}\widehat{u}(\xi)\mathrm{e}^{i k\xi}\,\mathrm{d} \xi.$ Dette har også en stærk forbindelse til Fourierrækker.
Alle Fourier transformationerne ovenfor er unitære. For $\mathscr{F}$ og $\mathsf{F}$ skal dette forstås med hensyn til adjungerede operatorer i de standard indre produkter, som defineres på ovenstående vektorrum.
Der eksisterer også andre Fourier transformationer, som relaterer sig til ovenstående ved, for eksempel, en anden skalering; disse er ikke nødvendigvis unitære. Så man skal altid vide hvilken definition af Fourier transformationen man har fat i.

For stort $n$ findes langt hurtigere metoder til at udregne den diskrete Fourier transformation, end at konstruere $\mathscr{F}_n$ -matricen. Ideen er at udnytte strukturen i matricen, til i stedet at regne på to $\mathscr{F}_{n/2}$ -matricer, og dernæst reducere yderligere til fire $\mathscr{F}_{n/4}$ -matricer, og så videre (under krav om, at $n$ er divisibel med en passende potens af $2$ ). Beregningskompleksiteten går fra asymptotisk $O(n^2)$ til $O(n\log(n)),$ hvilket er en meget stor besparelse! Dette går under navnet Fast Fourier Transform (FFT).

9.5 QR dekomposition

Hvis vi benytter Gram-Schmidt algoritmen (Sætning 9.10) på søjlerne $\mathbf a_1, \dots, \mathbf a_n,$ i en invertibel $n\times n$ matrix $A,$ fås

$\begin{aligned} \mathbf u_1 &= \mathbf a_1\\ \mathbf u_2 &= \mathbf a_2 - \Bigl(\frac{\mathbf a_2\cdot \mathbf u_1}{\lvert \mathbf u_1 \rvert^2}\Bigr) \mathbf u_1\\ \mathbf u_3 &= \mathbf a_3 - \Bigl(\frac{\mathbf a_3\cdot \mathbf u_1}{\lvert \mathbf u_1 \rvert^2}\Bigr) \mathbf u_1 - \Bigl(\frac{\mathbf a_3\cdot \mathbf u_2}{\lvert \mathbf u_2 \rvert^2}\Bigr) \mathbf u_2\\ &\enskip\vdots \\ \mathbf u_n &= \mathbf a_n - \Bigl(\frac{\mathbf a_n\cdot \mathbf u_1}{\lvert \mathbf u_1 \rvert^2}\Bigr) \mathbf u_1 - \cdots -\Bigl(\frac{\mathbf a_n\cdot \mathbf u_{n-1}}{\lvert \mathbf u_{n-1} \rvert^2}\Bigr) \mathbf u_{n-1}. \end{aligned}$ Efter normalisering $\mathbf w_i = \mathbf u_i/\lvert \mathbf u_i \rvert$ fås nu af Proposition 9.8:

$\begin{aligned} \mathbf a_1 &= (\mathbf a_1\cdot \mathbf w_1) \mathbf w_1\\ \mathbf a_2 &= (\mathbf a_2\cdot \mathbf w_1) \mathbf w_1 + (\mathbf a_2\cdot \mathbf w_2) \mathbf w_2\\ \mathbf a_3 &= (\mathbf a_3\cdot \mathbf w_1) \mathbf w_1 + (\mathbf a_3\cdot \mathbf w_2) \mathbf w_2 + (\mathbf a_3\cdot \mathbf w_3) \mathbf w_3\\ &\enskip\vdots \\ \mathbf a_n &= (\mathbf a_n\cdot \mathbf w_1) \mathbf w_1 + (\mathbf a_n\cdot \mathbf w_2) \mathbf w_2 + \cdots + (\mathbf a_n\cdot \mathbf w_{n}) \mathbf w_{n}. \end{aligned}$ Oversat giver det matrix-identiteten

$A = Q R,$ hvor $Q=(\mathbf w_1, \dots, \mathbf w_n)$ og

$R = \begin{pmatrix} \mathbf a_1\cdot \mathbf w_1 & \mathbf a_2 \cdot \mathbf w_1 & \mathbf a_3\cdot\mathbf w_1 & \cdots & \mathbf a_n\cdot \mathbf w_1\\ 0 & \mathbf a_2\cdot \mathbf w_2 & \mathbf a_3\cdot\mathbf w_2 & \cdots & \mathbf a_n\cdot \mathbf w_2\\ 0 & 0 & \mathbf a_3\cdot\mathbf w_3 & \cdots & \mathbf a_n\cdot\mathbf w_3 \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \cdots & \mathbf a_n \cdot \mathbf w_n \end{pmatrix}.$ Læg mærke til at matricen $Q$ er unitær, da dens søjler udgør en ONB for $\mathbb{C}^n$ , samt at $R$ er en øvre trekantsmatrix (den har nuller under diagonalen). Vi har konstruktivt vist nedenstående resultat i tilfældet hvor $A$ er invertibel. For en generel kvadratisk matrix, skal ovenstående konstruktion kun modificeres en lille smule, som set i beviset nedenfor.

Lad $A$ være en kvadratisk matrix. Der eksisterer en unitær matrix $Q$ og en øvre trekantsmatrix $R,$ så

$A = QR.$ Hvis $A$ er en reel matrix, kan $Q$ og $R$ også vælges som reelle matricer.

Bevis $*$

Vi forkorter Gram-Schmidt algoritmen (Sætning 9.10) som GS.

Lad $A = (\mathbf a_1,\dots,\mathbf a_n)$ og gennemgå GS på dens søjler, hvor søjler springes over hvis de i ortogonaliseringen giver $\mathbf 0$ undervejs. ONB for $\mathcal{C}(A),$ der kommer fra GS, indsættes på de tilsvarende søjler i $Q.$ På de resterende søjler af $Q$ (svarende til hvor GS sprang over), indsættes en vilkårlig ONB for det ortogonale komplement af søjlerummet $\mathcal{C}(A)^\perp$ (se næste afsnit for detaljer), hvilket også eksisterer af GS. Af Proposition 9.19 er $Q = (\mathbf q_1,\dots,\mathbf q_n)$ unitær.

Med denne konstruktion vil vi vise

$\mathbf a_j \in \mathrm{span}\{\mathbf q_1,\dots,\mathbf q_j\}, \quad j = 1,\dots,n. \tag{9.14}$ Vi viser dette med induktion, hvor induktionsstarten er sand, da $\mathbf a_1$ er parallel med $\mathbf q_1$ af GS. Antag at (9.14) er sand op til $j-1.$ Hvis $\mathbf a_j$ ikke springes over af GS, så har vi direkte derfra at

$\mathbf a_j \in \mathrm{span}\{\mathbf q_1,\dots,\mathbf q_j\}.$ Hvis $\mathbf a_j$ blev sprunget over af GS, er det fordi $\mathbf a_j$ er udspændt af de tidligere søjler i $A,$ hvor induktionshypotesen nu anvendes:

$\mathbf a_j \in \mathrm{span}\{\mathbf a_1,\dots,\mathbf a_{j-1}\} \subseteq \mathrm{span}\{\mathbf q_1,\dots,\mathbf q_{j-1}\} \subset \mathrm{span}\{\mathbf q_1,\dots,\mathbf q_j\}.$

Det vil sige, for $\mathbf a_j$ findes entydige koordinater $c_1,\dots,c_j,$ så

$\mathbf a_j = c_1\mathbf q_1 + \dots + c_j\mathbf q_j.$ Dermed bliver $j$ 'te søjle af $R$ netop $(c_1,\dots,c_j,0,\dots,0)^\textup{T},$ og så er $R$ en øvre trekantsmatrix.

Det er klart fra ovenstående, at hvis $A$ er reel, kan konstruktionen af $Q$ og dermed også $R$ bestå af reelle søjlevektorer.

Faktoriseringen $A = QR$ kaldes, af åbenlyse årsager, en QR dekomposition eller QR faktorisering af $A.$

Matricen

$A = \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix}$ er en invertibel $2\times 2$ matrix. Ved hjælp af Gram-Schmidt algoritmen finder man, med input fra søjlerne i $A,$ matricen $Q$ indeholdende ONB

$Q = \begin{pmatrix} \frac{2}{\sqrt{5}} & -\frac{1}{\sqrt{5}} \\[1.5mm] \frac{1}{\sqrt{5}} & \frac{2}{\sqrt{5}} \end{pmatrix},$ med QR dekompositionen

$A = \begin{pmatrix} \frac{2}{\sqrt{5}} & -\frac{1}{\sqrt{5}} \\[1.5mm] \frac{1}{\sqrt{5}} & \frac{2}{\sqrt{5}} \end{pmatrix} \begin{pmatrix} \sqrt{5} & \frac{4}{\sqrt{5}} \\[1.5mm] 0 & \frac{3}{\sqrt{5}} \end{pmatrix}.$

9.5.1 Den mirakuløse QR algoritme

Det meste lineær algebra er langtidsholdbart matematik og flere hundrede år gammelt. Det hænder dog, at ekstremt vigtige nye opdagelser bliver gjort, for eksempel ved at eksperimentere med computere. Følgende næsten halvnaive algoritme til at udregne egenværdier for en kvadratisk matrix $A,$ blev opdaget sidst i 1950'erne. Den hedder QR algoritmen, og bygger netop på QR dekompositionen.

Indledningsvis sættes $A_0 = A$ , og algoritmen udregner nye QR dekompositioner i hvert trin med hensyn til det modsatte produkt af $Q$ og $R$ fra foregående trin:

$\begin{aligned} A_0 &= Q_0 R_0 \\ A_1 &= R_0 Q_0 = Q_1 R_1 \\ A_2 &= R_1 Q_1 = Q_2 R_2 \\ &\enskip\vdots \end{aligned}$ Læg her mærke til, at $A_i$ og $A_{i+1}$ har de samme egenværdier, fordi de er similære:

$A_{i+1} = R_iQ_i=(Q_i^{-1}Q_i)(R_iQ_i)=Q_i^{-1}(Q_iR_i)Q_i=Q_i^{-1}A_iQ_i.$ Hvis $\mathbf v$ er en egenvektor til $A_i$ tilhørende egenværdi $\lambda,$ så er $Q_i^{-1}\mathbf v$ en egenvektor til $A_{i+1}$ tilhørende den samme egenværdi $\lambda.$

For en symmetrisk matrix $A,$ det vil sige $A$ er reel og $A=A^\textup{T},$ vil diagonalelementerne i $A_i$ ofte konvergere mod egenværdierne i den oprindelige matrix $A$ ; dette er for eksempel sandt, hvis alle egenværdier har algebraisk multiplicitet $1$ og har forskellige absolutte værdier.

Betragt matricen

$A = \begin{pmatrix} 2 & 1\\ 1 & 2 \end{pmatrix}.$ Man kan ret hurtigt regne ud, at $A$ har egenværdierne $\lambda = 1$ og $\lambda = 3.$

Lad os afprøve QR algoritmen rent numerisk på $A.$ De første trin giver (i selve beregningerne er anvendt flere decimaler, end der er vist nedenfor):

$\begin{aligned} A_0 &= Q_0 R_0 = \begin{pmatrix} -0.8944 & -0.4472 \\ -0.4472 & \phantom{-}0.8944 \end{pmatrix} \begin{pmatrix} -2.2361 & -1.7889\\ 0 & \phantom{-}1.3416 \end{pmatrix} \\ A_1 &= R_0 Q_0 = \begin{pmatrix} \color{red}\phantom{-}2.8000 & -0.6000 \\ -0.6000 & \phantom{-}\color{red}1.2000 \end{pmatrix} \\ &= Q_1 R_1 = \begin{pmatrix} -0.9778 & \phantom{-}0.2095 \\ \phantom{-}0.2095 & \phantom{-}0.9778 \end{pmatrix} \begin{pmatrix} -2.8636 & \phantom{-}0.8381 \\ 0 & \phantom{-}1.0476 \end{pmatrix} \\ A_2 &= R_1 Q_1 = \begin{pmatrix} \color{red}\phantom{-}2.9756 & \phantom{-}0.2195 \\ \phantom{-}0.2195 & \color{red}\phantom{-}1.0244 \end{pmatrix} \\ &= Q_2 R_2 = \begin{pmatrix} -0.9973 & -0.0736 \\ -0.0736 & \phantom{-}0.9973 \end{pmatrix} \begin{pmatrix} -2.9837 & -0.2943 \\ 0 & \phantom{-}1.0055 \end{pmatrix} \\ A_3 &= R_2 Q_2 = \begin{pmatrix} \color{red}\phantom{-}2.9973 & -0.0740 \\ -0.0740 & \color{red}\phantom{-}1.0027 \end{pmatrix} \\ &= Q_3 R_3 = \begin{pmatrix} -0.9997 & \phantom{-}0.0247 \\ \phantom{-}0.0247 & \phantom{-}0.9997 \end{pmatrix} \begin{pmatrix} -2.9982 & \phantom{-}0.0987 \\ 0 & \phantom{-}1.0006 \end{pmatrix} \\ A_4 &= R_3 Q_3 = \begin{pmatrix} \color{red}\phantom{-}2.9997 & \phantom{-}0.0247 \\ \phantom{-}0.0247 & \color{red}\phantom{-}1.0003 \end{pmatrix}. \end{aligned}$ Eksperimentet synes at bekræfte, at diagonalelementerne (markeret med rødt) i følgen af $A_i$ konvergerer mod egenværdierne af den oprindelige matrix.

I 1968 blev det vist af James Wilkinson, at QR algoritmen kan modificeres ved at lave forskydninger i diagonalen undervejs. Først transformerer han en generel symmetrisk matrix til en tridiagonal matrix, og viser derefter at egenværdierne kan bestemmes med den modificerede QR algoritme; det vil sige en metode, der kan bruges på enhver symmetrisk matrix.

9.6 Ortogonal komplement og ortogonal projektion

Man har ofte brug for en anelse mere terminologi omkring underrum og ortogonalitet, herunder ortogonalt komplement og ortogonal projektion på et underrum. Dette er særlig vigtigt, for at få en god geometrisk forståelse af hvad der foregår, når man løser et lineært ligningssystem, og det er helt essentielt for at forstå tilnærmelsesvise løsninger med mindste kvadraters metode i Kapitel 10.

I resten af dette afsnit har vi underrum $U \subseteq V \subseteq \mathbb{F}^n,$ og hvis det større rum $V$ ikke er nævnt, er det underforstået at $V = \mathbb{F}^n.$

Det ortogonale komplement til underrummet $U,$ består af de $\mathbf v\in V,$ der står ortogonalt på samtlige vektorer i $U$ :

$U^\perp = \{\, \mathbf v\in V : \mathbf v\cdot \mathbf u = 0 \textrm{ for alle }\mathbf u\in U \,\}.$

At $U^\perp$ er et underrum af $V,$ følger af egenskaberne for det indre produkt (Proposition 9.2). Da disse vektorrum er endelig dimensionale, gælder $(U^\perp)^\perp = U.$

For ethvert $\mathbf v\in V$ findes entydige vektorer:

$\mathbf v_{U}\in U$ (den ortogonale projektion af $\mathbf v$ på $U$ ),
$\mathbf v_{U^\perp}\in U^\perp$ (den ortogonale projektion af $\mathbf v$ på $U^\perp$ ),

så $\mathbf v_{U} \perp \mathbf v_{U^\perp}$ og

$\mathbf v = \mathbf v_{U} + \mathbf v_{U^\perp}. \tag{9.15}$ Formlen (9.15) kaldes den ortogonale dekomposition af $\mathbf v$ med hensyn til $U$ og $U^\perp$ .

Bevis

Lad $\{\mathbf w_1, \dots, \mathbf w_m\}$ være en ONB for $U$ og definer

$\mathbf v_{U} = (\mathbf v\cdot\mathbf w_1)\mathbf w_1 + \dots + (\mathbf v\cdot\mathbf w_m)\mathbf w_m.$ Vi har altså konstrueret en vektor $\mathbf v_{U} \in U$ ud fra $\mathbf v.$ Nu bestemmer vi

$\mathbf v_{U^\perp} = \mathbf v-\mathbf v_{U} = \mathbf v - ((\mathbf v\cdot\mathbf w_1)\mathbf w_1 + \dots + (\mathbf v\cdot\mathbf w_m)\mathbf w_m).$ Ved samme argument som ved Gram-Schmidt algoritmen, har vi $\mathbf v_{U^\perp}\perp\mathbf w_i$ for $i = 1,\dots,m.$ Da $\mathbf v_{U^\perp}$ er ortogonal på en basis for $U$ må $\mathbf v_{U^\perp}\in U^\perp,$ da den derved står ortogonalt på enhver linearkombination af $\{\mathbf w_1,\dots,\mathbf w_m\}.$

Til sidst skal entydigheden af (9.15) bevises. Antag at

$\mathbf v = \mathbf u + \mathbf w = \widetilde{\mathbf u} + \widetilde{\mathbf w}, \tag{9.16}$ hvor $\mathbf u,\widetilde{\mathbf u}\in U$ og $\mathbf w,\widetilde{\mathbf w}\in U^\perp.$ Ved at se på det sidste lighedstegn i (9.16) får vi

$\underbrace{\mathbf u-\widetilde{\mathbf u}}_{\in U} = \underbrace{\widetilde{\mathbf w}-\mathbf w}_{\in U^\perp}.$ Men dette betyder at $(\mathbf u-\widetilde{\mathbf u}),(\widetilde{\mathbf w}-\mathbf w) \in U\cap U^\perp,$ altså det er vektorer der står ortogonalt på sig selv. Som set nedenfor, opfyldes dette kun af nulvektoren:

$0 = \mathbf x\cdot\mathbf x = \lvert \mathbf x \rvert^2 \quad\Leftrightarrow\quad \mathbf x = \mathbf 0.$ Altså er $U\cap U^\perp = \{\mathbf 0\},$ som medfører $\mathbf u=\widetilde{\mathbf u}$ og $\mathbf w=\widetilde{\mathbf w}.$

Den ortogonale dekomposition i Sætning 9.28 kan også formuleres således: $V$ er en direkte sum af $U$ og $U^\perp,$ hvilket skrives

$V = U \oplus U^\perp.$

På samme måde som (9.1) angiver en formel for den ortogonale projektion ind på et et-dimensionalt vektorrum (på linjen udspændt af en vektor), så giver Sætning 9.28 at man kan projicere ind på ethvert underrum.

Ortogonale projektioner $\mathbf v_{U}$ og $\mathbf v_{U^\perp}$ af $\mathbf v$ på henholdsvis $U$ og $U^\perp.$

I modsætning til (9.1), giver Sætning 9.28 dog ikke nogen direkte formel til at udregne projektionerne. Men her skal man bare kigge ind i beviset til Sætning 9.28, som afslører hvordan man kan bruge en ONB til at udregne en ortogonal projektion. Ydermere viser Pythagoras sætning, hvad en ortogonal projektion geometrisk betyder: $\mathbf v_{U}$ er vektoren i $U$ med korteste afstand til $\mathbf v.$

Den ortogonale projektion $\mathbf v_{U}$ er den entydige løsning til minimeringsproblemet

$\lvert \mathbf v-\mathbf v_{U} \rvert = \min_{\mathbf u\in U}\lvert \mathbf v-\mathbf u \rvert.$ Tallet $\lvert \mathbf v-\mathbf v_{U} \rvert = \lvert \mathbf v_{U^\perp} \rvert$ kaldes afstanden fra $\mathbf v$ til $U$ .

Hvis $\{\mathbf w_1,\dots,\mathbf w_m\}$ er en ONB for $U,$ kan projektionen udregnes ved

$\mathbf v_{U} = (\mathbf v\cdot\mathbf w_1)\mathbf w_1 + \dots + (\mathbf v\cdot\mathbf w_m)\mathbf w_m.$

Bevis

Anden del af sætningen kommer direkte fra konstruktionen i beviset for Sætning 9.28, så det er tilstrækkeligt at vise første del af sætningen.

Lad $\mathbf u$ være en vilkårlig vektor i $U.$ Fra Pythagoras sætning (Sætning 9.4) og den ortogonale dekomposition (Sætning 9.28), har vi

$\lvert \mathbf v-\mathbf v_{U} \rvert^2 \leq \lvert\underbrace{\mathbf v-\mathbf v_{U}}_{\in U^\perp}\rvert^2 + \lvert\underbrace{\mathbf v_{U}-\mathbf u}_{\in U}\rvert^2 = \lvert (\mathbf v-\mathbf v_{U})+(\mathbf v_{U}-\mathbf u) \rvert^2 = \lvert \mathbf v-\mathbf u \rvert^2.$ Vi har vist $\lvert \mathbf v-\mathbf v_{U} \rvert \leq \lvert \mathbf v-\mathbf u \rvert$ for alle $\mathbf u\in U.$ Der er også kun lighed ovenfor hvis $\mathbf u = \mathbf v_{U}.$

I Eksempel 9.9 betragtede vi underrummet $U = \mathrm{span}\{\mathbf w_1, \mathbf w_2, \mathbf w_3\}$ af $V=\mathbb{C}^4,$ med

$\mathbf w_1 = \frac{1}{\sqrt{2}}\begin{pmatrix} -1 \\ 1 \\ 0\\ 0 \end{pmatrix},\quad \mathbf w_2 = \frac{1}{2}\begin{pmatrix} 1 \\ 1 \\ 1 \\ 1 \end{pmatrix}\quad\text{og}\quad \mathbf w_3 = \frac{1}{2}\begin{pmatrix} -1 \\ -1 \\ 1 \\ 1 \end{pmatrix}.$ Bemærk igen, at $\{\mathbf w_1, \mathbf w_2, \mathbf w_3\}$ er en ONB for $U$ (tjek det efter, hvis du ikke allerede har gjort det!). Eksempel 9.9 viste $\mathbf v\notin U,$ hvor

$\mathbf v = \begin{pmatrix} 1 \\ 1 \\ 2 \\ 1 \end{pmatrix}.$ I eksemplet udregnede vi også

$(\mathbf v\cdot \mathbf w_1) \mathbf w_1 + (\mathbf v\cdot \mathbf w_2) \mathbf w_2 + (\mathbf v\cdot \mathbf w_3) \mathbf w_3 = \tfrac{5}{2} \mathbf w_2 + \tfrac{1}{2} \mathbf w_3 = \begin{pmatrix} 1\\ 1\\[1mm] \frac{3}{2}\\[1.5mm] \frac{3}{2} \end{pmatrix}.$ Dette er netop projektionen $\mathbf v_{U}$ ved brug af Sætning 9.30.

Vi har derfor at afstanden fra $\mathbf v$ til $U$ er

$\lvert \mathbf v-\mathbf v_{U} \rvert = \lvert (1,1,2,1)^\textup{T} - (1,1,\tfrac{3}{2},\tfrac{3}{2})^\textup{T} \rvert = \lvert (0,0,\tfrac{1}{2},-\tfrac{1}{2})^\textup{T} \rvert = \frac{1}{\sqrt{2}}.$ Hvis $\mathbf v$ havde været en vektor i $U,$ ville denne afstand naturligvis være $0,$ da i et sådan tilfælde ville $\mathbf v_{U}=\mathbf v.$

Lad os nu bestemme det ortogonale komplement $U^\perp.$ Da $\dim(U) = 3$ og $\dim(\mathbb{C}^4) = 4,$ må vi have $\dim(U^\perp) = 1,$ så vi skal finde en enkelt vektor $\mathbf x$ der står ortogonalt på vektorerne i $U$ ; eller rettere, ortogonalt på basisvektorerne $\mathbf w_1,\mathbf w_2,\mathbf w_3.$ I lige præcis dette tilfælde er vi heldige at $\dim(U^\perp) = 1,$ fordi vi ved hvordan man kan finde en vektor i $U^\perp,$ nemlig den ortogonale projektion af $\mathbf v$ på $U^\perp,$

$\mathbf v_{U^\perp} = \mathbf v-\mathbf v_{U} = \begin{pmatrix} 0\\ 0\\[1mm] \tfrac{1}{2}\\[1.5mm] -\tfrac{1}{2} \end{pmatrix}.$ Så vi har $U^\perp = \mathrm{span}\{\mathbf v_{U^\perp}\}.$

Men lad os prøve at gå systematisk til værks, og se hvordan man kunne bestemme $U^\perp$ hvis f.eks. $\dim(U^\perp)>1.$ Vi har tre ligninger i spil ud fra at vektorer i $U^\perp$ skal være ortogonale på $\mathbf w_1,\mathbf w_2,\mathbf w_3$ :

$\mathbf x\cdot\mathbf w_1=0, \quad \mathbf x\cdot\mathbf w_2 = 0 \quad \text{og} \quad \mathbf x\cdot \mathbf w_3 = 0.$ Hvis vi samler en matrix ud fra basisvektorerne for $U,$ $A = (\mathbf w_1,\mathbf w_2,\mathbf w_3),$ kan disse ligninger lige præcis skrives

$A^*\mathbf x = \mathbf 0.$ Vi ser nu at $U^\perp = \mathcal{N}(A^*),$ så en basis for $U^\perp$ kan findes fra nulrummet af en matrix, ligesom vi kender det fra Kapitel 6.

Det hænder, at man skal projicere mere end én vektor på det samme underrum. Så kan man definere projektionsmatricer, hvormed man kan beregne ortogonale projektioner med matrix-vektor produkter. Hvis vi tager udgangspunkt i en ONB $\{\mathbf w_1,\dots,\mathbf w_m\}$ til et underrum $U,$ kan vi omskrive formlen i Sætning 9.30. Først indser vi, at hvis $W = (\mathbf w_1,\dots,\mathbf w_m)$ , kan vi udregne de indre produkter $\mathbf v\cdot\mathbf w_1,\dots,\mathbf v\cdot\mathbf w_m$ ved

$W^*\mathbf v = \begin{pmatrix} \mathbf v\cdot \mathbf w_1 \\ \vdots \\ \mathbf v\cdot \mathbf w_m \end{pmatrix}. \tag{9.17}$ Så kan vi definere projektionsmatricen $P = WW^*$ på $U,$ og vi får

$P\mathbf v = W\begin{pmatrix} \mathbf v\cdot \mathbf w_1 \\ \vdots \\ \mathbf v\cdot \mathbf w_m \end{pmatrix} = (\mathbf v\cdot\mathbf w_1)\mathbf w_1+\dots+(\mathbf v\cdot\mathbf w_m)\mathbf w_m.$ Derved vil $P\mathbf v = \mathbf v_{U}$ være den ortogonale projektion af $\mathbf v$ på $U$ for ethvert $\mathbf v\in V.$ Projektionsmatricen på $U^\perp$ er $P^\perp = I - P.$

Man kan også tale om ikke-ortogonale projektioner, hvilket generelt blot opfylder $P^2 = P,$ men for ortogonale projektioner haves den særlig pæne struktur, som nævnt ovenfor.

Lad os igen tage udgangspunkt i Eksempel 9.9, med underrummet $U = \mathrm{span}\{\mathbf w_1, \mathbf w_2, \mathbf w_3\}$ af $V=\mathbb{C}^4,$ for ortonormale

$\mathbf w_1 = \frac{1}{\sqrt{2}}\begin{pmatrix} -1 \\ 1 \\ 0\\ 0 \end{pmatrix},\quad \mathbf w_2 = \frac{1}{2}\begin{pmatrix} 1 \\ 1 \\ 1 \\ 1 \end{pmatrix}\quad\text{og}\quad \mathbf w_3 = \frac{1}{2}\begin{pmatrix} -1 \\ -1 \\ 1 \\ 1 \end{pmatrix}.$ Så er projektionsmatricerne $P$ på $U$ og $P^\perp$ på $U^\perp$ givet ved:

$\begin{aligned} W &= (\mathbf w_1,\mathbf w_2,\mathbf w_3) = \frac{1}{2}\begin{pmatrix} -\sqrt{2} & 1 & -1 \\ \sqrt{2} & 1 & -1 \\ 0 & 1 & 1 \\ 0 & 1 & 1 \end{pmatrix}, \\ P &= WW^* = \frac{1}{2}\begin{pmatrix} 2 & 0 & 0 & 0 \\ 0 & 2 & 0 & 0 \\ 0 & 0 & 1 & 1 \\ 0 & 0 & 1 & 1 \end{pmatrix}, \\ P^\perp &= I-P = \frac{1}{2}\begin{pmatrix} 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 1 & -1 \\ 0 & 0 & -1 & 1 \end{pmatrix}. \end{aligned}$ Vi kan nu regne efter, at vi får samme resultat for projektionerne af $\mathbf v = (1,1,2,1)^\textup{T},$ som i foregående eksempel:

$P\mathbf v = \frac{1}{2}\begin{pmatrix} 2 & 0 & 0 & 0 \\ 0 & 2 & 0 & 0 \\ 0 & 0 & 1 & 1 \\ 0 & 0 & 1 & 1 \end{pmatrix}\begin{pmatrix} 1 \\ 1 \\ 2 \\ 1 \end{pmatrix} = \begin{pmatrix} 1 \\ 1 \\[1mm] \tfrac{3}{2} \\[1.5mm] \tfrac{3}{2} \end{pmatrix}$ og

$P^\perp\mathbf v = \frac{1}{2}\begin{pmatrix} 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 1 & -1 \\ 0 & 0 & -1 & 1 \end{pmatrix}\begin{pmatrix} 1 \\ 1 \\ 2 \\ 1 \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \\[1mm] \tfrac{1}{2} \\[1.5mm] -\tfrac{1}{2} \end{pmatrix}.$

9.7 De fire fundamentale underrum

Som vi allerede så en indikation af i Eksempel 9.31, er der en sammenhæng mellem søjlerummet af en matrix $A$ og nulrummet af $A^*.$

For enhver matrix $A$ er $\mathcal{N}(A)^\perp = \mathcal{C}(A^*).$

Bevis

Lad $\mathbf v\in \mathcal{C}(A^*)$ (der findes en vektor $\mathbf x$ så $A^*\mathbf x = \mathbf v$ ) og lad $\mathbf u\in \mathcal{N}(A)$ (så $A\mathbf u=\mathbf 0$ ). Ved direkte udregning, og brug af Sætning 9.16, har vi

$\mathbf u\cdot\mathbf v = \mathbf u\cdot(A^*\mathbf x) = (A\mathbf u)\cdot\mathbf x = \mathbf 0\cdot\mathbf x = 0.$ Så vi har at $\mathcal{C}(A^*) \subseteq \mathcal{N}(A)^\perp.$ Nu skal vi tælle dimensioner for at sætte lighedstegn mellem vektorrummene.

Lad $A$ være en $m\times n$ matrix med rang $r.$ Fra dimensionsætningen (Sætning 6.25) og Sætning 9.17, har vi at $\dim \mathcal{C}(A^*) = r$ og $\dim \mathcal{N}(A) = n-r.$ Hvis vi nu lader $\{\mathbf w_1,\dots,\mathbf w_r\}$ være en ONB for $\mathcal{C}(A^*)$ og $\{\mathbf w_{r+1},\dots,\mathbf w_n\}$ være en ONB for $\mathcal{N}(A),$ så har vi samlet set at $\{\mathbf w_1,\dots,\mathbf w_n\}$ udgør $n$ ortonormale vektorer i $\mathbb{C}^n,$ og derfor en ONB for $\mathbb{C}^n$ (Sætning 9.5 og Sætning 6.18). Dette betyder altså at $\mathcal{N}(A)^\perp = \mathcal{C}(A^*).$

Ved at indse $(A^*)^* = A,$ får vi også fra Sætning 9.33 at $\mathcal{N}(A^*)^\perp = \mathcal{C}(A).$ For enhver $m\times n$ matrix har vi derfor følgende fire fundamentale underrum:

$\mathcal{N}(A), \quad \mathcal{C}(A^*), \quad \mathcal{N}(A^*) \quad \text{og} \quad \mathcal{C}(A).$

Det er næsten for godt til at være sandt, at fra en vilkårlig $m\times n$ matrix $A$ kan søjlerum og nulrum for $A$ og $A^*$ finde baser for $\mathbb{C}^m$ og $\mathbb{C}^n.$ For en reel matrix $A$ er $\mathcal{C}(A^*) = \mathcal{C}(A^\textup{T}),$ hvilket er rækkerummet af $A.$

Indvirkningen af de fire fundamentale underrum ved matrix-vektor produkter.

Figur 9.4 er populariseret af Gilbert Strang under navnet lineær algebraens fundamentalsætning (ikke at forveksle med algebraens fundamentalsætning fra Appendiks A). Nærstuderer man figuren, kan man med stor sikkerhed påstå at have styr på sine fundamentale begreber.

Enhver vektor $\mathbf x\in \mathbb{C}^n$ kan ortogonalt dekomponeres som $\mathbf x = \mathbf x_1 + \mathbf x_2,$ hvor $\mathbf x_1 \in \mathcal{C}(A^*)$ og $\mathbf x_2\in \mathcal{N}(A),$ det vil sige at $\mathbf x_1\perp\mathbf x_2.$ Hvis vi udregner matrix-vektor produktet $A\mathbf x$ ser vi

$A\mathbf x = A\mathbf x_1 + A\mathbf x_2 = A\mathbf x_1,$ da komponenten $\mathbf x_2$ sendes til $A\mathbf x_2 = \mathbf 0.$ Ligningssystemet $A\mathbf x = \mathbf b$ har kun en løsning hvis $\mathbf b\in \mathcal{C}(A),$ og blandt alle løsninger vil en entydig komponent $\mathbf x_1$ komme fra $\mathcal{C}(A^*),$ mens $\mathcal{N}(A)$ beskriver alle tænkelige bidrag $\mathbf x_2$ fra de frie variable. Kun hvis $\mathcal{N}(A) = \{\mathbf 0\}$ kan der være en entydig løsning.

Vi skal se hvordan de fire fundamentale underrum, på den mest fantastiske vis, binder hele teorien sammen, ved brug af den singulære værdi dekomposition i Kapitel 12.

En anvendelse af Sætning 9.33 leder også frem til følgende interessante resultat.

$A\mathbf x = \mathbf b$ har en løsning, hvis og kun hvis, alle løsninger til $A^*\mathbf y = \mathbf 0$ opfylder $\mathbf b \perp \mathbf y.$

Bevis

Det at $A\mathbf x = \mathbf b$ har en løsning, er ækvivalent med $\mathbf b \in \mathcal{C}(A) = \mathcal{N}(A^*)^{\perp}$ af Sætning 9.33. Men dette er ækvivalent med, at samtlige løsninger til $A^*\mathbf y = \mathbf 0$ opfylder $\mathbf b\cdot\mathbf y = 0.$

9.8 Opgaver

Hvilke af nedenstående udsagn er rigtige for det indre produkt i Definition 9.1?

Hvis $\mathbf u, \mathbf v\in \mathbb{R}^n$ er

$\mathbf u\cdot \mathbf v = \mathbf v^\textup{T} \mathbf u.$

$\begin{pmatrix} 1 \\ i \end{pmatrix}\cdot \begin{pmatrix} 1 \\ i \end{pmatrix} = 0.$

$\begin{pmatrix} 1 \\ i \end{pmatrix}\cdot \begin{pmatrix} 1 \\ i \end{pmatrix} = 2.$

$\begin{pmatrix} 1 \\ 2 \end{pmatrix}\cdot \begin{pmatrix} 3 \\ 4 \end{pmatrix} = 11.$

Bevis nogle af egenskaberne i Proposition 9.2 ved brug af Definition 9.1.

Lad $x_1, \dots, x_n\in \mathbb{R}.$ Prøv at bevise

$(x_1 + x_2 + \cdots +x_n)^2 \leq n (x_1^2 + x_2^2 + \cdots + x_n^2)$ uden at bruge Cauchy-Schwarz ulighed (Sætning 9.4). Lykkedes det? Hvis ikke, prøv med.

Lad $U$ være underrummet i $\mathbb{C}^3,$ med en basis $B$ bestående af vektorerne

$\mathbf u_1 = \begin{pmatrix} 1\\ 2\\ 1 \end{pmatrix}\quad\text{og}\quad \mathbf u_2 = \begin{pmatrix} -1\\ 1\\ -1 \end{pmatrix}.$ Hvilke af nedenstående udsagn er rigtigt?

$B$ er en ortogonalbasis for $U.$

$B$ er en ONB for $U.$

$U = \mathbb{C}^3.$

$\bigl\{\tfrac{1}{\sqrt{6}}\mathbf u_1, \tfrac{1}{\sqrt{3}}\mathbf u_2\bigr\}$ er en ONB for $U.$

$\begin{pmatrix} 1 & 1 & 1 \end{pmatrix}^{\textup{T}}\in U.$

Hvad gælder for kompleks konjugering af en matrix?

$\overline{ \begin{pmatrix} 1 - i & -i\\ \\ 1 - i & -i \end{pmatrix}} = \begin{pmatrix} 1 + i & i \\ \\ -1 + i & -i \end{pmatrix}.$

$\overline{ \begin{pmatrix} 1 - i & -i\\ \\ 1 - i & i \end{pmatrix}} = \begin{pmatrix} 1 + i & i \\ \\ 1 + i & -i \end{pmatrix}.$

For to matricer $A$ og $B,$ hvor matrixproduktet $A B$ giver mening, gælder

$\overline{A B} = A \overline{B}.$

For to matricer $A$ og $B,$ hvor matrixproduktet $A B$ giver mening, gælder

$\overline{A B} = \overline{A}\, \overline{B}.$

Hvilke af nedenstående udsagn er rigtige?

Determinanten af en ortogonal matrix kan være alle tal $\neq 0.$

Determinanten af en ortogonal matrix er enten $1$ eller $-1.$

Matricen som repræsenterer en rotation, omkring en akse gennem origo $\mathbf 0$ i $\mathbb{R}^3,$ med hensyn til standardbasen, er en ortogonal matrix.

Matricen

$\begin{pmatrix} 1 & 0 & 0\\ 0 & \cos(\theta) & -\sin(\theta)\\ 0 & \sin(\theta) & \phantom{-}\cos(\theta) \end{pmatrix}$ er ortogonal for enhver vinkel $\theta.$

Find den inverse til matricen

$P = \begin{pmatrix} 0 & \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}}\\ 0 & \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}}\\ -1 & 0 & 0 \end{pmatrix}$ uden at regne.

Gør detaljeret rede for, at

$\left\{\begin{pmatrix} -1 \\ 2 \\ -1 \end{pmatrix}, \begin{pmatrix} 1 \\ 1 \\ 1 \end{pmatrix}\right\}$ er en ortogonalbasis for underrummet

$U = \mathrm{span}\left\{ \begin{pmatrix} 1 \\ 2 \\ 1 \end{pmatrix}, \begin{pmatrix} 1 \\ 1 \\ 1 \end{pmatrix}\right\}$ af $\mathbb{R}^3.$ Normaliser basen, og benyt derefter Proposition 9.8 (se også Eksempel 9.9) til at afgøre om

$\begin{pmatrix} 1 \\ 0 \\ 1 \end{pmatrix}\in U.$

Find en ONB for underrummet

$\mathrm{span}\left\{\begin{pmatrix} 1 \\ 1 \\ 0\\ 0 \end{pmatrix}, \begin{pmatrix} 1 \\ 0 \\ 1 \\ 0\end{pmatrix}, \begin{pmatrix} 1 \\ 0 \\ 0 \\ 1\end{pmatrix} \right\}$ af $\mathbb{R}^4.$

Find QR dekomposition af

$A = \begin{pmatrix} 1 & 1 & 0\\ 1 & 0 & 1\\ 0 & 1 & 1 \end{pmatrix}.$ Gør rede for dine udregninger og metoder.

(Eksamen januar 2021)

Lad $U = \mathrm{span}\{\mathbf v_1, \mathbf v_2, \mathbf v_3\}$ være et underrum af $\mathbb{R}^4,$ udspændt af vektorerne

$\mathbf v_1 = \begin{pmatrix} 1 \\ 2 \\ 0 \\ -1 \end{pmatrix}, \quad \mathbf v_2 = \begin{pmatrix} 1 \\ 3 \\ -2 \\ 1 \end{pmatrix}, \quad \mathbf v_3 = \begin{pmatrix} 6 \\ 0 \\ 0 \\ 0 \end{pmatrix}.$

Gør rede for, at $\mathbf v_1,$ $\mathbf v_2$ og $\mathbf v_3$ er lineært uafhængige.
Bestem en ortonormalbasis (ONB) for $U.$
Lad to vektorer $\mathbf x$ og $\mathbf y$ være givet ved
$\mathbf x = \begin{pmatrix} 0 \\ 9 \\ 0 \\ 18 \end{pmatrix} \quad \textup{og} \quad \mathbf y = \begin{pmatrix} 7 \\ 0 \\ 4 \\ -5 \end{pmatrix}.$ Beregn ortogonal projektionerne af $\mathbf x$ og $\mathbf y$ på $U.$ På baggrund af dette, gør rede for hvilken af vektorerne $\mathbf x$ eller $\mathbf y$ der tilhører $U.$

(Eksamen juni 2016)

Betragt matricen

$A = \begin{pmatrix} 1 & 3 \\ 1 & 4 \\ 3 & 3 \\ 2 & 3 \end{pmatrix}.$

Find baser for søjlerum $\mathcal{C}(A)$ og rækkerum $\mathcal{C}(A^\textup{T}).$ Hvad er deres dimensioner? Bestem nulrummet $\mathcal{N}(A).$
Gør rede for, uden at udregne nulrummet $\mathcal{N}(A^\textup{T}),$ hvad $\dim \mathcal{N}(A^\textup{T})$ er ud fra $\dim \mathcal{C}(A).$
Udregn en basis for $\mathcal{N}(A^\textup{T}).$
Find en ortonormalbasis (ONB) for det ortogonale komplement af $\mathcal{C}(A)$ i $\mathbb{R}^4.$

Vis at enhver egenværdi $\lambda$ for en unitær matrix opfylder $\lvert \lambda \rvert=1.$

Lad $A$ være en kvadratisk matrix.

Vis at $\lambda$ er egenværdi for $A,$ hvis og kun hvis, $\overline{\lambda}$ er egenværdi for $A^*.$
Hint
Vis og benyt at
$A^* - \overline{\lambda} I = (A - \lambda I)^*.$
Lad $\lambda$ være en egenværdi for $A$ og $\mu \neq \overline{\lambda}$ en egenværdi for $A^*.$ Hvis $\mathbf v_1$ er en egenvektor for $A$ hørende til $\lambda,$ og $\mathbf v_2$ en egenvektor for $A^*$ hørende til $\mu,$ vis at
$\mathbf v_1\cdot\mathbf v_2 = 0.$

Lad $P$ være en projektionsmatrix for en ortogonal projektion. Vis at

$P^2 = P = P^*.$

For en vilkårlig $m\times n$ matrix $A\neq\mathbf 0,$ definer lineær transformation $F(\mathbf x) = A\mathbf x,$ men restringeret til $\mathbf x\in \mathcal{C}(A^*).$

Gør rede for, at $F \colon \mathcal{C}(A^*) \to \mathcal{C}(A)$ er invertibel (brug gerne resultater fra Opgave 7.11), det vil sige, at $F$ kan repræsenteres af en invertibel $\mathrm{rang}(A)\times \mathrm{rang}(A)$ matrix.