8 Symmetriske matricer

Kommentarer/spørgsmål?

Blandt de komplekse matricer fortjener de hermiteske en særstatus. En hermitesk matrix $A$ er en kvadratisk matrix, som opfylder

$A = A^*, \tag{8.1}$ hvor

$A^* = \bar{A}^T$ Hvis $A$ er en reel matrix er $A^* = A^T$ og $A$ kaldes her reel symmetrisk det vil sige $A = A^T$ . Vi ved fra sidste kapitel at egenværdierne for en hermitesk matrix er reelle. Symmetrien (8.1) af matricen er her central. For eksempel har

$\begin{pmatrix} 0 & -1\\ 1 & \phantom{-}0 \end{pmatrix}$ ikke reelle egenværdier. Mirakuløst er hermiteske matricer også diagonaliserbare endda med en ortonormal basis af egenvektorer! Dette resultat kaldes spektralsætningen og er et af højdepunkterne i noterne. Ortogonaliteten af egenvektorer hørende til forskellige egenværdier så vi allerede i det foregående kapitel. Igen er symmetrien central. For eksempel er matricen

$\begin{pmatrix} 1 & 1\\ 0 & 1 \end{pmatrix}$ slet ikke diagonaliserbar. Hvis $A$ er en vilkårlig reel $m\times n$ matrix af rang $r$ kan man vise at

$A^T A$ en reel symmetrisk matrix med ikke-negative egenværdier

$\lambda_1 \geq \cdots \geq \lambda_r > 0 = \lambda_{r+1} = \cdots = \lambda_n.$ Den ortogonale diagonalisering af $A^T A$ kan benyttes til at fremskaffe ortonormale søjlevektorer $u_1, \ldots, u_r$ i $m\times r$ matricen $P$ og ortononormale søjlevektorer $\mathbf v_1, \ldots, \mathbf v_r$ i $n\times r$ matricen $Q$ så

$A = P \Sigma Q^T = \sigma_1 u_1 \mathbf v_1^T + \cdots + \sigma_r u_r \mathbf v_r^T, \tag{8.2}$ hvor $\sigma_i = \sqrt{\lambda_i}$ for $i = 1, \ldots, r$ er de singulære værdier for $A$ (disse optræder som diagonalelementer i $r\times r$ diagonalmatricen $\Sigma$ ovenfor). Dekompositionen (8.2) kaldes en singulær værdi dekomposition for $A$ og er ekstremt anvendelig: Ved at afkorte summen i (8.2) opnås approksimationer til matricen $A$ , som kan benyttes ved komprimering af billeder og data mining af store datamængder (se principal component analysis).

Grov approksimation til et grayscale billede i form af en $1536\times 2560$ matrix ud fra få led i (8.2)

Quiz

Hvorfor har en kvadratisk $n\times n$ matrix altid en egenværdi, når $n>1$ ?

Fordi nulrum kan udregnes over de komplekse tal.

Fordi det karakteristiske polynomium altid har ulige grad.

Fordi algebraens fundamentalsætning medfører at det karakteristiske polynomium har en rod.

Fordi RREF for en kvadratisk matrix er identitetsmatricen.

8.1 Schurs lemma

Den matematiske indgang til diagonalisering af hermiteske matricer er et klassisk resultat af Issai Schur. Hvis du kigger fremad til beviset for Sætning 8.5 vil du helt klart opdage meningen med resultatet nedenfor, som kaldes Schurs lemma.

Lad $A$ være en kvadratisk kompleks $n\times n$ matrix. Så findes en unitær matrix $U$ så

$U^* A U$ er en øvre trekantsmatrix.

Bevis

Lad $\mathbf v_1$ være en egenvektor for $A$ med $|\mathbf v_1|=1$ hørende til egenværdien $\lambda$ . Ved hjælp af Gram-Schmidt algoritmen kan vi finde $\mathbf v_2, \ldots, \mathbf v_n$ så $\mathbf v_1, \mathbf v_2, \ldots, \mathbf v_n$ udgør en ortonormalbasis. Lad $U_1$ være matricen med søjler $\mathbf v_1, \mathbf v_2, \ldots, \mathbf v_n$ . Specielt er $U_1 \mathbf e_1 = \mathbf v_1$ , hvor $\mathbf e_1$ er den første standard basisvektor. Dermed er

$(U_1^* A U_1) \mathbf e_1 = U_1^{-1} A U_1 (\mathbf e_1) = U_1^{-1} A (\mathbf v_1)=U_1^{-1} (\lambda \mathbf v_1)=\lambda \mathbf e_1,$ idet $U_1^* = U_1^{-1}$ . Dette medfører at

$U_1^* A U_1 = \begin{pmatrix} \lambda & ? & \cdots & ? \\ 0 & &&\\ \vdots & &B&\\ 0 & && \end{pmatrix},$ hvor $B$ er en $(n-1)\times (n-1)$ matrix. Per induktion findes en $(n-1)\times (n-1)$ unitær matrix $V$ så $V^* B V$ er en øvre trekantsmatrix. Vi udvider nu $V$ til den unitære $n\times n$ matrix

$U_2 = \begin{pmatrix} 1 & 0 & \cdots & 0\\ 0 & &&\\ \vdots & &V&\\ 0 & && \end{pmatrix}.$ Hermed er

$U_2^* \left(U_1^* A U_1 \right)U_2 = \begin{pmatrix} \lambda & ? & \cdots & ?\\ 0 & &&\\ \vdots & &V^* B V&\\ 0 & && \end{pmatrix}$ en øvre trekantsmatrix. Nu er $U = U_1 U_2$ en unitær matrix sådan at $U^* A U = U_2^* U_1^* A U_1 U_2$ er en øvre trekantsmatrix.

På nøjagtig samme måde kan man bevise følgende.

Lad $A$ være en kvadratisk reell $n\times n$ matrix. Så findes en ortogonal matrix $Q$ så

$Q^T A Q$ er en øvre trekantsmatrix.

Bevis

Nu har Marcel jo allerede fortalt at beviset er det samme som beviset for Schurs lemma. Man skal bare erstatte ordet ``unitær'' i beviset for Schurs lemma med ordet ``ortogonal'', matricen $U$ med matricen $Q$ , og så virker det samme bevis ord for ord.

Quiz

Hvilke af nedenstående matricer er øvre trekantsmatricer?

$\begin{pmatrix} 1 & 0 \\ 0 & 1 \end{pmatrix}$

$\begin{pmatrix} 1 & i\\ 0 & 1 \end{pmatrix}$

$\begin{pmatrix} 1 \end{pmatrix}$

$\begin{pmatrix} 1 & 0\\ 1 & 1 \end{pmatrix}$

8.2 Spektralsætningen

Ud fra Schurs lemma bliver beviset for følgende sætning ekstremt kort.

Lad $A$ være en hermitesk matrix. Så findes en unitær matrix $U$ så

$U^* A U$ er en diagonalmatrix med reelle indgange.

Indgangerne på diagonalen i diagonalmatricen er jo netop den hermiteske matrices egenværdier. At de er reelle har vi allerede konstateret kapitel 7.

Bevis

Dette er et smukt og kort bevis, som benytter Schurs lemma: Fra Schurs lemma ved vi at der findes en unitær matrix $U$ så

$U^* A U$ er en øvre trekantsmatrix. Men $U^* A U$ er en hermitesk matrix, da

$(U^* A U)^* = U^* A^* (U^*)^* = U^* A U.$ Men en øvre trekantsmatrix som er hermitesk bliver nødt til at være en diagonalmatrix med reelle indgange.

På den samme måde får vi følgende resultat for symmetriske reelle matricer.

Lad $A$ være en (reel) symmetrisk $n\times n$ matrix. Så findes en ortogonal matrix $Q$ så

$Q^T A Q$ er en diagonalmatrix. Søjlerne i $Q$ er egenvektorer for $A$ .

Bevis

Ifølge lemma 8.3 kan vi finde en ortogonal matrix $Q$ så at $Q^TAQ$ er en øvre trekantmatrix. Men en øvre trekantmatrix som er symmetrisk er en diagonal matrix. Se eventuelt yderligere detaljer om denne opskrivning i et tidligere kapitel.

Kommentarer/spørgsmål?

Betragt den symmetriske matrix

$A = \begin{pmatrix} \phantom{-} 0 & \phantom{-} 2 & -1\\ \phantom{-} 2 & \phantom{-} 3 & -2\\ -1 & -2 & \phantom{-} 0 \end{pmatrix}.$ Det oplyses at $A$ har egenværdierne $\lambda = -1$ og $\lambda = 5$ . Find ud fra dette en ortogonal matrix $Q$ så $Q^T A Q$ er en diagonalmatrix. Her er det nok at finde en ortonormal basis af egenvektorer for $A$ . Dette gøres ved at finde en ortonormal basis for hvert egenrum og kombinere dem til en basis for $\mathbb{R}^3$ . Den samlede basis bliver ortonormal, fordi egenvektorer hørende til forskellige egenværdier er ortogonale. Vi kigger først på egenværdien $\lambda = -1$ . Her regner man sig frem til at

$\mathbf v_1 = \begin{pmatrix} 1 \\ 0 \\ 1 \end{pmatrix}\qquad \mathrm{og}\qquad \mathbf v_2 = \begin{pmatrix} -2 \\ \phantom{-} 1 \\ \phantom{-} 0 \end{pmatrix} \tag{8.3}$ er en basis for egenrummet $N(A+I_3)$ ved at løse ligningssystemet

$\begin{pmatrix} \phantom{-} 1 & \phantom{-} 2 & -1\\ \phantom{-} 2 & \phantom{-} 4 & -2\\ -1 & -2 & \phantom{-} 1 \end{pmatrix} \begin{pmatrix} x \\ y \\ z \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \\ 0 \end{pmatrix}. \tag{8.4}$ Se resultatet om hvordan dette relaterer til RREF og det efterfølgende eksempel for at forstå hvordan man kommer fra ligningssystemet (8.4) til en basis for $N(A+I_3)$ . Vi benytter nu Gram-Schmidt algoritmen på vektorerne i (8.3) og kommer frem til ortonormalbasen

$u_1 = \begin{pmatrix} \frac{1}{\sqrt{2}} \\ \\0 \\ \\ \frac{1}{\sqrt{2}} \end{pmatrix}\qquad \mathrm{og}\qquad u_2 = \begin{pmatrix} -\frac{1}{\sqrt{3}} \\ \\ \phantom{-} \frac{1}{\sqrt{3}} \\ \\ \phantom{-} \frac{1}{\sqrt{3}} \end{pmatrix} \tag{8.5}$ Nu ved vi at $\dim N(A - 5 I_3) = 1$ for egenværdien $\lambda=5$ (hvorfor?). Som ovenfor finder vi at

$\mathbf v_3 = \begin{pmatrix} -1 \\ -2 \\ \phantom{-} 1 \end{pmatrix}$ er en basis for $N(A - 5 I_3)$ og dermed at

$u_3 = \begin{pmatrix} -\frac{1}{\sqrt{6}} \\ \\ -\frac{2}{\sqrt{6}} \\ \\ \phantom{-} \frac{1}{\sqrt{6}} \end{pmatrix}$ er en ortonormal basis for $N(A - 5 I_3)$ . Samlet bliver $(u_1, u_2, u_3)$ en ortonormalbasis for $\mathbb{R}^3$ bestående af egenvektorer for $A$ . Matricen $Q$ med søjler $u_1, u_2$ og $u_3$ er dermed en ortogonal matrix, som opfylder at

$Q^T A Q = \begin{pmatrix} -1 & \phantom{-} 0 & 0\\ \phantom{-} 0 & -1 & 0\\ \phantom{-} 0 & \phantom{-} 0 & 5 \end{pmatrix}.$

Quiz

Lad $A$ være en vilkårlig $m\times n$ matrix. Hvad er rangen $\mathrm{rk}(A^T A)$ af $n\times n$ matricen

$A^T A?$

$\mathrm{rk}(A)-1$

$\mathrm{rk}(A) + 1$

$\mathrm{rk}(A)$

8.3 Singulær værdi dekomposition

Inden vi behandler det centrale emne i dette afsnit først en nyttig omformulering af matrixmultiplikation.

Lad $A$ være en $m\times n$ matrix med søjlevektorerne $\mathbf u_1, \ldots, \mathbf u_n$ og $B$ en $n\times r$ matrix med rækkevektorerne $\mathbf v_1, \ldots, \mathbf v_n$ . Så er

$A B = \mathbf u_1 \mathbf v_1 + \cdots + \mathbf u_n \mathbf v_n.$

Bevis

Ud fra definitionen på matrixmultiplikation følger at

$\begin{aligned} (\mathbf u_1 \mathbf v_1 + \cdots + \mathbf u_n \mathbf v_n)_{i j} &= (\mathbf u_1)_i (\mathbf v_1)^j + \cdots + (\mathbf u_n)_i (\mathbf v_n)^j\\ & = A_{i 1} B_{1 j} + \cdots + A_{i n} B_{n j} = A_i B^j = (A B)_{i j}. \end{aligned}$

Quiz

Lad $\mathbf u, \mathbf v\in \mathbb{C}^n$ være vilkårlige vektorer. Hvilke udsagn nedenfor omkring rangen $\mathrm{rk}(\mathbf u \mathbf v^T)$ af $n\times n$ matricen

$B = \mathbf u \mathbf v^T$ er korrekte.

$\mathrm{rk}(B) = 1$

$\mathrm{rk}(B)\leq 1$

$\mathrm{rk}(B)\geq 2$

For en vilkårlig reel $m\times n$ matrix $A$ er

$A^T A$ en symmetrisk $n\times n$ matrix med ikke negative egenværdier.

Bevis

$A^T A$ er symmetrisk på grund af udregningen

$(A^T A) ^T = A^T (A^T)^T = A^T A.$ Derved er alle egenværdier for $A^T A$ reelle. Lad nu $\mathbf v$ være en egenvektor for $A^T A$ hørende til egenværdien $\lambda$ . Så gælder

$\begin{aligned} (A^T A) \mathbf v &= \lambda \mathbf v \Rightarrow\\ |A\mathbf v|^2=(A\mathbf v)\cdot(A\mathbf v)=\mathbf v\cdot(A^TA\mathbf v)&=\mathbf v\cdot(\lambda\mathbf v)=\lambda(\mathbf v\cdot\mathbf v)=\lambda |\mathbf v|^2 \end{aligned}$ og derfor

$\lambda = \frac{|A \mathbf v|^2}{|\mathbf v|^2} \geq 0.$

De singulære værdier for en reel matrix $A$ er givet som

$\sigma_i = \sqrt{\lambda_i},$ hvor $i = 1, \ldots, r$ og

$\lambda_1 \geq \cdots \geq \lambda_r >0$ er egenværdierne $>0$ for $A^T A$ i aftagende rækkefølge.

Nu kan vi introducere og bevise singulær værdi dekompositionen af en reel matrix.

Lad $A$ være en reel $m\times n$ matrix af rang $r$ . Så kan $A$ faktoriseres som

$A = P \Sigma Q^T, \tag{8.6}$ hvor $P$ er en $m\times r$ matrix med ortonormale søjler $\mathbf u_1, \ldots, \mathbf u_r$ , $Q$ er en $n\times r$ matrix med ortonormale søjler $\mathbf v_1, \ldots, \mathbf v_r$ og $\Sigma$ en diagonalmatrix med de singulære værdier

$\sigma_1\geq \sigma_2\geq \cdots \geq \sigma_r >0$ i diagonalen. Faktoriseringen (8.6) kan også skrives

$A = \sigma_1\, \mathbf u_1 \mathbf v_1^T + \cdots + \sigma_r\, \mathbf u_r \mathbf v_r^T. \tag{8.7}$

Bevis

Vi ved fra Proposition 8.7, at der findes en ortogonal matrix $V$ så

$V^T (A^T A) V = D,$ hvor $D$ er en diagonal matrix med egenværdierne $\lambda_1, \ldots, \lambda_n$ svarende til de singulære værdier i diagonalen. Vi skriver $V=(\mathbf v_1,\mathbf v_2,\ldots,\mathbf v_n)$ , så at vektorerne $\mathbf v_i\in \mathbb{R}^n$ er søjlerne i $V$ . Den første påstand vi skal bruge er at $A\mathbf v_i=\mathbf 0$ for $i\geq r+1$ . Det følger af af

$(A\mathbf v_i)\cdot(A\mathbf v_i)=(AV\mathbf e_i)\cdot(AV\mathbf e_i)=(V^TA^TAV\mathbf e_i)\cdot(\mathbf e_i)=(D\mathbf e_i)\cdot\mathbf e_i=(\lambda_i\mathbf e_i)\cdot\mathbf e_i=\lambda_i,$ hvor $\mathbf e_i$ er standard basisvektorerne i $\mathbb{R}^n$ . Hvis $i\geq r+1$ er altså $|A\mathbf v_i| ^2=\lambda_i=0$ , så at $A\mathbf v_i=\mathbf 0$ .

$\phantom{phantom}$ Vi vil definere de to matricer $P$ og $Q$ ved at skrive deres søjler ned.

$Q=(\mathbf v_1,\mathbf v_2,\ldots,\mathbf v_r)$ består af de første $r$ søjler i $V$ . Men nu er det jo $Q^T$ vi skal bruge, så vi må vide noget om denne $r\times n$ matrix. Om lidt vil det vise sig at det er godt hvis vi kan finde $Q^T\mathbf v_i$ . Vi skriver denne vektor udtrykt i standardbasen $(\mathbf e_i)$ for $\mathbb{R}^r$ som

$Q^T\mathbf v_i=a_{i1}\mathbf e_1+a_{i2}\mathbf e_2+\cdots+a_{ir}\mathbf e_r.$ Vi kan beregne koefficienterne $a_{ij}$ på følgende måde:

$a_{ij}=(a_1\mathbf e_1+\cdots a_r\mathbf e_r)\cdot \mathbf e_j=(Q^T\mathbf v_i)\cdot \mathbf e_j=\mathbf v_i\cdot (Q\mathbf e_j)=\mathbf v_i\cdot\mathbf v_j.$ Det følger at $a_{ii}=1$ og $a_{ij}=0$ hvis $i\neq j$ . Sagt på en anden måde er

$\begin{aligned} Q^T(\mathbf v_i)&=\mathbf e_i\quad\quad\textrm{ hvis } i\leq r\\ Q^T(\mathbf v_i)&=0\quad\quad\textrm{ hvis } i\geq r+1. \end{aligned}$ Vi lader nu $P=(\frac{1}{\sigma_1}A(\mathbf v_1),\frac{1}{\sigma_2}A(\mathbf v_2),\ldots,\frac{1}{\sigma_r}A(\mathbf v_r))$ . Vores påstand er at $A=P\Sigma Q^T$ . Ved at bruge linearitet er det nok at tjekke dette på en basis for $\mathbb{R}^n$ . Nu er vi kommet til et punkt hvor det er vigtigt at vi vælger denne basis på en meget snedig måde. Vi er meget snedige, og vi vælger $(\mathbf v_1,\ldots,\mathbf v_n)$ som basis, og skal altså vise at $A\mathbf v_i=P\Sigma Q^T\mathbf v_i$ for alle $i\leq n$ . Det gør vi bare sådan her:

$\begin{aligned} P\Sigma Q^T(\mathbf v_i)=P\Sigma\mathbf e_i=P(\sigma_i(\mathbf e_i))=\sigma_i\frac{1}{\sigma_i}A(\mathbf v_i)=A(\mathbf v_i) &\quad \textrm{ hvis } i\leq r,\\ P\Sigma Q^T(\mathbf v_i)=P\Sigma(\mathbf 0)=\mathbf 0=A(\mathbf v_i) &\quad \textrm{ hvis } i\geq r+1. \end{aligned}$

Singulær værdi dekompositionen af en $m\times n$ matrix $A$ regnes ifølge beviset ovenfor ud på følgende måde: Den symmetriske $n\times n$ matrix $A^T A$ diagonaliseres via den ortogonale matrix $Q_1$ så

$Q_1^T (A^T A) Q_1 = D,$ hvor egenværdierne for $A^T A$ er arrangeret i aftagende rækkefølge

$\lambda_1 \geq \cdots \geq \lambda_r > \lambda_{r+1} = \cdots = \lambda_n = 0$ i diagonalen i diagonalmatricen $D$ . Matricen $Q$ dannes ud fra de første $r$ søjler $\mathbf v_1, \ldots, \mathbf v_r$ i $n\times n$ matricen $Q_1$ . Matricen $P$ bliver så $m\times r$ matricen med søjler

$\frac{1}{\sigma_i} A \mathbf v_i.$

Betraget eksemplet (fra Olver, Shakiban, Applied Linear Algebra)

$A = \begin{pmatrix} 3 & 5\\ 4 & 0 \end{pmatrix}.$ Her er

$A^T A = \begin{pmatrix} 25 & 15\\ 15 & 25 \end{pmatrix}$ med egenværdierne $\lambda_1 = 40$ og $\lambda_2 = 10$ og tilhørende egenvektorer

$\begin{pmatrix} 1\\ 1 \end{pmatrix}\qquad\mathrm{og}\qquad \begin{pmatrix} \phantom{-} 1\\ -1 \end{pmatrix}$ og deraf følgende ortonormalbasis

$\mathbf v_1 = \begin{pmatrix} \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}} \end{pmatrix}\qquad\mathrm{og}\qquad \mathbf v_2 = \begin{pmatrix} - \frac{1}{\sqrt{2}}\\ \phantom{-} \frac{1}{\sqrt{2}} \end{pmatrix}$ af egenvektorer. Dermed er

$Q = \begin{pmatrix} \frac{1}{\sqrt{2}} & - \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}} & \phantom{-} \frac{1}{\sqrt{2}} \end{pmatrix}$ i den singulære værdi dekomposition. Søjlevektorerne i $P$ bliver hermed

$\begin{aligned} \mathbf u_1 &= \frac{1}{\sigma_1} A \mathbf v_1 = \frac{1}{\sqrt{40}} \begin{pmatrix} 4 \sqrt{2}\\ 2 \sqrt{2} \end{pmatrix} = \begin{pmatrix} \frac{2}{\sqrt{5}} \\ \frac{1}{\sqrt{5}} \end{pmatrix}\\ \mathbf u_2 &= \frac{1}{\sigma_2} A \mathbf v_2 = \frac{1}{\sqrt{10}} \begin{pmatrix} \sqrt{2}\\ - 2 \sqrt{2} \end{pmatrix} = \begin{pmatrix} \frac{1}{\sqrt{5}}\\ -\frac{2}{\sqrt{5}} \end{pmatrix} \end{aligned}$ og

$P = \begin{pmatrix} \frac{2}{\sqrt{5}} & \frac{1}{\sqrt{5}}\\ \frac{1}{\sqrt{5}} & -\frac{2}{\sqrt{5}} \end{pmatrix}.$ Den singulære værdi dekomposition af $A$ bliver hermed

$A = \begin{pmatrix} \frac{2}{\sqrt{5}} & \frac{1}{\sqrt{5}}\\ \frac{1}{\sqrt{5}} & -\frac{2}{\sqrt{5}} \end{pmatrix} \begin{pmatrix} \sqrt{40} & 0\\ 0 & \sqrt{10} \end{pmatrix} \begin{pmatrix} \phantom{-} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{pmatrix} = P \Sigma Q^T.$

Opgave

Lad $A$ være en invertibel $2\times 2$ matrix. Giv en geometrisk fortolkning af singulær værdi dekompositionen for $A$ ud fra eksempelmaterialet i sidste kapitel.

8.4 Approksimation af matricer via svd

Singulær værdi dekompositionen er et redskab til at approksimere en $m\times n$ matrix $A$ af rang $r$ med $m\times n$ matricer af lavere rang $k$ , hvor

$0 < k < r.$ Her kan man vise at en optimal approksimation af rang $k$ til $A$ fremkommer som

$\sigma_1\, \mathbf u_1 \mathbf v_1^T + \cdots + \sigma_k\, \mathbf u_k \mathbf v_k^T$ ud fra singulær værdi dekompositionen af $A$ i (8.7). Optimal betyder her optimal eller tættest på med hensyn til afstanden udmålt ud fra det naturlige prikprodukt

$A\cdot B = \mathrm{tr}(A^T B)$ på mængden af $m\times n$ matricer det vil sige $\mathbb{R}^{m n}$ . Her betegner $\mathrm{tr}$ sporet af en matrix det vil sige summen af matricens diagonalelementer.

8.4.1 Eksperimenter med grayscale billeder

Adskillige computeralgebra systemer har funktioner til at konvertere billedfiler til grayscale og håndtere billedfiler som matricer. Nedenfor kode i Mathematica (tilsvarende eksperimenter kan relativt let også implementeres i for eksempel MATLAB eller Octave).

SVDimage[mat_, tol_]:=
  Module[{p, s, q},
  {p, s, q} = SingularValueDecomposition[mat, Tolerance->tol];
  Return[Image[p.s.Transpose[q]]]
]

image = ColorConvert[Import["Google.jpg"], "Grayscale"]
matr = ImageData[image]; (* Extract matrix from image *)

Export["Google0.1.jpg", SVDimage[matr, 0.1]]
Export["Google0.05.jpg", SVDimage[matr, 0.05]]
Export["Google0.01.jpg", SVDimage[matr, 0.01]]

(* Ranks of approximations: *)
Length[SingularValueList[matr, Tolerance->0.1]]
Length[SingularValueList[matr, Tolerance->0.05]]
Length[SingularValueList[matr, Tolerance->0.01]]

Input til ovenstående efter grayscaling er billedet

Originalt billede med matrix af rang $r = 1536$

Herefter approksimeres matricen for billedet ud fra

$\sigma_1\, \mathbf u_1 \mathbf v_1^T + \cdots + \sigma_k\, \mathbf u_k \mathbf v_k^T$ med forskellige værdier af $k < 1536$ .

Approksimation med $k = 6$

Approksimation med $k = 15$

Approksimation med $k = 177$

Se også anvendelser fra kemi med hensyn til principal component analysis.

8.5 Opgaver

8.5.1

Vis at produktet af to unitære matricer er en unitær matrix.

8.5.2

Lad $T$ være en øvre trekantsmatrix. Hvorfor bliver $T$ nødt til at være en diagonalmatrix, hvis den er hermitesk?

8.5.3

Lad

$A = \begin{pmatrix} 2 & 1 - i\\ 1 + i & 1 \end{pmatrix}.$ Find en unitær matrix, som diagonaliserer $A$ .

8.5.4

Udregn en ortonormal basis af egenvektorer for matricen

$A = \begin{pmatrix} 0 & 0 & 1\\ 0 & 1 & 0\\ 1 & 0 & 0 \end{pmatrix}.$ Find dernæst en ortogonal matrix $P$ så $P^T A P$ er en diagonalmatrix.

8.5.5

Gør rede for at det karakteristiske polynomium til matricen

$A = \begin{pmatrix} 1 & 1 & 1\\ 1 & 1 & 1\\ 1 & 1 & 1 \end{pmatrix}$ er $\lambda^2 (3-\lambda)$ . Benyt dette til at vise at

$A^n = 3^{n-1} A$ for $n\geq 1$ . Find dernæst en ortogonal matrix $P$ så $P^T A P$ er en diagonalmatrix.

8.5.6

(Fra Leon) Find matricerne af rang $1$ og $2$ tættest på matricen

$\begin{pmatrix} -2 & 8 & 20\\ 14 & 19 & 10\\ 2 & -2 & 1 \end{pmatrix} = \begin{pmatrix} \frac{3}{5} & -\frac{4}{5} & 0\\ \frac{4}{5} & \frac{3}{5} & 0\\ 0 & 0 & 1 \end{pmatrix} \begin{pmatrix} 30 & 0 & 0\\ 0 & 15 & 0\\ 0 & 0 & 3 \end{pmatrix} \begin{pmatrix} \frac{1}{3} & \frac{2}{3} & \frac{2}{3}\\ \frac{2}{3} & \frac{1}{3} & -\frac{2}{3}\\ \frac{2}{3} & -\frac{2}{3} & \frac{1}{3} \end{pmatrix}$ med udgangspunkt i afsnit 8.4.