Singular Value Decomposition (SVD) av en matris är en faktorisering av den matrisen i tre matriser. Den har några intressanta algebraiska egenskaper och förmedlar viktiga geometriska och teoretiska insikter om linjära transformationer. Den har också några viktiga tillämpningar inom datavetenskap. I den här artikeln ska jag försöka förklara den matematiska intuitionen bakom SVD och dess geometriska betydelse.

Matematik bakom SVD:

SVD för mxn matris A ges av formeln

var:

• I: mxm matris för de ortonormala egenvektorerna för .
• I ^T : överföra en nxn matris som innehåller de ortonormala egenvektorerna för .
• : diagonal matris med r element lika med roten av de positiva egenvärdena för AAᵀ eller Aᵀ A (båda matrikerna har i alla fall samma positiva egenvärden).

Exempel

• Hitta SVD för matrisen A =
• För att beräkna SVD måste vi först beräkna singularvärdena genom att hitta egenvärden för AA^{T}.

• Den karakteristiska ekvationen för ovanstående matris är:

så våra unika värden är:

• Nu hittar vi de rätta singularvektorerna, dvs ortonormal uppsättning egenvektorer för A ^T A. Egenvärdena för A ^T A är 25, 9 och 0, och eftersom A ^T A är symmetrisk vi vet att egenvektorerna kommer att vara ortogonala.

För

som kan radreduceras till:

En enhetsvektor i dens riktning är:

På liknande sätt, för lambda = 9, är egenvektorn:

För den 3:e egenvektorn skulle vi kunna använda egenskapen att den är vinkelrät mot v1 och v2 så att:

Löser ovanstående ekvation för att generera den tredje egenvektorn

Nu beräknar vi U med formeln u_i = frac{1}{sigma} A v_i och detta ger U = . Därför blir vår slutliga SVD-ekvation:

Ansökningar

• Beräkning av Pseudo-invers: Pseudo-invers eller Moore-Penrose-invers är generaliseringen av matrisinversen som kanske inte är inverterbar (som lågrankade matriser). Om matrisen är inverterbar kommer dess invers att vara lika med Pseudo-invers men pseudo-invers finns för matrisen som inte är inverterbar. Det betecknas med A ⁺ .

Suppose, we need to calculate the pseudo-inverse of a matrix M: Then, the SVD of M can be given as: Multiply both sides by M^{-1}.Multiply both side by V:Multiply by W^{-1}Since the W is the singular matrix, the inverse of W  is Multiply by 

Ovanstående ekvation ger pseudo-inversen.

Lösa en uppsättning av homogen linjär ekvation (Mx =b): om b=0, beräkna SVD och ta valfri kolumn av V ^T associerad med ett singulär värde (i I ) lika med 0.

If , Multiply by 

Från Pseudo-inversen vet vi det

Därav,

• Rang, Range och Null space:
  • Rangen för matrisen M kan beräknas från SVD genom antalet singularvärden som inte är noll.
  • Området för matrisen M är de vänstra singularvektorerna för U som motsvarar singularvärdena som inte är noll.
  • Nollrummet för matrisen M är den högra singularvektorn för V som motsvarar de nollställda singularvärdena.

• Problem med kurvanpassning: Singularvärdesuppdelning kan användas för att minimera minsta kvadratfel. Den använder pseudo-inversen för att approximera den.
• Förutom ovanstående applikation kan singularvärdesuppdelning och pseudo-invers också användas i digital signalbehandling och bildbehandling

Genomförande:

I den här koden kommer vi att försöka beräkna singularvärdesuppdelningen med hjälp av Numpy och Scipy. Vi kommer att beräkna SVD och även utföra pseudo-invers. I slutändan kan vi använda SVD för att komprimera bilden

Python3

Produktion:

[[ 3 3 2]  [ 2 3 -2]] --------------------------- U: [[-0.7815437 -0.6238505]  [-0.6238505 0.7815437]] --------------------------- Singular array [5.54801894 2.86696457] --------------------------- V^{T} [[-0.64749817 -0.7599438 -0.05684667]  [-0.10759258 0.16501062 -0.9804057 ]  [-0.75443354 0.62869461 0.18860838]] -------------------------- # Inverse  array([[ 0.11462451, 0.04347826],  [ 0.07114625, 0.13043478],  [ 0.22134387, -0.26086957]]) --------------------------- 

Original vs SVD k-bild