Advanced Eigendecomposition

<Advanced Eigendecomposition>

    1. Advanced Eigendecomposition 

 

---

Advanced Eigendecomposition 1

 

SVD → rectangular matrix 사용

EVD → square + Symmetric Matrix 사용

 

 

Symmetric Matrix

• Matrix A는 반드시 square matrix
• diagonal entry들은 아무 값이나 올 수 있지만, 대각선 entry들을 기준으로 양 entry들은 쌍을 이룬 값들이 위치

 

Matrix A가 linearly independent 하다면 Av = λv에서,

angle(vi, span {v1, v2, ...}) > 0˚

(angle = 0˚이면 각 vector가 포함관계가 되어버린다!)

 

(v1, v2, v3, ...)가 orthogonal 하다면 (i.e. vi ┴ vj = 0)

→ 각 vector들은 무조건 linearly independent

angle(vi, span{v1, v2, ...}) = 90˚

→ maximul linearly independent (= orthogonal linearly independent)

 

Characteristic Equation: det(A - Iλ) = 0에서, Matrix A가  Symmetric Matrix 일시,

모든 eigenvector λ 는 maximul linearly independent (= orthogonal linearly independent)

→ angle(λi, span{λ1, λ2, ...}) = 90˚

 

 

Matrix A가 (n x n) matrix 일 시,

→ n개의 linearly independent 한 eigenvector들을 가진다.

→ det(A - λI) = 0의 Characteristic Equation은 n차 방정식이 형성되고 n개의 근을 가진다.

 

 

ex) (λ-1)^2(λ+5) = 0 일 시,

→ Algebraic Multiplicity는 λ = 1에서 2, λ = -5에서 1이다. (각각의 λ 개수)

→ Algebraic Multiplicity의 총 합 = n

 

 

Matrix A가 symmetric 하다면, 다른 eigenspace로부터의

서로 다른 두 eigenvector들은 orthonogal 하다.

 

proof) v1와 v2를 eigenvector들이라고 할 시,

 

λ1v1·v2 = (λ1v1)^T v2 = (Av1)^T v2            ∵ v1 is an eigenvector

           = (v1^T A^T)v2 = v1^T (Av2)         ∵ A^T = A

           = v1^T (λ2v2)                             ∵ v2 is an eigenvector

           = λ2v1^T v2

           = λ2v1·v2

 

 

∴ (λ1 - λ2)v1·v2 = 0

→ λ1 - λ2 ≠ 0 이기 때문에, 

최종적으로, v1·v2 = 0

 

orthogonal Matrix P(P^-1 = P^T)와 diagonal Matrix D가

를 성립할 시, 

n x n Matrix A는 orthogonally diagonalizable

→ n개의 linearly indenpendent 하고 orthonormal 한 eigenvector들 필요

 

 

 

즉, Matrix A가 orthogonally diagonalizable 하다면,

가 성립한다.