대각화, 직교행렬의 쓰임새

대각화와 직교행렬을 쓰는 근본적인 이유가 계산의 편의성이라는 공통점이 있다는 생각이 들었다. 대각화는 행렬곱계산의 편의성, 직교행렬은 역행렬계산의 편의성. 계속 공부하다보니까 둘이 비슷하다는 생각이 들었고 어느순간 헷갈리는 상황이 생기기 시작하면서 이 둘에 대해 잘은 모르지만 수박겉핥기 식으로라도 정리해두면 괜찮겠다 싶어서 클로드 좀 돌리면서 정리해봤다.

 

대각화의 핵심장점

1. 거듭제곱 계산이 trivial해짐

 

A = PDP⁻¹이면
Aⁿ = PD^n P⁻¹

D = [λ₁  0   0 ]     D^n =  [λ₁ⁿ  0    0  ]
       [0   λ₂  0 ]  →            [0    λ₂ⁿ  0  ]
       [0   0   λ₃]                  [0    0    λ₃ⁿ]

 

2. 미분방정식의 해석적 해

 

dx/dt = Ax에서 A = PDP⁻¹이면
해: x(t) = Pe^{Dt}P⁻¹x₀

e^{Dt} = [e^{λ₁t}  0           0         ]
                [0           e^{λ₂t}  0         ]
                [0           0           e^{λ₃t}]

 

 

3. 안정성 분석이 직관적

 

• 연속시간 (dx/dt = Ax): Re(λ) < 0 ⟺ 안정
• 이산시간 (x_{k+1} = Ax_k): |λ| < 1 ⟺ 안정

 

ex.

연속시간 시스템 (Continuous-time) -> 고유값의 기준이 0

미분방정식: dx/dt = Ax

안정성 조건: Re(λᵢ) < 0 (모든 고유값의 실수부가 음수)

해: x(t) = e^(At)x₀ = Pe^(Dt)P⁻¹x₀

e^(Dt) = [e^(λ₁t)  0      0      ]
                [0        e^(λ₂t) 0     ]  
                [0        0      e^(λ₃t)]

 

 

• λᵢ < 0 → e^(λᵢt) → 0 as t → ∞ (안정)
• λᵢ > 0 → e^(λᵢt) → ∞ as t → ∞ (불안정)

 

 

이산시간 시스템 (Discrete-time) -> 고유값의 absolute value 기준이 1

차분방정식: x_{k+1} = Ax_k

안정성 조건: |λᵢ| < 1 (모든 고유값의 절댓값이 1보다 작음)

해: x_k = A^k x₀ = PD^k P⁻¹x₀

D^k = [λ₁^k  0     0    ]
            [0     λ₂^k  0   ]
            [0     0     λ₃^k]

 

 

• |λᵢ| < 1 → λᵢ^k → 0 as k → ∞ (안정)
• |λᵢ| > 1 → λᵢ^k → ∞ as k → ∞ (불안정)
• |λᵢ| = 1 → 경계적 안정성 (추가 분석 필요)

 

 

 

 

 

직교행렬의 핵심 장점

 

1. 역행렬이 전치행렬

Q^{-1} = Q^T (계산의 편의성)

 

2. 거리와 각도 보존

||Qx|| = ||x|| (길이 보존)
⟨Qx, Qy⟩ = ⟨x, y⟩ (내적 보존)

 

3. 수치적 안정성

• 조건수가 1 (가장 안정적)
• 반올림 오차에 강함

 

 

 

직교대각화(대칭행렬의 경우 두 장점을 모두 얻을 수 있음)

 

이는 스펙트럼 정리를 통해서 알 수 있는 성질이다

스펙트럼 정리 (Spectral Theorem)

실수 대칭행렬 A는 정규직교(orthonormal) 고유벡터들로 이루어진 기저를 가진다.

수식으로: A = QΛQ^T

여기서:

• Q는 직교행렬(orthogonal matrix): Q^T Q = I
• Q의 열벡터들은 A의 정규직교 고유벡터
• Λ는 대각행렬 (고유값들)

"실수 대칭행렬은 정규직교 대각화(orthogonally diagonalizable)가 가능하다"

"실수 대칭행렬의 고유공간들은 서로 직교(orthogonal)한다"

핵심 성질들

1. 서로 다른 고유값의 고유공간들은 서로 직교
2. 각 고유공간 내에서 정규직교 기저를 선택 가능
3. 전체 공간 ℝⁿ을 정규직교 고유벡터들로 span 가능

일반행렬과의 비교

• 일반 행렬: 대각화 가능 ≠ 직교 대각화 가능(그람슈미트방법을 통하여 직교기저로 바꿔줄 수는 있으나 직교 대각화는 불가능. 고유값에 대응되는 고유벡터이므로 그람슈미트방법을 통하여 직교하는 벡터를 찾아주더라도 그 벡터가 고유벡터의 고유값에 대응되는 벡터가 아니다)
• 대칭 행렬: 대각화 가능 = 직교 대각화 가능 (항상)

 

 

응용예시

1. 주성분분석 (PCA)

공분산행렬 C = QDQ^T
→ 주성분방향 = Q의 열벡터들
→ 분산 크기 = D의 대각성분들

 

2. 이차형식 최적화

f(x) = x^T Ax에서 A = QDQ^T이면
최댓값 = λ_{max}, 최솟값 = λ_{min}

 

3. 이미지 압축

A ≈ λ₁u₁u₁^T + λ₂u₂u₂^T + ... + λₖuₖuₖ^T
(큰 고유값 k개만 사용)

 

 

 

실제 응용 영역

대각화가 핵심인 분야:

• 동역학 시스템: 고유값 → 안정성
• 진동 분석: 고유값 → 고유진동수
• 마르코프 체인: 고유값 → 수렴속도

직교성이 핵심인 분야:

• 컴퓨터 그래픽스: 회전변환
• 신호처리: 푸리에 변환
• 수치해석: 안정적 계산