Hessian과 고유값 분해의 기하학적 의미

Hessian과 고유값 분해의 기하학적 의미

최적화 문제에서 Hessian은 비용 함수(cost function)의 2차 미분(이차 도함수) 정보를 담고 있다. 
이를 테일러 전개 관점에서 살펴보면, 어떤 비용 함수 \(F(x)\)를 국소적으로 다음과 같이 근사할 수 있다:

\[
F(x + \Delta x) \approx F(x) + \nabla F(x)^\top \Delta x + \frac{1}{2}\,\Delta x^\top H \,\Delta x
\]

- \(\nabla F(x)\): 1차 도함수(gradient)  
- \(H\): 2차 도함수(Hessian) = \(\frac{\partial^2 F}{\partial x^2}\)

이 식에서 \(\frac{1}{2}\,\Delta x^\top H\,\Delta x\) 항이 비용 함수의 국소 곡률(curvature), 즉 “각 방향으로의 변화율의 변화”를 나타낸다.

---

1. Hessian이 나타내는 기하학적 의미

- Hessian \(H\)
  비용 함수를 국소적으로 이차 근사할 때, 각 변수 방향에서 비용 함수가 얼마나 빠르게(또는 느리게) 변하는지를 나타내는 곡률 정보를 제공한다.
- Hessian 값이 큰 방향:  
  비용이 급격히 증가·감소함을 의미  
- Hessian 값이 작은 방향:  
  비용이 거의 변하지 않는, 평평(flat)하거나 정보가 부족한 방향을 의미

---

2. 고유값 분해(Eigen Decomposition)와 곡률 해석

Hessian \(H\)를 고유값 분해하면:

\[
H = V \Lambda V^\top
\]

- \(V\)의 열벡터(고유벡터, eigenvectors):  
  비용 함수가 가장 민감하게 변하는 방향(고유값 큼)과  
  거의 변하지 않는 방향(고유값 작음)을 나타내며,  
  이를 “주요 방향(principal directions)”이라 할 수 있음  
- \(\Lambda\)의 대각원소(고유값, eigenvalues):  
  해당 고유벡터 방향에서의 곡률(민감도) 크기

작은 고유값 = 정보 부족

- 고유값이 매우 작다는 것:  
  그 방향에서 비용 함수가 거의 변하지 않는 평평(flat) 영역일 수 있음  
- 최적화에선 이 방향으로의 업데이트가 불안정해질 수 있으므로,  
  해당 성분을 감쇠·제거하는 방식으로 안정화를 도모하기도 함

큰 고유값 = 민감한 방향

- 고유값이 매우 크면 그 방향으로 비용이 급격히 변한다는 뜻  
- 업데이트를 잘못 적용하면 비용이 크게 요동하므로,  
  스텝 크기 제어가 중요

---

3. 최적화에서의 활용

1) Gauss–Newton / Levenberg–Marquardt  
   - Hessian으로부터 Normal Equation \(H \Delta x = -\nabla F(x)\)를 풀어 업데이트를 구하거나,  
   - \(\lambda\) 댐핑 항을 추가해 큰 고유값·작은 고유값 간 차이를 줄이는(조건수 개선)  
     Levenberg–Marquardt 기법을 사용  

2) Degeneracy 보정  
   - Hessian의 고유값이 매우 작은 방향(정보가 부족한 축)을 찾아,  
     그 성분을 0(또는 작게) 만들어 불안정한 방향의 업데이트를 억제  
   - SLAM/VO 등에서 관측이 특정 방향에만 충분할 때 이 방식을 통해 안정화

3) 기하학적 해석  
   - Hessian의 고유벡터: 비용 함수가 민감하게 변하는 축  
   - 고유값: 해당 축에서의 곡률(민감도) 크기  
   - 고유값이 큰 축은 변화가 급격한 민감 방향, 작은 축은 평평·정보 부족한 방향

---

결론

- Hessian은 비용 함수의 이차 근사를 제공  
- 고유값 분해를 통해 Hessian이 나타내는 곡률 정보를 분석함으로써  
- 최적화 알고리즘(특히 Gauss–Newton, Levenberg–Marquardt)에서  
  - 큰 고유값 방향(민감 축)은 과도한 업데이트를 제한하고  
  - 작은 고유값(정보 부족 축)은 보정(축소·무시)하여  
- 최종적으로 수렴 안정성과 정확도를 함께 높일 수 있다.