Optimization
-
Degeneracy Detection in SolverOptimization 2025. 3. 21. 15:12
PnP 자세추정에서 Gauss-Newton 최적화의 Degeneracy 감지와 적응형 Eigenvalue 임계값 설정SLAM이나 비전 기반 시스템에서 PnP (Perspective-n-Point) 자세 추정은 카메라의 6-자유도 자세(위치 및 방향)를 2D-3D 대응점으로부터 구하는 핵심 문제이다.일반적으로 Gauss-Newton 최적화 같은 비선형 최소자승 기법을 사용하지만,점들의 분포가 특이하거나 degeneracy 상태라면under-constrained가 되어 해가 불안정해질 수 있다.여기서는 Gauss-Newton 최적화 과정에서 Hessian 행렬의 Eigenvalue들을 통해 degeneracy 여부를 판별하고,그 Eigenvalue들에 대해 adaptive 임계값을 설정해“어떤 방향이 약하게..
-
Hessian과 고유값 분해의 기하학적 의미Optimization 2025. 3. 21. 13:46
Hessian과 고유값 분해의 기하학적 의미최적화 문제에서 Hessian은 비용 함수(cost function)의 2차 미분(이차 도함수) 정보를 담고 있다. 이를 테일러 전개 관점에서 살펴보면, 어떤 비용 함수 \(F(x)\)를 국소적으로 다음과 같이 근사할 수 있다:\[F(x + \Delta x) \approx F(x) + \nabla F(x)^\top \Delta x + \frac{1}{2}\,\Delta x^\top H \,\Delta x\]- \(\nabla F(x)\): 1차 도함수(gradient) - \(H\): 2차 도함수(Hessian) = \(\frac{\partial^2 F}{\partial x^2}\)이 식에서 \(\frac{1}{2}\,\Delta x^\top H\,\Delta..
-
Robust Optimization - Huber Loss, RANSACOptimization 2021. 8. 20. 15:00
이전 포스팅에서는 non-linear least squares문제에 대한 해법으로 Gradient descent, Gauss-Newton, 그리고 이 둘이 결합된 형태인 Levenberg-Marquardt 방법에 대하여 설명하였으며, 약간의 noise를 갖는 circle fitting 문제를 예제로 해당 방법들의 수렴성을 비교하였다. https://define.tistory.com/29 Gauss-Newton Method 1. Introduction Least Squares Method(최소제곱법 또는 최소자승법)는 주어진 데이터에 가장 잘 맞는 모델의 parameter를 구하는 방법 중 하나로 이름에서 알 수 있듯이 잔차의 제곱합을 목적함수로 한다. Lin define.tistory.com https:..
-
Levenberg-Marquardt MethodOptimization 2021. 8. 13. 14:22
1. Introduction 앞선 자료들에서 대표적인 함수 최적화 방법으로 gradient descent와 Gauss-Newton method에 대하여 소개한 바 있다. Gradient descent는 선형 함수에서만 간단히 소개하였으나, 비선형 함수에서도 그 기본 원리는 같다. 자세한 내용은 아래를 참고하길 바란다. Gradient Descent : https://define.tistory.com/28 Linear Regression 1. Introduction 기계학습(machine learning)의 기본 목적은 주어진 데이터를 해석하여 미래에 발생할 일을 예측하고자 하는 것 이다. 예를 들어, 어떤 에어컨 판매 회사의 연도별 판매 대수를 아래의 그 define.tistory.com Gauss-Ne..
-
Gauss-Newton MethodOptimization 2021. 8. 13. 12:46
1. Introduction Least Squares Method(최소제곱법 또는 최소자승법)는 주어진 데이터에 가장 잘 맞는 모델의 parameter를 구하는 방법 중 하나로 이름에서 알 수 있듯이 잔차의 제곱합을 목적함수로 한다. Linear regression에서 다루었던 것 처럼, 선형 모델의 경우에는 잔차의 제곱합이 기울기가 0이되는 지점에서 최소값을 갖기 때문에 least squares를 통해 쉽게 해를 구할 수 있다. 하지만 모델이 더이상 선형이 아닐경우에는 기울기가 0이되는 점이 유일하지 않을 수 있다. 그림 1과 같이 중심이 (0, 0)이고 반지름의 길이가 1인 원(red line)으로 부터 sampling된 반원 데이터(blue points)가 주어졌다고 해 보자. 원을 a, b, r의..
-
Linear RegressionOptimization 2021. 8. 4. 20:24
1. Introduction 기계학습(machine learning)의 기본 목적은 주어진 데이터를 해석하여 미래에 발생할 일을 예측하고자 하는 것 이다. 예를 들어, 어떤 에어컨 판매 회사의 연도별 판매 대수를 아래의 그림 1의 왼쪽과 같이 알고 있다면, 앞으로의 판매량을 예측하는데 기계학습을 이용할 수 있다. 위 데이터로부터 향후의 에어컨 판매량을 예측할 수 있는 가장 쉬운 방법은 그림 1의 오른쪽과 같이 데이터에 잘 맞는 직선을 하나 정하는 것 임을 직관적으로 알 수 있다. 즉, 주어진 데이터를 가장 잘 설명하는 선형 모델(linear model)로 부터 값을 추정하는 방법이며 이 선형 모델을 정하는 것(흔히 linear model을 modeling한다고 표현한다)을 선형 회귀(linear regr..