Gauss-Newton
-
Levenberg-Marquardt MethodOptimization 2021. 8. 13. 14:22
1. Introduction 앞선 자료들에서 대표적인 함수 최적화 방법으로 gradient descent와 Gauss-Newton method에 대하여 소개한 바 있다. Gradient descent는 선형 함수에서만 간단히 소개하였으나, 비선형 함수에서도 그 기본 원리는 같다. 자세한 내용은 아래를 참고하길 바란다. Gradient Descent : https://define.tistory.com/28 Linear Regression 1. Introduction 기계학습(machine learning)의 기본 목적은 주어진 데이터를 해석하여 미래에 발생할 일을 예측하고자 하는 것 이다. 예를 들어, 어떤 에어컨 판매 회사의 연도별 판매 대수를 아래의 그 define.tistory.com Gauss-Ne..
-
Gauss-Newton MethodOptimization 2021. 8. 13. 12:46
1. Introduction Least Squares Method(최소제곱법 또는 최소자승법)는 주어진 데이터에 가장 잘 맞는 모델의 parameter를 구하는 방법 중 하나로 이름에서 알 수 있듯이 잔차의 제곱합을 목적함수로 한다. Linear regression에서 다루었던 것 처럼, 선형 모델의 경우에는 잔차의 제곱합이 기울기가 0이되는 지점에서 최소값을 갖기 때문에 least squares를 통해 쉽게 해를 구할 수 있다. 하지만 모델이 더이상 선형이 아닐경우에는 기울기가 0이되는 점이 유일하지 않을 수 있다. 그림 1과 같이 중심이 (0, 0)이고 반지름의 길이가 1인 원(red line)으로 부터 sampling된 반원 데이터(blue points)가 주어졌다고 해 보자. 원을 a, b, r의..