least squares
-
Robust Optimization - Huber Loss, RANSACOptimization 2021. 8. 20. 15:00
이전 포스팅에서는 non-linear least squares문제에 대한 해법으로 Gradient descent, Gauss-Newton, 그리고 이 둘이 결합된 형태인 Levenberg-Marquardt 방법에 대하여 설명하였으며, 약간의 noise를 갖는 circle fitting 문제를 예제로 해당 방법들의 수렴성을 비교하였다. https://define.tistory.com/29 Gauss-Newton Method 1. Introduction Least Squares Method(최소제곱법 또는 최소자승법)는 주어진 데이터에 가장 잘 맞는 모델의 parameter를 구하는 방법 중 하나로 이름에서 알 수 있듯이 잔차의 제곱합을 목적함수로 한다. Lin define.tistory.com https:..
-
Levenberg-Marquardt MethodOptimization 2021. 8. 13. 14:22
1. Introduction 앞선 자료들에서 대표적인 함수 최적화 방법으로 gradient descent와 Gauss-Newton method에 대하여 소개한 바 있다. Gradient descent는 선형 함수에서만 간단히 소개하였으나, 비선형 함수에서도 그 기본 원리는 같다. 자세한 내용은 아래를 참고하길 바란다. Gradient Descent : https://define.tistory.com/28 Linear Regression 1. Introduction 기계학습(machine learning)의 기본 목적은 주어진 데이터를 해석하여 미래에 발생할 일을 예측하고자 하는 것 이다. 예를 들어, 어떤 에어컨 판매 회사의 연도별 판매 대수를 아래의 그 define.tistory.com Gauss-Ne..
-
Gauss-Newton MethodOptimization 2021. 8. 13. 12:46
1. Introduction Least Squares Method(최소제곱법 또는 최소자승법)는 주어진 데이터에 가장 잘 맞는 모델의 parameter를 구하는 방법 중 하나로 이름에서 알 수 있듯이 잔차의 제곱합을 목적함수로 한다. Linear regression에서 다루었던 것 처럼, 선형 모델의 경우에는 잔차의 제곱합이 기울기가 0이되는 지점에서 최소값을 갖기 때문에 least squares를 통해 쉽게 해를 구할 수 있다. 하지만 모델이 더이상 선형이 아닐경우에는 기울기가 0이되는 점이 유일하지 않을 수 있다. 그림 1과 같이 중심이 (0, 0)이고 반지름의 길이가 1인 원(red line)으로 부터 sampling된 반원 데이터(blue points)가 주어졌다고 해 보자. 원을 a, b, r의..
-
Linear RegressionOptimization 2021. 8. 4. 20:24
1. Introduction 기계학습(machine learning)의 기본 목적은 주어진 데이터를 해석하여 미래에 발생할 일을 예측하고자 하는 것 이다. 예를 들어, 어떤 에어컨 판매 회사의 연도별 판매 대수를 아래의 그림 1의 왼쪽과 같이 알고 있다면, 앞으로의 판매량을 예측하는데 기계학습을 이용할 수 있다. 위 데이터로부터 향후의 에어컨 판매량을 예측할 수 있는 가장 쉬운 방법은 그림 1의 오른쪽과 같이 데이터에 잘 맞는 직선을 하나 정하는 것 임을 직관적으로 알 수 있다. 즉, 주어진 데이터를 가장 잘 설명하는 선형 모델(linear model)로 부터 값을 추정하는 방법이며 이 선형 모델을 정하는 것(흔히 linear model을 modeling한다고 표현한다)을 선형 회귀(linear regr..