16차시 - 최소자승법

1. 최소자승법

1) 최소자승법이란?

- 여러 개의 점이 주어졌을 때 이 점들을 가장 잘 대표할 수 있는 직선을 찾을 때 사용

- 주어진 점 (xi,yi)의 y의 값 yi와 대응하는 직선상의 점 (xi,yi)의 y의 값 axi +b의 차를 제곱해서 모두 더한 값이 최소가 되는 직선

 

예)

문제: 5개의 점 ( (1,-8),(2,2),(3,10),(4,11),(5,20) )을 가장 잘 표현한 직선

 

풀이 : 각점의 차의 제곱을 최소로 하는 직선.

여기서 S를 최소가 되게하는 a,b를 찾으려면

여기서 S는 a와 b를 변수로 갖는 두 변수 함수로 볼 수 있으므로 이 함수가 점 a,(b)에서 최소값을 갖기위한 필요조건은 각각의 편도 함수가 0이 되는 것.

각각의 편도 함수를 전개하면

간단히 정리하면 11a+3b=34, 3a+b=7의 두 연립방정식을 얻음.

위 연립방정식의 해는 a = 6.5, b=12.5 이므로 최소자승법으로 얻어지는 직선의 방정식은

y=6.5x - 12.5

 

2) 최소자승법의 방정식

일반적으로 주어진 n개의 자료 (xi , yi ), i =1,2,...,n을 대표하는 직선을 최소자승법으로 구하는 문제는 S를 최소가 되게 하는 a,b를 찾아야 하므로 S가 점 (a,b)에서 최소값을 갖기위한 필요조건은 각각의 편도 함수가 0이 되는 것이므로 이 방정식을 간단히 표시하면 다음과 같음.

위의 연립방정식을 정규 방정식이라 부르며, xi,yi의 값을 알고 있으므로 위 식은 a,b에 관한 연립방정식으로 직선의 방정식을 얻을 수 있음.

 

3) 예제

(1)

함수 f(x)=e^x에 대해서 최소자승법을 사용하여 다음 11개의 점을 대표하는 직선의 방정식을 구하여라.

최소자승법으로 주어진 자료 (xi , yi ),i =1,2,...,n을 대표하는 2차 다항식을 구하는 문제로, 최소가 되게 하는 상수 a0 , a1 , a2 를 구하기 위한 식은

직선일 때와 마찬가지로 E가 최소가 되기위한 필요 조건은 a2 ,a1,a0이 각각 다음의 식을 만족하는 것

 

xi , yi (i =1,2,3,...,11)의 값은 문제에 주어졌으므로 정규방정식을 연립방정식으로 풀이하여 구한 2차 다항식은 다음과 같음.

 

 

2. 다항식과 최소자승법

1) 함수에 대한 근사다항식

최소자승 2차 다항식

 

정규방정식

E를 a0 ,a1,a2에 대해 편미분하여 다음 식을 얻을 수 있음.

E를 a0 ,a1,a2에 대하여 편미분한 식은 다음과 같이 정리할 수 있으며 정규방정식이라 함.

정규방정식을 적분하여 정리하면

이 3원1차 연립방정식을 풀면 다음 값을 얻을 수 있음

따라서, 함수 f (x) = e^x을 구간 [0,1]에서 대표하는 최소자승 2차 다항식은

 

2) n차 다항식의 정규방정식

먼저, P(x)를 풀이하여 E에 대입한 후 풀어 쓰면

E를 편미분하면

E를 최소화하는 상수 a0 ,a1,⋅⋅⋅,an을 찾기 위하여 E가 최소가 될 필요조건은

이므로 따라서, P(x)를 찾기 위한 이 연립방정식은 정규방정식이라 한다.

함수 f (x)가 연속이면 이정규방정식은 항상 유일한 해

 

3) 예제

구간 [0,2]에서 함수 f (x) = x^3-1 의 최소자승 1차 다항식을 구하여라.

 

구하는 1차 다항식을 P(x) = a0+ a1*x라 하고 정규방정식에서 다음 연립방정식을 얻을 수 있음.

이 방정식을 정리하면

이므로 a1 = 3.6, a0 = −2.6을 얻으므로 구하는 최소자승 1차 다항식은