최소제곱과 단순회귀: 점들 사이에 직선 하나를 긋는 가장 좋은 방법

한 줄 요약

관측이 필요한 만큼보다 많아서 모든 식을 동시에 만족시킬 수 없을 때, 오차의 제곱합이 가장 작은 답을 고르는 방법이 최소제곱입니다. 단순회귀에서는 그 답이 두 개의 일차방정식(정규방정식)으로 떨어지고, 같은 식이 미분으로도, "남은 오차가 데이터 벡터들과 수직"이라는 기하로도 나옵니다.

1. 왜 필요한가: 식은 많은데 미지수는 둘

중학교에서 미지수가 2개인 연립방정식은 식이 2개면 풀립니다. 그런데 실제 측정에서는 식을 일부러 더 많이 얻습니다. 같은 값을 여러 번 재야 오차가 줄어들 것 같으니까요.

예를 들어 스프링에 추를 하나씩 더 달며 늘어난 길이를 쟀다고 해 봅시다. 직선 $y = a + bx$ 로 설명하고 싶은데, 점이 5개면 식도 5개입니다.

$$a + b\cdot 1 = 2,\quad a + b\cdot 2 = 4,\quad a + b\cdot 3 = 5,\quad a + b\cdot 4 = 4,\quad a + b\cdot 5 = 5$$

미지수는 $a, b$ 두 개뿐인데 식은 다섯 개입니다. 앞의 두 식만 풀면 $b=2,\ a=0$ 이 나오는데 이 값은 셋째 식 $0 + 2\cdot 3 = 6 \ne 5$ 를 어깁니다. 어떤 $(a,b)$ 로도 다섯 식을 한꺼번에 맞출 수 없어요. 측정에는 늘 오차가 끼어 있으니까요.

그러면 질문이 바뀝니다. "모두 맞추는 답"은 없으니, "전체적으로 가장 덜 어긋나는 답"은 무엇일까? 이 질문에 처음 이름을 붙여 출판한 사람이 르장드르, 그 답에 확률적 이유를 붙인 사람이 가우스입니다.

2. 두 사람의 이야기

• 르장드르(1805). 혜성 궤도를 구하는 책 《혜성 궤도 결정을 위한 새로운 방법》의 부록 "최소제곱법에 관하여"에서 이 방법을 소개했습니다. 그의 출발점은 대수적입니다. 식이 미지수보다 많으면 오차를 전부 0으로 만들 수 없으니 오차를 어떻게든 나눠 가져야 하는데, 그중 극단적으로 큰 오차가 생기지 않도록 하는 원리가 필요하다는 것입니다. 그리고 오차의 제곱합을 최소로 하는 방법이 가장 일반적이고 정확하며 쓰기 쉽다고 판단했습니다. 제곱을 쓰면 큰 오차가 더 크게 벌을 받아 오차들 사이에 일종의 균형이 생긴다는 설명도 붙였습니다. 그리고 미지수마다 편미분해서 얻는 일차방정식 묶음, 오늘 우리가 정규방정식이라 부르는 식을 적었습니다.
• 가우스(1809). 천체 운동 이론서 《Theoria motus》 제2권 제3절에서 같은 방법을 다룹니다. 가우스는 이 원리를 1795년부터 써 왔다고 밝히고, 르장드르가 먼저 출판했음도 함께 적었습니다. 그리고 르장드르에게 없던 것을 더했습니다. 오차가 정규분포를 따른다고 보면 이 방법이 가장 그럴듯한 값을 준다는 확률적 정당화입니다. 또 오차의 짝수 거듭제곱 합이면 어느 것이나 같은 조건을 만족하지만 제곱이 계산이 가장 간단하다는 점, 라플라스가 쓰던 절댓값 합 방식(보스코비치가 먼저 제안)과의 차이도 짚었습니다.

이 글은 두 원전의 서지와 요지를 확인하고 쓴 해설입니다. 문장과 풀이는 새로 썼습니다. 수식은 현대 표기로 바꿨고, 원문의 기호를 그대로 쓰지는 않았습니다.

3. 작은 예로 먼저 보기

이 글 전체에서 쓸 점 5개입니다. $x$ 는 실험 주차, $y$ 는 그 주 퀴즈에서 맞힌 개수라고 생각해도 되고, 스프링 예시로 읽어도 됩니다.

오른쪽 위로 올라가는 느낌이 있지만 점들이 직선 위에 있지는 않습니다. 후보 직선 몇 개를 골라서 "각 점에서 직선까지 세로로 얼마나 벗어났는지"를 제곱해 더해 봅시다. 이 합을 $S$ 라 부르겠습니다.

맨 위 직선이 가장 작고, 이 글이 끝날 때까지 이 직선이 "정답"인 이유를 세 가지 방법으로 확인합니다. 먼저 $S$ 를 식으로 써 봅시다.

4. 문제를 수식으로

직선 $y = a + bx$ 를 점 $(x_i, y_i)$, $i=1,\dots,n$ 에 맞출 때, $i$ 번째 점의 잔차(남은 오차)는

$$e_i = y_i - (a + b x_i)$$

입니다. 잔차는 점에서 직선까지의 세로 거리(부호 포함)예요. 이 제곱합을 $a, b$ 의 함수로 봅니다.

$$S(a,b) = \sum_{i=1}^n \bigl(y_i - a - b x_i\bigr)^2$$

최소제곱 직선은 $S(a,b)$ 를 가장 작게 하는 $(a,b)$ 로 정한 직선입니다. 앞으로 쓸 기호를 정리해 둡니다.

$$\bar x = \tfrac1n\sum x_i,\quad \bar y = \tfrac1n\sum y_i,\quad S_{xx}=\sum (x_i-\bar x)^2,\quad S_{xy}=\sum (x_i-\bar x)(y_i-\bar y),\quad S_{yy}=\sum (y_i-\bar y)^2$$

$S_{xx}$ 와 $S_{yy}$ 는 편차 제곱의 합(분산에 $n$ 을 곱한 것), $S_{xy}$ 는 편차의 곱의 합(공분산에 $n$ 을 곱한 것)입니다.

5. 방법 1: 미분으로 구하기

아는 것: 이차함수의 최솟값, 다항함수의 미분으로 극값 구하기 → 새로운 것: 편미분, 정규방정식

$S(a,b)$ 는 $a, b$ 에 대한 이차식이라 그릇처럼 생긴 곡면입니다. 그릇의 바닥에서는 어느 방향으로도 기울기가 0이에요. 그래서 $a$ 방향 기울기와 $b$ 방향 기울기를 각각 0으로 놓습니다. 편미분은 다른 문자를 상수처럼 보고 한 문자로만 미분하는 것입니다.

$$\frac{\partial S}{\partial a} = -2\sum (y_i - a - b x_i) = 0, \qquad \frac{\partial S}{\partial b} = -2\sum x_i\,(y_i - a - b x_i) = 0$$

양변을 $-2$ 로 나누고 합을 풀어 쓰면 정규방정식이 됩니다.

$$\boxed{\; n\,a + \Bigl(\sum x_i\Bigr) b = \sum y_i, \qquad \Bigl(\sum x_i\Bigr) a + \Bigl(\sum x_i^2\Bigr) b = \sum x_i y_i \;}$$

르장드르가 부록에서 적은 식이 바로 이 모양입니다. (그는 계수를 "곱의 합" 기호로 묶어 썼어요.) 우리 점 5개에서는 $\sum x=15,\ \sum y=20,\ \sum x^2=55,\ \sum xy=66$ 이므로

$$5a + 15b = 20, \qquad 15a + 55b = 66$$

입니다. 첫 식에 3을 곱해 $15a + 45b = 60$ 을 만들고 둘째 식에서 빼면 $10b = 6$, 곧 $b = 0.6$, 그리고 $a = 4 - 3(0.6) = 2.2$ 입니다. 3절의 맨 위 후보가 맞았네요.

5-1. 공식으로 정리: 기울기와 절편

첫째 식을 $n$ 으로 나누면 $a = \bar y - b\bar x$, 즉 최소제곱 직선은 반드시 평균점 $(\bar x, \bar y)$ 를 지납니다. 이것을 둘째 식에 넣고 정리합니다. 편차의 합이 0이라는 사실($\sum(x_i-\bar x)=0$, $\sum(y_i-\bar y)=0$)을 쓰면 $\sum x_i(y_i-\bar y) = \sum (x_i-\bar x)(y_i-\bar y)$ 이고, $\sum x_i (x_i-\bar x) = \sum (x_i-\bar x)^2$ 이므로

$$\boxed{\; b = \frac{S_{xy}}{S_{xx}} = \frac{\text{공분산}}{x\text{의 분산}}, \qquad a = \bar y - b\,\bar x \;}$$

입니다. "기울기 = 함께 변하는 정도 ÷ $x$ 가 퍼진 정도"라고 말로 읽어 두세요. 우리 데이터에서는 $S_{xy}=6,\ S_{xx}=10$ 이라 $b = 0.6$ 입니다.

5-2. 정말 바닥인가: 미분 없이 확인

기울기가 0인 점이 최솟값이라는 보장은 따로 필요합니다(꼭대기나 안장일 수도 있으니까요). 미분을 쓰지 않는 방법이 있어요. 모든 값을 평균에서 잰 편차로 바꾸어 $\tilde x_i = x_i-\bar x,\ \tilde y_i = y_i-\bar y$ 라 두면

$$y_i - a - b x_i = (\tilde y_i - b\tilde x_i) - (a - \bar y + b\bar x)$$

이고, $\sum\tilde x_i=\sum\tilde y_i=0$ 이라 제곱해서 더할 때 가운데 곱항이 사라져서

$$S(a,b) = \underbrace{\sum(\tilde y_i - b\tilde x_i)^2}_{S_{yy}-2bS_{xy}+b^2S_{xx}} + n\,(a-\bar y+b\bar x)^2$$

가 됩니다. 뒤의 항은 $a=\bar y - b\bar x$ 일 때 0으로 가장 작습니다. 앞의 항은 $b$ 에 대한 이차식 $S_{xx}\,b^2 - 2S_{xy}\,b + S_{yy}$ 이고, $S_{xx}>0$ 이므로 아래로 볼록해서 꼭짓점 $b = S_{xy}/S_{xx}$ 에서 최소입니다. 중3에서 배운 이차함수의 꼭짓점 찾기와 같아요. 최솟값은

$$S_{\min} = S_{yy} - \frac{S_{xy}^2}{S_{xx}} = 6 - \frac{36}{10} = 2.4$$

이고, 3절 표의 맨 위 값과 같습니다. (미분으로 확인하는 방법: 2계 편미분으로 만든 행렬의 행렬식이 $4nS_{xx}>0$, 우리 예에서는 $4\cdot5\cdot10=200$ 이라 그릇 모양이 맞습니다. 단, $x$ 값이 모두 같으면 $S_{xx}=0$ 이어서 기울기를 정할 수 없습니다.)

6. 방법 2: 투영으로 구하기

아는 것: 평면벡터의 내적, 수선의 발 → 새로운 것: $\mathbb R^n$ 에서의 정사영, 열공간

이번에는 그림을 완전히 바꿉니다. 점 5개를 좌표평면에 찍는 대신, 자료 전체를 5차원 공간의 벡터 하나로 봅니다. 지금까지 데이터를 "점 5개(2차원 5번)"로 봤다면, 이제는 "벡터 3개(5차원)"로 봅니다.

$$\mathbf 1 = (1,1,1,1,1),\qquad \mathbf x = (1,2,3,4,5),\qquad \mathbf y = (2,4,5,4,5)$$

직선 $a + bx$ 가 만드는 예측값 모음은 $a\mathbf 1 + b\mathbf x$ 이고, 이런 벡터들의 모임(두 벡터가 만드는 평면)을 열공간이라 부릅니다. $a, b$ 를 바꿔 가며 이 평면 위의 점을 고르는 것이 직선을 고르는 일이에요. 그러면 잔차 벡터 $\mathbf e = \mathbf y - (a\mathbf 1 + b\mathbf x)$ 의 길이의 제곱 $\|\mathbf e\|^2 = \sum e_i^2$ 이 바로 $S$ 입니다.

최소제곱 = 평면 위에서 $\mathbf y$ 와 가장 가까운 점 찾기.

평면 밖의 점에서 평면 위의 가장 가까운 점은 수선의 발입니다(중학교 때 점과 직선 사이 거리를 구하던 것과 같은 생각). 수선의 발을 $\hat{\mathbf y}$ 라 하면 잔차 $\mathbf e = \mathbf y-\hat{\mathbf y}$ 는 평면 위의 모든 벡터와 수직입니다. 평면은 $\mathbf 1$ 과 $\mathbf x$ 로 펼쳐지므로 두 벡터와만 수직이면 충분합니다.

$$\mathbf 1\cdot\mathbf e = \sum e_i = 0, \qquad \mathbf x\cdot\mathbf e = \sum x_i e_i = 0$$

여기에 $e_i = y_i - a - b x_i$ 를 넣으면 5절의 정규방정식과 똑같은 두 식이 나옵니다. 미분 없이 "직각 조건"만으로 같은 방정식을 얻은 거예요. 행렬로 쓰면 $X=[\mathbf 1\ \mathbf x]$ 일 때 $X^{\mathsf T}\mathbf e=\mathbf 0$ 이고, $\mathbf e = \mathbf y - X\boldsymbol\beta$ 를 넣으면

$$X^{\mathsf T}X\,\boldsymbol\beta = X^{\mathsf T}\mathbf y$$

입니다. 우리 예에서는 $X^{\mathsf T}X=\begin{pmatrix}5&15\\15&55\end{pmatrix}$, $X^{\mathsf T}\mathbf y=\begin{pmatrix}20\\66\end{pmatrix}$ 이고 행렬식은 $5\cdot55-15^2=50$ 입니다.

6-1. 수선의 발이 정말 가장 가깝다: 피타고라스

평면 위의 아무 점 $\mathbf p$ 를 잡으면 $\hat{\mathbf y}-\mathbf p$ 도 평면 위의 벡터라서 $\mathbf e$ 와 수직입니다. 직각삼각형이 생기므로

$$\|\mathbf y-\mathbf p\|^2 = \|\mathbf e\|^2 + \|\hat{\mathbf y}-\mathbf p\|^2 \ \ge\ \|\mathbf e\|^2$$

이고, 등호는 $\mathbf p=\hat{\mathbf y}$ 일 때뿐입니다. 이것으로 정규방정식의 해가 최솟값이고 유일하다는 것(단, $\mathbf 1$ 과 $\mathbf x$ 가 평행하지 않을 때)이 증명됩니다. 미분이 필요 없었어요.

6-2. 평균을 뺀 그림: 기울기가 나오는 모양

$\mathbf 1$ 방향 성분(평균)을 먼저 덜어 낸 편차 벡터 $\tilde{\mathbf x}=\mathbf x-\bar x\mathbf 1=(-2,-1,0,1,2)$, $\tilde{\mathbf y}=\mathbf y-\bar y\mathbf 1=(-2,0,1,0,1)$ 을 보면 그림이 더 단순해집니다. 이 두 벡터는 $\mathbf 1$ 과 수직이라서 문제가 "$\tilde{\mathbf y}$ 를 $\tilde{\mathbf x}$ 방향으로 정사영하기"로 줄어요. 정사영 공식(내적 ÷ 내적)에서

$$b = \frac{\tilde{\mathbf x}\cdot\tilde{\mathbf y}}{\tilde{\mathbf x}\cdot\tilde{\mathbf x}} = \frac{S_{xy}}{S_{xx}} = \frac{6}{10}$$

으로, 5-1절의 공식이 다시 나옵니다. 정사영한 벡터는 $0.6\,\tilde{\mathbf x}=(-1.2,-0.6,0,0.6,1.2)$ 이고, 잔차는 $\mathbf e=\tilde{\mathbf y}-0.6\tilde{\mathbf x}=(-0.8,\,0.6,\,1,\,-0.6,\,-0.2)$ 입니다. $\tilde{\mathbf x}\cdot\mathbf e = 1.6-0.6+0-0.6-0.4=0$ 으로 직각이 확인됩니다.

6-3. 각도와 상관계수

두 편차 벡터 사이의 각을 $\theta$ 라 하면 $\cos\theta = \dfrac{\tilde{\mathbf x}\cdot\tilde{\mathbf y}}{\|\tilde{\mathbf x}\|\,\|\tilde{\mathbf y}\|}=\dfrac{S_{xy}}{\sqrt{S_{xx}S_{yy}}}$ 이고, 이것이 바로 상관계수 $r$ 입니다. 우리 예에서는 $r=6/\sqrt{60}\approx 0.775$, 각도는 약 $39.2^\circ$ 입니다. 상관계수가 "두 벡터가 이루는 각의 코사인"이라는 사실은 기억해 둘 만합니다. 그리고 기울기를 $b = r\cdot\dfrac{s_y}{s_x}$ (표준편차의 비) 로 쓸 수도 있어요. 우리 예에서는 $0.775\times0.775=0.6$ 입니다.

6-4. 모자 행렬(투영 행렬)

$\hat{\mathbf y}=X(X^{\mathsf T}X)^{-1}X^{\mathsf T}\mathbf y = H\mathbf y$ 에서 $H$ 를 모자 행렬이라 부릅니다. 단순회귀에서 대각 성분은 $h_{ii}=\dfrac1n+\dfrac{(x_i-\bar x)^2}{S_{xx}}$ 입니다. 우리 예에서는 $0.6,\ 0.3,\ 0.2,\ 0.3,\ 0.6$ 이고, 합은 $2$, 곧 투영하는 평면의 차원(모수 개수) 과 같습니다. $x$ 가 평균에서 먼 점일수록 $h_{ii}$ 가 커서 직선을 더 세게 끌어당깁니다. 이 합이 2라는 사실은 8절에서 쓰입니다.

7. 결정계수 $R^2$: 얼마나 설명했나

아는 것: 피타고라스 정리, 분산 → 새로운 것: 제곱합의 분해

$y$ 의 전체 흔들림을 $\text{SST}=\sum(y_i-\bar y)^2$, 직선이 설명한 흔들림을 $\text{SSR}=\sum(\hat y_i-\bar y)^2$, 설명하지 못한 흔들림(잔차)을 $\text{SSE}=\sum e_i^2$ 이라 합니다.

정리. 절편이 있는 최소제곱 직선에서 $\ \text{SST}=\text{SSR}+\text{SSE}$.

증명. $y_i-\bar y = (\hat y_i-\bar y) + e_i$ 입니다. 양변을 제곱해서 더하면

$$\text{SST} = \text{SSR} + \text{SSE} + 2\sum(\hat y_i-\bar y)\,e_i$$

입니다. 마지막 합은 $\sum \hat y_i e_i-\bar y\sum e_i$ 인데, $\hat y_i=a+bx_i$ 이므로 $\sum\hat y_ie_i = a\sum e_i + b\sum x_ie_i$ 이고, 정규방정식(6절의 직각 조건)에서 $\sum e_i=0$, $\sum x_ie_i=0$ 이니까 이 값은 0입니다. $\blacksquare$

기하로 읽으면 "$\tilde{\mathbf y}$ = (투영된 부분) + (수직 부분)"이라서 피타고라스 정리 그 자체입니다. 절편이 없는 모델이라면 $\sum e_i=0$ 이 보장되지 않아 이 분해가 깨질 수 있으니 주의하세요.

결정계수는 설명한 비율입니다.

$$R^2 = \frac{\text{SSR}}{\text{SST}} = 1-\frac{\text{SSE}}{\text{SST}}$$

또한 $\text{SSR}=\sum b^2(x_i-\bar x)^2=b^2S_{xx}=S_{xy}^2/S_{xx}$ 이므로

$$R^2 = \frac{S_{xy}^2}{S_{xx}S_{yy}} = r^2$$

입니다. 단순회귀에서 $R^2$ 은 상관계수의 제곱이고, 기하로는 $\cos^2\theta$ 입니다. 우리 예에서는 $\text{SST}=6,\ \text{SSR}=3.6,\ \text{SSE}=2.4$, 그래서 $R^2=0.6$ 입니다(그리고 $0.775^2=0.6$).

8. 가우스–마르코프 정리: 왜 이 추정량이 좋은가

아는 것: 평균의 성질, 분산 → 새로운 것: 선형 불편추정량, 최소분산

지금까지는 "점에 직선을 맞추는 방법"이었습니다. 이제 "이 직선이 믿을 만한가"를 묻습니다. 데이터가 다음 모형에서 나왔다고 가정합니다.

$$y_i = \beta_0 + \beta_1 x_i + \varepsilon_i,\qquad E[\varepsilon_i]=0,\quad \operatorname{Var}(\varepsilon_i)=\sigma^2,\quad \varepsilon_i\text{끼리 서로 상관없음}$$

$x_i$ 는 정해진 수이고 모두 같지는 않습니다. 오차가 정규분포라는 가정은 필요 없습니다. 최소제곱 추정량 $\hat\beta_1=b$ 를 $y_i$ 들의 일차결합으로 써 봅시다.

$$b = \frac{\sum(x_i-\bar x)(y_i-\bar y)}{S_{xx}} = \sum w_i y_i,\qquad w_i=\frac{x_i-\bar x}{S_{xx}}$$

($\sum(x_i-\bar x)\bar y=0$ 이라 $\bar y$ 는 빠집니다.) 가중치 $w_i$ 에는 세 가지 성질이 있습니다.

$$\sum w_i = 0,\qquad \sum w_i x_i = 1,\qquad \sum w_i^2=\frac1{S_{xx}}$$

우리 예에서 $w=(-0.2,-0.1,0,0.1,0.2)$ 이고 각각 $0$, $1$, $0.1=1/10$ 이 됩니다.

불편성. $E[b]=\sum w_i(\beta_0+\beta_1x_i)=\beta_0\sum w_i+\beta_1\sum w_ix_i=\beta_1$. (여러 번 반복 측정하면 평균적으로 참값에 맞습니다.)

분산. 오차가 서로 상관없으므로 $\operatorname{Var}(b)=\sigma^2\sum w_i^2=\dfrac{\sigma^2}{S_{xx}}$. $x$ 가 넓게 퍼져 있을수록($S_{xx}$ 가 클수록) 기울기를 정확히 잡을 수 있습니다. 절편 $a=\bar y-b\bar x=\sum c_iy_i$ 는 $c_i=\frac1n-\bar x\,w_i$ 이고, 마찬가지로 계산하면 $E[a]=\beta_0$,

$$\operatorname{Var}(a)=\sigma^2\Bigl(\frac1n+\frac{\bar x^{\,2}}{S_{xx}}\Bigr),\qquad \operatorname{Cov}(a,b)=-\sigma^2\frac{\bar x}{S_{xx}}$$

입니다. 우리 예에서 $\operatorname{Var}(b)=\sigma^2/10$, $\operatorname{Var}(a)=1.1\sigma^2$ 입니다.

정리 (가우스–마르코프, 단순회귀). 위 가정에서, $y_i$ 의 일차결합이면서 $\beta_1$ 의 불편추정량인 것들 중 $b$ 의 분산이 가장 작다. (BLUE: Best Linear Unbiased Estimator.)

증명의 뼈대. 다른 일차 불편추정량을 $\tilde b=\sum c_iy_i$ 라 하고 $c_i=w_i+d_i$ 로 쓰겠습니다. 불편이려면 $E[\tilde b]=\beta_0\sum c_i+\beta_1\sum c_ix_i=\beta_1$ 이 모든 $\beta_0,\beta_1$ 에서 성립해야 하므로 $\sum c_i=0,\ \sum c_ix_i=1$ 입니다. $w_i$ 도 같은 조건을 만족하므로 $\sum d_i=0$, $\sum d_ix_i=0$ 이고, 따라서

$$\sum w_id_i=\frac{1}{S_{xx}}\Bigl(\sum x_id_i-\bar x\sum d_i\Bigr)=0$$

입니다. 그러면

$$\operatorname{Var}(\tilde b)=\sigma^2\sum c_i^2=\sigma^2\Bigl(\sum w_i^2+2\sum w_id_i+\sum d_i^2\Bigr)=\frac{\sigma^2}{S_{xx}}+\sigma^2\sum d_i^2\ \ge\ \operatorname{Var}(b)$$

이고, 등호는 모든 $d_i=0$, 곧 $\tilde b=b$ 일 때만 성립합니다. $\blacksquare$ 이 증명은 "$d$ 는 $w$ 와 수직"이라는 직교성으로 끝납니다. 6절의 기하가 여기서도 쓰인 거예요.

오차의 크기 $\sigma^2$ 은? 잔차 제곱합을 $n-2$ 로 나눈 $s^2=\text{SSE}/(n-2)$ 가 불편추정량입니다. 잔차 벡터는 $\mathbf e=(I-H)\boldsymbol\varepsilon$ 이고 $I-H$ 는 투영 행렬이라 $E\|\mathbf e\|^2=\sigma^2\operatorname{tr}(I-H)=\sigma^2(n-2)$ 이기 때문입니다. ($\operatorname{tr}H=2$ 는 6-4절에서 확인했어요.) 직선이 점 두 개분의 자유를 이미 써 버렸기 때문에 $n$ 이 아니라 $n-2$ 로 나눕니다.

한계. 이 정리는 "일차이면서 불편인 추정량 중에서" 가장 좋다는 말입니다. 편향을 조금 허용하면 분산을 더 줄일 수 있는 추정량(릿지 등)이 있고, 이것은 시리즈 뒤쪽에서 다룹니다.

9. 가우스의 정당화: 정규분포와 가능도

아는 것: 확률분포, 지수함수 → 새로운 것: 최대가능도

르장드르는 "쓰기 쉽고 극단을 누른다"는 이유를 댔습니다. 가우스는 왜 하필 제곱합이 옳은가를 확률로 설명했습니다.

방향 1 (오차가 정규분포라면). 오차 $\varepsilon_i$ 가 서로 독립이고 평균 0, 분산 $\sigma^2$ 인 정규분포를 따른다면, 관측값 $y_1,\dots,y_n$ 이 나올 가능도는

$$L(a,b,\sigma)=\prod_i \frac1{\sigma\sqrt{2\pi}}\exp\Bigl(-\frac{(y_i-a-bx_i)^2}{2\sigma^2}\Bigr)$$

이고, 로그를 취하면

$$\ln L=-n\ln\sigma-\frac n2\ln 2\pi-\frac{S(a,b)}{2\sigma^2}$$

입니다. $\sigma$ 를 고정하면 $\ln L$ 을 키우는 일은 $S(a,b)$ 를 줄이는 일과 같습니다. 정규오차 아래에서 가장 그럴듯한 직선이 곧 최소제곱 직선입니다. (여기서 $\sigma^2$ 의 최대가능도 추정치는 $\text{SSE}/n$ 인데, 우리 예에서는 $0.48$ 이고 8절의 불편추정량 $s^2=2.4/3=0.8$ 과는 다릅니다.)

방향 2 (가우스가 실제로 한 논증의 뼈대). 가우스는 거꾸로도 갔습니다. "같은 양을 여러 번 쟀을 때 가장 그럴듯한 값이 산술평균이라는 것을 받아들이자. 그러면 오차의 분포는 어떤 모양이어야 하는가?" 오차의 밀도를 $\varphi$ 라 하고 $g=\varphi'/\varphi$ 라 두면, 참값 후보 $V$ 에 대해 $\prod\varphi(M_i-V)$ 를 최대로 하는 조건은 $\sum g(M_i-V)=0$ 입니다. 이 해가 모든 자료에서 평균이어야 합니다. 관측 $N$ 개 중 $N-1$ 개가 값 $t$, 하나가 $-(N-1)t$ 인 자료를 보면 평균은 0이므로

$$(N-1)\,g(t)+g\bigl(-(N-1)t\bigr)=0$$

입니다. $g$ 가 홀함수임을 (같은 방식으로 $N=2$ 일 때 알 수 있습니다) 쓰면 $g((N-1)t)=(N-1)g(t)$ 가 되어 $g$ 가 정수배에서 선형이고, 연속이라는 가정으로 $g(\Delta)=k\Delta$ 가 됩니다. 풀면 $\varphi(\Delta)\propto e^{k\Delta^2/2}$ ($k<0$), 곧 정규분포 꼴입니다. 그러므로 평균이 최선이라면 오차는 정규분포이고, 그때 최대가능도는 제곱합 최소화입니다. 가우스가 쓴 지수의 모양이 $e^{-h^2\Delta^2}$ 꼴이었음을 원전에서 확인할 수 있습니다.

이 논증의 약점도 같이 알아 두세요. "평균이 가장 그럴듯하다"는 출발 가정이 이미 큰 선택이고, 실제 오차가 정규분포가 아니면 이 정당화는 약해집니다. 현대에는 8절의 가우스–마르코프(분포 가정 없이 선형 불편추정량 중 최선)와 중심극한정리(작은 오차가 많이 쌓이면 정규분포에 가까워짐)가 이 약점을 보완해 줍니다.

10. 왜 제곱인가: 절댓값 오차와 비교

오차를 "세로 거리의 절댓값 합"으로 재면 안 될까요? 그것도 훌륭한 방법이고 실제로 가우스 이전부터 쓰였습니다(보스코비치, 라플라스). 비교해 봅시다.

1. 대푯값부터: 평균 대 중앙값. 값이 $1, 2, 9$ 일 때 하나의 값 $c$ 로 요약한다고 합시다.

제곱은 평균을, 절댓값은 중앙값을 고릅니다. 큰 값 9에 휘둘리는 쪽이 제곱입니다. 최소제곱 직선도 같아서, 우리 데이터에서 마지막 $y$ 를 5에서 15로 바꾸면 기울기가 0.6에서 2.6으로 튑니다(절편은 $-1.8$). 이상치에 약하다는 것이 제곱의 대가입니다.

2. 절댓값의 불편함. 절댓값은 꺾이는 점이 있어서 미분이 안 되고 공식이 없습니다. 우리 데이터에서 절댓값 합을 최소로 하는 직선을 찾아보면 총합 3이 되는 직선이 여럿입니다. 예를 들어 $y = 1.25 + 0.75x$ 와 $y = \tfrac{10}{3} + \tfrac13 x$ 가 모두 합 3입니다. 답이 하나로 정해지지 않을 수 있다는 뜻입니다. 반면 제곱합은 그릇 모양이라 답이 하나이고 방정식도 일차입니다(5절).

3. 기하와 확률의 이득. 제곱은 거리의 제곱이라 피타고라스(6·7절), 투영, $R^2$ 분해가 가능하고, 정규분포의 가능도와 직결됩니다(9절). 가우스 자신도 짝수 거듭제곱이면 어느 것이나 "과녁에서 먼 오차를 더 세게 벌주는" 성질은 같지만 제곱이 가장 단순하다고 적었습니다.

정리하면 제곱은 계산, 기하, 확률이 한꺼번에 맞아떨어지는 선택이고, 이상치가 많은 자료에서는 절댓값 기반 방법(중앙값 회귀 등)이나 로버스트 회귀가 더 낫습니다.

11. 손으로 직접 계산해 보기

계산기 없이 3절의 점 5개를 풀어 봅시다.

1단계. 평균. $\bar x=\dfrac{1+2+3+4+5}{5}=3,\quad \bar y=\dfrac{2+4+5+4+5}{5}=4.$

2단계. 편차표.

즉 $S_{xy}=6,\ S_{xx}=10,\ S_{yy}=6$.

3단계. 기울기와 절편. $b=6/10=0.6$, $a=4-0.6\cdot3=2.2$. 직선은 $\hat y=2.2+0.6x$.

4단계. 예측값과 잔차.

잔차의 합과 $x$ 와의 곱의 합이 모두 0, 곧 직각 조건이 확인됩니다.

5단계. 정규방정식에 대입. $5(2.2)+15(0.6)=11+9=20$ ✓, $15(2.2)+55(0.6)=33+33=66$ ✓.

6단계. 제곱합 분해.

$$\text{SST}=6,\qquad \text{SSE}=0.64+0.36+1+0.36+0.04=2.4,\qquad \text{SSR}=b^2S_{xx}=0.36\times10=3.6$$

$6=3.6+2.4$ ✓. 그래서 $R^2=3.6/6=0.6$. 상관계수는 $r=\sqrt{0.6}\approx0.775$ (기울기가 양수이므로 양의 부호).

7단계. 오차의 크기. $s^2=\text{SSE}/(n-2)=2.4/3=0.8$, 기울기의 표준오차는 $\sqrt{s^2/S_{xx}}=\sqrt{0.08}\approx0.283$. 기울기 0.6은 표준오차의 약 2.1배입니다. 다만 점이 5개뿐이라 "기울기가 정말 0이 아니다"를 단정하기에는 근거가 약합니다(정규오차 가정과 $t$ 분포가 필요하고, 이 이야기는 이후 편에서 다룹니다).

연습 문제

점 $(1,2),\ (2,3),\ (3,5),\ (4,6)$ 에 최소제곱 직선을 맞추고 $R^2$ 을 구해 보세요.

12. 코드로 확인하기

앞 절들의 숫자는 파이썬 numpy로도 검산했습니다.

import numpy as np

x = np.array([1, 2, 3, 4, 5], float)
y = np.array([2, 4, 5, 4, 5], float)
X = np.c_[np.ones(5), x]                    # 열: 1, x

XtX, Xty = X.T @ X, X.T @ y
print(XtX, Xty)                             # [[5 15] [15 55]] [20 66]
a, b = np.linalg.solve(XtX, Xty)            # 정규방정식
print(a, b)                                 # 2.2 0.6

e = y - (a + b * x)
print(e, e.sum(), (x * e).sum())            # 잔차, 0, 0 (직각 조건)

sst = ((y - y.mean()) ** 2).sum()
sse = (e ** 2).sum()
print(sst, sst - sse, sse, 1 - sse / sst)   # 6, 3.6, 2.4, 0.6

print(np.polyfit(x, y, 1))                  # [0.6 2.2]

실무에서는 정규방정식을 직접 풀기보다 np.linalg.lstsq처럼 QR이나 SVD를 쓰는 함수를 씁니다. $X^{\mathsf T}X$ 의 역행렬을 구하면 수치 오차가 커질 수 있기 때문입니다.

13. 흔한 오해와 한계

1. 오차는 세로로 잰 거리입니다. 점에서 직선까지의 수직(가장 짧은) 거리가 아닙니다. $x$ 에도 오차가 있다면 수직 거리를 재는 다른 방법(전체최소제곱)이 필요하고, 앞선 PCA 글의 첫 번째 주성분 축이 그런 직선의 한 예입니다.
2. $x$ 와 $y$ 를 바꾸면 직선이 달라집니다. $y$ 를 $x$ 에 맞춘 직선과 $x$ 를 $y$ 에 맞춘 직선은 같지 않습니다(기울기가 $r\,s_y/s_x$ 와 $r\,s_x/s_y$). 이 비대칭은 다음 편 갈턴의 "평균으로의 회귀"와 이어집니다.
3. $R^2$ 이 높다고 인과관계가 있거나 모형이 옳은 것은 아닙니다. 곡선 관계의 자료에도 직선은 그려지고, 이상치 하나가 $R^2$ 을 크게 바꾸기도 합니다. 잔차 그림을 꼭 함께 보세요.
4. 절편이 없는 모델에서는 분해가 깨질 수 있습니다. 7절의 $\text{SST}=\text{SSR}+\text{SSE}$ 는 절편이 있을 때($\sum e_i=0$) 성립합니다.
5. 가우스–마르코프는 "선형 불편추정량 중 최선"입니다. 오차의 분산이 같고 서로 상관없다는 가정이 깨지면(이분산, 시계열) 최선이 아닙니다.
6. 범위 밖 예측은 위험합니다. 자료가 있는 구간 밖으로 직선을 늘려 쓰면 맞지 않을 수 있습니다.
7. 우선권 이야기를 단순화하지 마세요. 먼저 출판한 사람은 르장드르, 먼저 썼다고 밝힌 사람은 가우스입니다. 여기서는 원전에 적힌 사실만 옮겼고, 누가 "발명자"인지 가리지는 않습니다.

14. 뿌리 개념 지도

학교급 배치는 교육과정 문서로 아직 대조하지 못했습니다. 개정마다 단원 위치가 달라질 수 있어서(특히 상관계수, 편미분, 행렬) 참고용으로 봐 주세요. 물리 연결의 예로 용수철의 늘어난 길이가 당기는 힘에 비례한다는 법칙(훅의 법칙)에서 비례상수를 여러 측정으로 정하는 일이 있습니다.

우리 사이트의 중학수학(일차함수, 피타고라스 정리, 이차함수), 수능수학, 데이터분석 학습 경로(LA04 내적, LA20 투영, LA21 정규방정식, LA22 잔차의 직교성)에서 각 개념을 문제로 연습할 수 있어요. 교재로는 Axler, Linear Algebra Done Right 6장(직교 보공간과 최소화 문제 절)과 연결됩니다.

15. 한 줄 요약

최소제곱 직선은 오차의 제곱합을 가장 작게 하는 직선이고, 그 계수는 정규방정식 $X^{\mathsf T}X\boldsymbol\beta=X^{\mathsf T}\mathbf y$ 의 해입니다. 이 식은 미분으로도, "잔차가 열공간에 수직"이라는 투영으로도 나오며, 그 기하 덕분에 $\text{SST}=\text{SSR}+\text{SSE}$, $R^2=r^2$, 가우스–마르코프 정리가 모두 피타고라스 한 줄로 이어집니다. 가우스는 오차가 정규분포라면 이것이 가장 그럴듯한 직선임을 보였습니다.

읽을거리

• 르장드르의 부록 원문(프랑스어, 요크대 수학사 자료실 사본, 1806년 판): york.ac.uk/depts/maths/histstat/legendre2.pdf. 1805년 초판은 Firmin Didot에서 나왔습니다.
• 가우스 《Theoria motus》(1809, 라틴어)의 영어 번역(Davis, 1857): archive.org/details/theoryofmotionof00gaus. 제2권 제3절이 최소제곱을 다룹니다.
• 서지는 이 글 맨 아래 "출처"에도 있습니다. 두 원전은 저작권이 만료된 고전이며, 이 글은 문장을 옮기지 않고 요지만 새로 풀어 썼습니다.
• 다음 편(회귀 시리즈 2편): 갈턴(1886)과 "평균으로의 회귀", 상관.