문서의 임의 삭제는 제재 대상으로, 문서를 삭제하려면 삭제 토론을 진행해야 합니다. 문서 보기문서 삭제토론 추론통계학 (문단 편집) === 점추정: 좋은 추정량의 기준 === [[양궁]]을 한다고 가정하자. 점추정은 과녁을 향해 화살을 쏘는 것과도 같다. 과녁의 정중앙에 화살을 최대한 가까이 꽂아야 하듯이, '''좋은 추정을 하려면 모집단의 모수라는 과녁에 표본의 통계량이라는 화살을 최대한 가까이 꽂아야 한다.''' 그리고 표본의 추출은 화살이 될 것이고, 위에서 소개했던 표본분포 개념은 과녁에 화살들이 꽂힌 모양에 대응될 것이다. 표본분포가 [[정규분포]]를 따른다는 얘기는, '방금 자신이 쏘았던 한 발의 화살은 평소 자기 실력에서 크게 벗어나지 않은 화살' 이라고 웬만하면 믿을 수 있겠다는 얘기가 된다. 실력 있는 사수의 과녁은 어떤 모습일까? 우선, 매번 화살을 쏠 때마다 손이 흔들려서 화살들이 사방팔방으로 튀면 안 된다. 과녁에 화살들이 얼마나 넓게 퍼져서 꽂혀 있는지의 산포의 모습은 곧 평균의 표본분포가 갖는 '''[[분산]]'''이 될 것이다. 그런데 양궁의 실력은 '''분산만으로 끝이 아니다.''' 좋은 양궁 실력은 단순히 일관되게 쏘는 능력뿐만 아니라 목표했던 과녁 정중앙에 화살을 정확히 조준하는 능력도 포함하기 때문이다. 화살들이 오밀조밀 모여 있는데 과녁 가장자리에 죄다 박혀 있다면(…) 그 사람은 잘 쏘는 게 아니다. 여기서 과녁 정중앙을 얼마나 정확히 조준하고 있는지의 모습은, 평균의 표본분포가 갖는 '''편의'''(bias)라는 개념에 대응된다.[* 조사방법론에 대한 지식이 있다면 여기서 직감적으로 [[신뢰도와 타당도]]를 떠올릴 것이다. 실제로 분산은 신뢰도(reliability)를 저하시키는 비체계적 오차(non-systematic error)에, 편의는 타당도(validity)를 저하시키는 체계적 오차(systematic error)에 대응되는 관계다.][* 영어단어 bias는 분야마다 번역하는 방식이 다 다르다. [[수학]]이나 [[통계학]]에서는 편의(偏倚)로, [[심리학]]에서는 [[편향]](偏向)으로 번역되며, '치우쳐지면 안 될 무언가가 치우쳐졌다' 는 의미를 갖는다. 그냥 아예 속 편하게 '바이어스' 라고 음역해 버리는 분야들도 많다. 국내 [[의학]]계도 한자어 번역의 어려움을 인식했는지 순우리말로 '비뚤림' 이라고 번역했다.] 그리고 각각의 화살이 꽂힌 위치(표본평균)와 과녁 정중앙(모평균) 사이의 거리를 재어 보면, 그 거리에는 '''분산과 편의 두 종류가 모두 반영'''되어 있다. 이것을 '''추정오차'''(estimation error)라고 한다.[* 정확히 말하면 추정오차는 편의의 제곱에 분산을 합산한 값이며, [[회귀분석]]에서 모델링을 세울 때 쓰는 용어인 잔차(residual)에 대응된다. 잔차는 모델을 활용해서 얼마만큼의 오차는 설명하는 데 성공했지만, 이 모델로도 나머지 얼마만큼의 오차는 설명되지 못하고 남겨졌다는 의미다. 언뜻 비슷해 보이지만 잔차에서는 표본분포 개념을 전제하지 않는다는 차이가 있다. 추정오차를 잔차의 논리로 설명하는 경우도 많으나, 사회통계 커리큘럼에서는 벗어난다.] 분산과 편의가 모두 반영된 개념이 추정오차라면, '''어떤 표본평균이 모평균에 대해 갖는 추정오차를 최소화할 때 비로소 좋은 추정이 이루어졌다고 판단'''할 수 있을 것이다. 즉, 분산과 편의가 모두 작은 추정이 필요하다. 그렇다면 추정오차가 최소화되었는지는 어떻게 알 수 있을까? [[기술통계학]]에서의 분산의 논리를 생각해 보자. 평균으로부터 각 관찰값들이 얼마나 멀리 퍼져 있는지는, 관찰값과 평균의 차이인 편차(deviation)를 모두 구한 후, (-) 부호를 떨구기 위해서 임의로 모든 수에 제곱연산을 해 주고, 이 값들을 합산한 편차제곱합에다 관찰값의 수를 나누어 주면 된다. 그렇다면 마찬가지로, 표본평균들이 모평균으로부터 떨어진 거리인 추정오차를 제곱해서 (-) 값을 떼어내고 전부 합산해서 표본평균의 수로 나눌 수도 있을 것이다. 이 논리가 바로 '''평균제곱오차'''(MSE; mean of squared error)이다. 그렇다면 분산에 [[표준편차]]가 있듯이, MSE에도 똑같이 루트를 씌울 수 있겠다 싶을 것이다. 실제로 그것은 '''평균제곱근오차'''(RMSE; root mean squared error)라고 불리며, MSE만큼 흔하게 쓰인다.[* 추론통계학에서 오차를 관리하는 다른 논리들로는 최대우도법(ML; maximum likelihood) 등이 있으며, 사실 ML도 굉장히 중요한 방법론이긴 하다. 단지 일반적인 사회통계 커리큘럼의 범위를 벗어날 뿐이며, 설령 소개된다 해도 [[회귀분석]]의 최소제곱법(LSM; least-squares method)을 설명할 때 ML이라는 비슷한 것도 있다는 정도로 이름만 말하고 넘어가는 수준이다.] MSE든 RMSE든 간에, 숫자가 작으면 작을수록 좋은 추정이라고 할 수 있으니, 이제 남은 것은 (R)MSE를 최소화할 수 있는 추정의 수학적 논리를 찾는 것이다. 자세한 내용을 구구절절 확인하는 것은 [[사회과학]]이 아니라 [[수학]]의 영역이기는 하나, 사회과학자들보다 수학을 더 잘 했던 수학자들은 마침내 '''[[기댓값]]'''(expected value)이 추정치의 편의를 최소화하는 계산 방식임을 확인했다. 하지만 모수를 추정하기 위한 [[추정량]]의 후보들은 하나 둘이 아닌데, 무엇의 기댓값을 구할 것인가? 당장 표본평균 이외에도 표본중앙값, 표본최빈값 등이 있다. 수학자들이 발견한 것은, 중앙값이나 최빈값이 아니라 '''[[평균]]의 기댓값을 구했을 때 비로소 그 기댓값이 모평균과 동일하다고 수학적으로 유도되더라는 것이다'''(E(m)=μ). 이처럼 표본의 추정량으로부터 기댓값을 구했을 때 모수와 동일하다는 결론이 나온다면 '''불편성'''(unbiasedness)을 만족한다고 하고, 이런 추정량들을 '''불편추정량'''(unbiased estimator)이라고 부르기도 한다. 마찬가지로 모분산을 알고자 할 경우에도 '''표본분산의 [[기댓값]]은 모분산과 동일하다'''(E(s^^2^^)=σ^^2^^)는 점을 활용할 수 있다. 그런데 분산에서는 뜻밖의 문제 하나가 생겼다. 수학자들이 표본분산의 기댓값 수식을 열심히 만지작거리며 모분산으로 바꾸려고 노력해 보니, 모분산이 나오긴 나오는데 쓸데없이 (n-1)/n이라는 찌꺼기(?)가 덜렁덜렁 붙어 나오더라는 것이다(σ^^2^^(n-1)/n). 바로 이 숫자가 과녁의 조준을 '비틀어지게' 하는 것이다. 그래서 이걸 없애줄 깔끔한 방법을 찾던 수학자들은, 차라리 '''표본분산의 정의에서 분모를 살짝 바꿔 버리자'''는 결론에 도달했다. 모든 문제는 표본분산을 정의할 때 편차제곱을 평균한다는, 즉 편차제곱합을 관찰값의 수(n)로 나눈다는 데 있었으니, 애초부터 거기서 1을 뺀 수(n-1)로 나눈다고 재정의해 버리면 기댓값을 계산할 때 분모에 n 대신 n-1이 들어가면서(σ^^2^^(n-1)/(n-1)) 분자의 n-1과 함께 사라져 버리는 것이다(σ^^2^^). 그래서 표본분산은 추론통계학의 목적의식에 부합하기 위해 도구적으로 재정의된 사이비(…) 분산이 되었다. 즉, 표본분산의 분모가 유독 n-1인 이유는, '''그렇게 해야 표본분산이 모분산에 대한 좋은 추정량이 될 수 있기 때문이다.'''[* 이 부분은 하술될 [[자유도]] 개념과도 관련이 있다. 모분산을 편의 없이 추정해야 한다는 절박한 목적의식이 편차제곱의 평균을 계산하는 동안 우리의 자유도에 제약을 일으켰고, 그 결과 (n-1)/n만큼의 비틀림이 발생했다고 볼 수도 있다. 모분산은 있는 그대로를 계산하면 되니까 편차제곱의 평균 계산이 자유도에 영향을 주지 않았지만, 표본분산은 있는 그대로가 아니라 모분산을 의식하면서 계산되어야 했던 것. (n-1)/n은 이런 부담으로 인해 자유도에 제약이 발생했다는 시그널인 것이다. 이에 대해 [[https://blog.naver.com/ao9364/222023124818|매우 잘 설명하고 있는 한 블로그 포스트]]에서는 "불편추정량을 만족하는 표본을 뽑기 위해서, 자유도가 하나 줄었다고 표현할 수 있겠습니다" 라고 설명하고 있다.] 그런데 위에서 추정오차는 분산과 편의가 모두 반영되었다고 소개한 것을 되새겨 보자. 추정오차를 최소화하기 위해서는 기댓값을 통해서 편의를 최소화하는 것도 필요하지만, 분산을 최소화할 필요도 있다. 여러 추정량들 중에서 분산이 충분히 작게 나타나는 성질을 '''효율성'''(efficiency)[* 유효성이라고 번역하기도 하나, 영어단어의 원뜻을 고려하면 효율성으로 번역되는 것이 더 적절하다.]이라고 하며, 이를 만족하는 추정량들은 '''효율추정량'''(efficient estimator)으로 인정한다. 즉, '''좋은 추정은 불편성을 만족할 뿐만 아니라'''(편의의 최소화) '''그와 동시에 효율성까지도 만족해야 한다'''(분산의 최소화). 편의와 분산이 모두 최소화되었을 때 가능한 가장 작은 (R)MSE 값이 구해져서, 과녁의 중앙에 최대한 가깝게 화살을 꽂을 수 있는 것이다. 만일 편의는 최소화됐으나 분산은 큰 추정량이 있다면, 과녁을 제대로 겨누기는 했으나 화살들이 과녁의 중심 주변으로 퍼져서 꽂힐 것이다. 이런 추정량의 대표적인 사례가 가중산술평균(weighted arithmetic mean)이다. 추론통계학에서 한사코 평범한 산술평균을 고집하는 이유가 바로 이 효율성이 좋기 때문이다. 평균이 한계가 많은 요약임에도 불구하고 추정에는 워낙에 강력하다 보니 인기가 있는 것. 그런데 사실 모수라는 것이 표본의 관점에서 본다면 '영원히 닿을 수 없을 만큼 멀리서 반짝이는' 아득한 무언가인 것은 아니다. 표본을 한없이 늘려 가기만 한다면, 그 표본이 갖고 있는 평균이나 분산 등은 모평균과 모분산에 점차로 가까워져서, 표본이 마침내 모집단과 동일해지게 되는 순간에는 표본평균이 곧 모평균이 되고, 표본분산이 곧 모분산이 되어야 한다. 마찬가지로 표준오차의 경우에도, 표본의 크기가 작을 때에는 표본에 따라서 별의별 숫자가 나올 수 있으니 모분산과 표본분산의 차이가 크게 나타나겠지만, 표본의 크기가 점차 커져서 모집단의 상당수를 차지하게 되면 모분산과 표본분산의 차이는 굉장히 작아질 것이다. 이처럼 '''좋은 추정량은 표본의 크기가 커질수록 각 추정치들이 모수를 향해 점근적'''(asymptotic)'''으로 모여드는 경향을 보여야 한다.''' 이를 가리켜 '''일치성'''(consistency)이 좋다고 하고, 이런 추정량을 '''일치추정량'''(consistent estimator)이라고 한다.[* 그리고 이에 더해 흔히 소개되는 것이 "단순성이 서로 동일할 경우 더 많은 정보력을 갖는 추정량이 좋은 추정량이다" 로 알려져 있는 '''충분추정량'''(sufficient estimator)이다. 그러나 막상 웬만한 추정량 강의에서도 수학과나 통계학과 외부로 나가면 이 부분은 생략되는 경우가 많고, 사회과학 방법론으로서 추정을 배울 경우에도 딱히 더 깊이 파고들려고 하지 않는다면 이름만 기억하는 것으로도 충분하다.] 일반인들이 직관적으로 표본평균만 갖고도 모평균을 가늠할 수 있다고 입을 터는 동안, 우리의 엄밀한 수학자들은 위의 모든 세심한 검토를 거치고 나서야 비로소 어렵사리 "표본평균으로 모평균을 추정한다 해도 큰 문제는 없겠다" 라는 판단을 할 수 있었다. 위의 이야기들이 없었더라면 표본평균이 가리키는 어떤 한 숫자가 그 자체로 곧 모평균이라고 주장하는 것은 굉장한 부담이 따랐을 것이며, 주장하는 것 자체가 학술적인 스캔들(…)이 되었을지도 모른다. 아니, 심하게 말하면 점술가들이 미래를 본다고 말하는 것과 크게 다르지 않았을 것이고, 소수의 [[실험]] [[참가자]] 표본을 뽑아서 전체 인간 세계로 일반화하는 현대의 [[과학적 방법]]들조차 [[유사과학]]이라는 의심의 눈총을 받아야 했을지도 모른다. 하지만 위의 작업을 통해, 학자들은 자신들이 '''추정에 있어서 오차를 최대한으로 줄이려고 노력했고 그들이 할 수 있는 최선의 선택을 했다'''는 점을 입증할 수 있게 되었다. 그래서 설령 추정이 잘못되더라도 [[졌지만 잘 싸웠다|틀렸지만 최선을 다했다]]로 평가받을 수 있다. 비록 말 그대로 "모수는 바로 여기에 있어!" 라고 콕 집어 말하는 식으로 점추정을 하는 경우는 실제로는 거의 없지만, 그 기본 논리는 살아남아서 후학들이 아래의 구간추정을 마음 놓고 할 수 있도록 뒷받침해 주고 있다.저장 버튼을 클릭하면 당신이 기여한 내용을 CC-BY-NC-SA 2.0 KR으로 배포하고,기여한 문서에 대한 하이퍼링크나 URL을 이용하여 저작자 표시를 하는 것으로 충분하다는 데 동의하는 것입니다.이 동의는 철회할 수 없습니다.캡챠저장미리보기