적률생성함수
덤프버전 :
1. 개요 및 정의[편집]
moment generating function · 積率生成函數
특정 확률 분포의 '적률'을 '생성'하는 '함수'이다. '모멘트 생성함수'라고도 하며, 약칭으로 MGF라고도 한다.
확률 변수 혹은 분포의 [math(n)]차 적률 혹은 모멘트(moment)는 확률변수의 거듭제곱의 기댓값으로, 다음과 같이 정의한다. 적률이 존재하지 않을 수도 있다.
[math(\displaystyle \mu_n = \mathbb{E}[X^n] )]
적률 생성함수 혹은 모멘트 생성함수는 이들 적률을 계수로 갖는 급수로, 정확한 정의는 다음과 같다.
[math(M_X(t) = \mathbb{E}[e^{tX} ] )]
만약 위 기대값이 [math(t=0)]의 근방에서 수렴한다면, 다음처럼 급수전개가 가능함을 증명할 수 있다.
[math(\displaystyle M_X(t) = \mathbb{E}\left[\sum_{k=0}^{\infty} \frac{(tX)^k}{k!}\right] = \sum_{k=0}^{\infty} \frac{t^k}{k!} \mathbb{E}[X^k] )]
따라서 테일러 정리에 의해 [math(\mu_n = M^{(n)}(0))]을 얻을 수 있다.
물론 이 모든 얘기는 확률변수 [math(e^{tX})]가 [math(t=0)] 근방에서 적분가능해야 의미가 있고, 이 조건이 만족되지 않으면 적률생성함수를 생각할 수 없다. 그러기 위해서는 모든 차수의 적률이 존재해야 할 뿐만 아니라, 이들이 너무 빠르게 증가해도 안 된다. 적률생성함수가 존재한다는 조건은 의외로 매우 까다로운 조건이다. 심지어 모든 차수의 적률이 존재한다 하더라도 적률생성함수가 존재하지 않을 수 있다. 대표적인 반례가 [math(\log X)]가 정규분포를 따르는 확률변수 [math(X)]이다. 여기서 [math(X)]가 따르는 확률분포를 로그정규분포라고 부른다.
일변수일뿐만 아니라 [math(X)]가 다변수 확률 변수일 경우에도, 벡터함수로 적률생성함수를 정의할 수 있다. 이 경우에 [math(tX)]는 내적으로 간주한다. 이 다변수 세팅
[math(X=(X_1,\, X_2,\, \cdots,\, X_n))]
에서 적률생성함수의 테일러 급수는 결합 적률(joint moment)
[math(\displaystyle \mu_{(k_1,\,k_{2},\, \cdots,\, k_n)} = \mathbb{E}[X_1^{k_1} \cdots X_n^{k_n}])]
을 나타낸다고 볼 수 있다. 이 경우에는 일변수와 구별하기 위해서 결합적률생성함수(joint moment generating function)라는 이름으로 많이 부른다.
적률생성함수는 확률론 외적으로도 다양한 개념들과 관련을 짓고 있다.
- 이름에서 알 수 있듯이 적률생성함수도 생성함수의 일종이고, 의외로 비슷한 활용법들도 많다.
- 라플라스 변환을 보았다면 연속확률변수의 경우[1] 적률생성함수는 확률분포함수의 라플라스 변환임을 관찰할 수 있다.
- 라플라스 변환의 수렴 문제로 대신 푸리에 변환을 생각하듯이, 적률생성함수 대신에 확률분포함수의 푸리에 변환인 특성함수(characteristic function)
[math(\varphi_X(t) = \mathbb{E}[e^{itX}])]
2. 여러 가지 적률[편집]
- 평균에 대한 적률: [math(Y=X-\mathrm E(X))]일 때, [math(Y)]의 적률이 [math(X)]의 평균에 대한 적률이다. 차수에 따라 다음과 같은 정보를 준다.
- 계승적률: X의 거듭제곱 대신 계승인 [math({}_X\mathrm P_n)]을 사용한 적률.
분산은 각각의 적률을 사용해 3가지 방법으로 구할 수 있다.
보통은 1번이나 2번의 방법을 주로 사용하는데, 이항 분포 혹은 푸아송 분포, 혹은 기하 분포의 분산은 계승적률을 쓰는 방법이 나머지 두 방법보다 편리하다.
3. 적률생성함수의 성질[편집]
다음 성질들을 증명할 수 있다.
- [math(M_{X+c}(t) = e^{ct} M_X(t))]
- [math( M_{kX}(t) = M_{X}(kt) )]
- [math(X, Y)]가 독립이면 [math(M_{X+Y}(t) = M_X(t) M_Y(t))]이다.
- 두 확률분포의 적률생성함수가 동일하면, 두 확률분포는 동일하다.
- 확률변수 [math(X_n)]의 적률분포함수가 [math(X)]의 적률분포함수에 구간 내에서 수렴하면, [math(X_n)]의 분포는 [math(X)]의 분포에 수렴한다.
4. 여러 가지 확률 분포의 적률생성함수[편집]
4.1. 정규 분포[편집]
표준정규분포 [math(Z \sim N(0,1))]의 적률생성함수는 다음처럼 [math(M_{Z}(t) = e^{{t^2}/2})]로 나타난다.
[math( \displaystyle \begin{aligned} M_{Z}(t) &= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}}e^{-{z^2}/2}e^{zt} \,{\rm d}z \\&= e^{{t^2}/2} \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}} e^{-{(z-t)^2}/2} \,{\rm d}z \\&= e^{{t^2}/2} \end{aligned})]
정규분포 [math(N(\mu, \sigma^2))]는 표준정규분포 [math(Z \sim N(0,1))]에 대해 [math(X=\sigma Z + \mu)]의 분포로 나타나므로, 따라서 이 적률생성함수는 위 일차변환 성질을 이용하면 다음처럼 나타난다.
[math( \displaystyle M_{X}(t) = e^{\mu t + (\sigma^2 t^2/2)})]
여담으로 다변수 정규분포를 다음의 생성함수를 통해서 '정의'하기도 한다.
[math( \displaystyle M_{{\bf X}}({\bf t}) = \exp( {\bf \mu} \cdot {\bf t} + \frac{1}{2} {\bf t}^{T} {\bf \Sigma} {\bf t} ) )]
여기서 [math({\bf \mu})]는 평균벡터, [math({\bf \Sigma})]는 공분산행렬이다.
4.2. 이항 분포[편집]
베르누이 시행의 적률생성함수가 [math(p e^t + q)] 이므로, 이것의 [math(n)]회 독립시행의 누적인 [math((pe^t+q)^n)]이 된다. 물론 이항정리를 활용해 다음처럼 증명할 수도 있다.
[math(\begin{aligned} M_X(t)&=\displaystyle\sum_{k=0}^ne^{kt} \binom{n}{k} p^kq^{n-k}\\&=\displaystyle\sum_{k=0}^n \binom{n}{k}(pe^t)^kq^{n-k}\\&=(pe^t+q)^n \end{aligned})]
4.3. 기하 분포[편집]
[math(\begin{aligned} M_X(t)&=\displaystyle\sum_{k=1}^\infty e^{kt}q^{k-1}p\\&=\dfrac pq\displaystyle\sum_{k=1}^\infty(qe^t)^k\\&=\dfrac pq\dfrac{qe^t}{1-(qe^t)}\\&=\dfrac {pe^t}{1-qe^t} \end{aligned})]
수렴 범위는 [math(qe^t<1)], 즉 [math(t<-\ln q)]이다.[4]
4.4. 푸아송 분포[편집]
[math(\begin{aligned} M_X(t)&=\displaystyle\sum_{k=0}^\infty e^{kt}e^{-\lambda}\dfrac{\lambda^k}{k!}\\ &=e^{-\lambda}\displaystyle\sum_{k=0}^\infty\dfrac{(e^t\lambda)^k}{k!}\\ &=e^{-\lambda}e^{e^t\lambda}\\ &=e^{\lambda(e^t-1)} \end{aligned})]
[4] 보통 [math(t=0)]을 대입하여 적률을 구하고, [math(0<q<1)]에서 [math(-\ln{q}>0)]이기 때문에 적률을 구하는 데 이 수렴 범위는 아무런 문제가 없다.
5. 활용 사례[편집]
중심 극한 정리의 증명 등등에서 핵심 도구로 쓰이고, 기타 조합론의 생성함수처럼 활용되는 경우도 있다. 다만 적률생성함수의 존재성은 매우 까다로운 조건이어서, 도구로 쓰인다면 상술한 특성함수를 쓰는 게 보편적이다. 적률생성함수가 특성함수를 제치고 쓰여지는 경우는 적률을 어림하는 부등식에서인데, 쉬운 예로는 젠센 부등식을 적용해서 바로 나오는 [math(M_X(t) \ge e^{\mu t})] 등이 있고, 기타 여러 가지 적률생성함수와 관련된 부등식들이 있다.
이 문서의 내용 중 전체 또는 일부는 2023-12-15 20:43:12에 나무위키 적률생성함수 문서에서 가져왔습니다.