[Statistics 110] Lecture 17: Moment Generating Functions

망각성질(무기억성, memoryless property)

이산확률분포는 기하분포, 연속확률분포에서는 지수분포가 유일

확률변수 $X$가 모두 양수이며, 연속적이고 무기억성을 가진다면 그 확률변수가 따르는 확률분포는 지수분포가 유일하다.

proof)

$X$의 cdf를 $F(X)$라고 하자

$$ G(X) = P(X>x) = 1 - F(x)\\G(s+t) = G(s)G(t)\space memoryless\\G(kt) = G(t)^k\\ G(1x) = G(1)^x = e^{xlnG(1)} = e^{-\lambda x} = 1-F(x) $$

기대수명

기대수명을 구하는 방법은?

어느 날 태어난 아기들을 모두 관찰하고 특정 연도에 죽은 사람의 나이를 측정

문제는 아직 죽지 않은 사람들의 데이터가 무시됨 → 중도절단 데이터

기대수명이 80이라고 하면 70살인 사람도, 방금 태어난 사람의 기대 수명은 다름

나이가 많을수록 기대수명이 증가

$$ E(T|T>20) > E(T) $$

인간의 수명은 무기억성이 아님. 무기억성이라면 기대수명이 80살이라면 20세가 되면 기대수명은 20+80이 됨

Moment Generating Function(적률생성함수, MGF)

정의

확률변수 $X$의 MGF는

$$ M(t) = E(e^{tx}) $$

Why moment generating?

$$ E(e^{tx}) = E(\sum_{n=0}^{\inf}\frac{x^2t^2}{n!}) = \sum_{n=0}^{\inf}\frac{E(x^n)t^n}{n!}{} $$

여기에서 $E(x^n)$은 n차 적률 (1차, 2차는 분산을 구할 때 사용)

MGF가 중요한 이유

1. 테일러 급수에서 미분을 통해 $\frac{t^n} {n!}$의 계수인 적률을 구할 수 있음
2. 두 확률변수 X, Y가 같은 MGF를 가진다면 둘은 같은 cdf를 가진다
3. X의 MGF $M_x$ Y의 MGF $M_y$라고 하고 서로 독립이라면 X+Y의 MGF는 $E(e^{t(x+y)}) = E(e^{tx})E(e^{ty})$.

확률분포의 MGF

$$ X \sim Bern(p), M(t) =E(e^{tX}) = pe^t + q \\ X \sim Bin(n,p), M(t) = (pe^t+q)^n \\Z \sim N(0,1), M(t)=\frac1{\sqrt{2\pi}}\sum_{-\inf}^{\inf}e^{tz-z^2/2}dz = e^{{t^2}/2} $$

Laplace Rule of Succession

n일 동안 연속으로 해가 뜨는것을 관찰했는데, 내일 해가 뜰 확률은 어떨까?

각 날짜에 해가 뜨는 확률변수 $X_j$는 i.i.d $Bern(p)$.

아직 시행 실패를 보지 못하였기 때문에 p는 미지수

p를 uniform distribution으로 가정. $P \sim Unif(0,1)$.

$$ S_n = X_1+...+X_n\\S_n|p \sim Bin(n,p) $$

Posterior는 $p|S_n$, 구하고자하는 확률은 $P(X_{n+1}=1|S_n=n)$.

$$ f(p|S_n=k) = \frac{P(S_n=k|p)f(p)}{P(S_n=k)} \propto p^k(1-p)^{n-k} \\ f(p|S_n = n) =(n+1)p^n\\P(X_{n+1}=1|S_n=n) = \int_0^1(n+1)pp^ndp = \frac{n+1}{n+2} $$

100일 연속 해가 뜨면 다음 날 해가 뜰 확률은 101/102 = 99.01..%

 

Reference

[0] https://www.youtube.com/playlist?list=PL2SOU6wwxB0uwwH80KTQ6ht66KWxbzTIo 

Statistics 110: Probability