[Statistics 110] Lecture 26: Conditional Expectation Continued

2 Envelope Paradox

$X,Y$ 두 봉투가 있고 하나의 봉투에는 다른 봉투의 2배의 돈이 들어있다.

모순

$$ E(Y) = E(X)\\E(Y) = E(Y|Y=2X)P(Y=2X)+E(Y|Y= \frac X2)P(Y= \frac X2) = \frac 12E(2X)+ \frac 12 E(\frac X2) = \frac 54 E(X) $$

대칭성에 의해 첫 번째식이 맞고 두 번째 식은 LOTP에 의해 맞는 것 같지만 두 번째식은 틀린 식

$E(Y|Y=2X) \ne E(2X)$.

서로 독립이라는 근거가 없기 때문에 불가능.

Patterns in Coin Flips

특정 패턴이 나오기 까지(HT) 얼마나 동전을 많이 던졌을까?

$W_{HT}$를 HT 패턴이 나오기까지 동전을 던진 횟수를 나타내는 확률변수라고 하자.

$E(W_{HT}),E(W_{HH})$를 구하여라.

내 직관은 구하려는 두 기댓값이 같을 것이었으나 실제로 정답은 4와 6

$E(W_{HT})$ 를 생각해보면 첫 앞면이 나오는데 까지의 구간 $W_1$과 그 후 뒷면이 등장하여 패턴이 등장하는 구간 $W_2$으로 나눌 수 있다.

예시로 $W_1=TTTTH$, $W_2=HHT$.

$W_1-1,W_2-1$는 모두 $Geom(1/2)$의 기하분포를 따른다.

해당 기하분포의 기댓값이 1이기 때문에 식을 정리해보면

$E(W_{HT}) = E(W_1) + E(W_2) = 2 +2 =4$.

$E(W_{HH}) = \frac12 E(W_{HH}|first \space coin \space head) + \frac12 E(W_{HH}| first \space coin \space tail)$.

첫 번째 동전이 앞면이면 다시 두 경우로 나누어 계산을 하고 뒷면인 경우에는 시행 횟수가 1회 추가되고 다시 원점으로 돌아온 것과 같다.

$E(W_{HH}) = ((2\times \frac12+(2+E(W_{HH}))\frac12 +1+E(W_{HH}))\frac12 = 6$.

직관적으로 보면 TTTHHHHT와 같은 순서로 결과가 나왔다면 TH는 TH에서만 한 번 찾을 수 있지만 HH는 HHH에서 2번 발생하는 것을 볼 수 있다.

조건부 기댓값

$$ E(Y|X=x) = \sum_yyP(Y=y|X=x)\\ E(Y|X=x) = \int_{-\inf}^{\inf}yf_{Y|x}(y|x)dy = \int_{-\inf}^{\inf}y\frac{f_{X,Y}(x,y)}{f_X(x)}dy $$

$E(Y|X=x)$는 $x$에 대한 함수와 같다. 독립일 경우 상수함수.

$g(x) = E(Y|X=x)$라고 할 수 있고, $E(Y|X) = g(X)$로도 표현 가능하다.

포아송분포 예제

$X,Y$가 i.i.d $Pois(\lambda)$를 따른다면 $E(X+Y|X)$의 값은?

$E(X+Y|X) = E(X|X) + E(Y|X) = X + E(Y) = X + \lambda.$

$E(X|X+Y)$?

$$ T =X+Y\\P(X=k|T=n) = P(T=n|X=k)P(X=k)/P(T=n)\\ = \frac{e^{-\lambda}\lambda^{n-k}/(n-k)! \cdot e^{-\lambda}\lambda^k/k!}{e^{-2 \lambda}(2\lambda)^n/n!} = \binom nk \frac1{2^n} \\ X|T \sim Bin(n,\frac1{2^n}) \\ \therefore E(X|T=n) = n/2, E(X|T) = T/2 $$

대칭성을 활용해서 다시 풀어보면

$$ E(X|X+Y) = E(Y|X+Y)\\E(X|X+Y) +E(Y|X+Y) = E(X+Y|X+Y) = X+Y\\E(X|T) = T/2 $$

Iterated Expectation (Adam's Law)

LOTP에 의하여

$$ E(E(Y|X)) = E(Y) $$

 

Reference

[0] https://www.youtube.com/playlist?list=PL2SOU6wwxB0uwwH80KTQ6ht66KWxbzTIo 

Statistics 110: Probability