[Statistics 110] Lecture 14: Location, Scale, and LOTUS

표준정규분포

표준정규분포에서 기함수의 성질을 이용하면 $E(X) =0, E(X^2) = 1 , E(X^3) = 0$.

일반정규분포

$X \sim \mu + \sigma Z$ 라고 하면 $X \sim N(\mu, \sigma^2)$ 을 따른다

기댓값은 선형성에 의해 $E(X) = E(\mu) + \sigma(E(Z)) = \mu$.

분산의 성질

$$ Var(X) = E((X-E(X))^2) = E(X^2) - (E(X))^2 \\Var(X+c) = Var(X)\\Var(cX) = c^2Var(X)\\Var(X+Y) \ne Var(X) + Var(Y) $$

일반정규분포의 분산

$$ Var(X) = Var(\mu+\sigma Z) = Var(\sigma Z) = \sigma^2Var(Z) = \sigma^2 $$

일반정규분포를 표준정규분포로 표준화 (자주 쓰임)

$$ Z = \frac{X-\mu}{\sigma} $$

표준정규분포의 pdf를 알고 있을 때, 일반정규분포의 pdf 식을 도출해낼 수 있음 ($\Phi$는 표준정규분포의 cdf)

$$ P(\frac{X-\mu}{\sigma} \le \frac{x-\mu}{\sigma}) = \Phi(\frac{X-\mu}{\sigma}) $$

합성함수의 미분을 사용하여 식을 전개하면 pdf 식은

$$ \frac{1}{\sigma} \Phi'(\frac{X-\mu}{\sigma}) = \frac1{\sigma\sqrt{2\pi} }e^{-(\frac{x-\mu}{\sigma})^2/2} $$

독립적인 정규분포를 더하거나 빼도 정규분포

$$ X_j \sim N(\mu_j, \sigma^2_j) \\ X_1 + X_2 \sim N(\mu_1+\mu_2, \sigma^2_1 + \sigma^2_2)\\X_1 -X_2 \sim N(\mu_1-\mu_2, \sigma^2_1 + \sigma^2_2) $$

68,95,99.7% Rule

$$ X \sim N(\mu, \sigma^2) \\ P(|X-\mu| \le \sigma) \approx 0.68\\P(|X-\mu| \le 2\sigma) \approx 0.95\\P(|X-\mu| \le 3\sigma) \approx 0.994\\ $$

포아송분포의 분산

이항분포의 분산

$X \sim Bin(n,p), Find \space Var(X)$.

Indicator random variable로 표현하면, $X = I_1+... + I_n$.

분산을 구하기 위해 $E(X^2)$을 구해보자

$$ X^2 = I_1^2 + ...+I_n^2 + 2I_1I_2 + ... + 2I_{n-1}I_n \\ E(X^2) = nE({I_1}^2) + 2\binom{n}{2}E(I_1I_2) $$

$I_1$는 지시확률변수로 0아니면 1의 값을 가지기 때문에 $I_1^2 = I_1$과 같다.

지시확률변수의 곱은 새로운 지시확률변수가 된다. (시행 두번이 모두 성공 / 실패)

식을 이어서 완성하면

$$ =np + n(n-1)p^2 = np + n^2p^2 - np^2 \\Var(X) = np + n^2p^2 - np^2 - n^2p^2 = np(1-p) = npq $$

LOTUS의 증명(discrete sample space)

$$ E(g(X)) = \sum_xg(x)P(X=x) $$

Pebble world 관점으로 보면 (가중치를 주지 않고 모두 더하는 합)

$$ \sum_xg(x)P(X=x) = \sum_{s\in S}g(X(s))P(\{s\}) $$

좌변은 같은 x값을 가지는 pebble을 모아 거대한 자갈을 만들고 계산하는 방식

우변은 자갈 하나 하나의 잘량과 해당 자갈의 확률변수의 값을 곱하여 모두 더하는 방식

$$ \sum_x\sum_{S:X(s)=x}g(X(s))P(\{s\}) = \sum_x\sum_{S:X(s)=x}g(X(s))P(\{s\})\\ = \sum_xg(x)\sum_{S:X(s)=x}P(\{s\}) = \sum_xg(x)P(X=x) $$

직관적인 이해

pebble world 관점으로 평균을 구할 때의 식

$$ E(X) = \sum_{s\in S}X(s)P(\{s\}) $$

$X=1$ 인 자갈 3개(A,B,C), $X=2$인 자갈 2개(D,E)가 있다고 하자

하나의 자갈의 질량은 1/5, $P(\{s\}) = \frac15$.

$X(s)$는 함수로 해당 자갈이 나타내는 확률변수의 값을 output으로 함

$X(A),X(B),X(C) = 1, X(D),X(E)=2$

$g(x) = x^2$ 일 때 $E(g(X))$를 구해보자

Pebble world 관점에서 자갈 하나의 질량은 그대로 1/5, 자갈이 나타내는 확률변수의 값은 제곱이 된 상황이다.

$g(X(A)),g(X(B)),g(X(C)) = 1^2, g(X(D)),g(X(E)) = 2^2$.

식으로 나타내면 아래 식의 좌변과 같고, 우변은 가중치를 주어 기댓값을 계산하는 경우의 식이다.

$$ \sum_{s\in S}g(X(s))P(\{s\}) = \sum_xg(x)P(X=x) $$

 

Reference

[0] https://www.youtube.com/playlist?list=PL2SOU6wwxB0uwwH80KTQ6ht66KWxbzTIo