[Statistics 110] Lecture 22: Transformations and Convolutions

초기하분포 분산

저번 강의에 이어서 식 정리

$$ Var(X) = Var(X_1+...+X_n) = Var(X_1)+...+Var(X_n)+2\sum_{i<j}Cov(X_i,X_j)\\np(1-p)+2\binom{n}{2}(\frac{w(w-1)}{(w+b)(w+b-1)}-p^2)\\=\frac{N-n}{N-1}np(1-p) $$

$\frac{N-n}{N-1}$은 비복원 추출에 따른 조정값으로 N=w+b이고 n이 1이면 베르누이분포의 분산과 같아지며, N이 매우크면 조정값이 거의 1과 같아 이항분포와 비슷한 성질을 가진다(복원과 비복원이 비슷)

Transformations

LOTUS를 통해 어떤 함수 g에 의해 변환된 확률변수의 기댓값을 구할 수 있었다.

변환된 후 확률분포를 얻으려면 어떻게 해야할까?

$X$를 pdf가 $f_x$인 연속확률변수라고 하고, $Y=g(X)$라고 하자. (g는 미분가능한, 증가함수)

$Y$의 pdf는 $f_Y(y) = f_X(x)\frac {dx}{dy}$가 된다. ($y=g(x),x=g^{-1}(y)$)

Proof)

$$ P(Y\le y) = P(g(X) \le y) = P(X \le g^{-1}(y)) = F_X(g^{-1}(y)) = F_X(x) $$

pdf를 구하기 위해 y로 미분을 하면

$$ f_Y(y) = f_X(x)\frac{dx}{dy} $$

예시, 표준 log-normal 분포)

$Y = e^Z$, $Z \sim N(0,1)$

$$ Z = ln(Y)\\f_Y(y) = f_X(x)\frac{dx}{dy}\\ = \frac{1}{\sqrt{2\pi}}e^{-ln(y)^2}\frac{dx}{dy} $$

$\frac{dy}{dz}$는 $e^z$로 $y$와 같기 때문에 식을 이어서 풀면

$$ f_Y(y) = \frac1{\sqrt{2\pi}}e^{-ln(y)^2}\frac1y $$

Multidimensional Transformations

$\vec Y = g(\vec X), g: \R^n \rightarrow \R^n$.

$$ f_{\vec Y}(\vec y) = f_{\vec X}(\vec x)|\frac{d\vec x}{d\vec y}| $$

$|\frac{d\vec x}{d\vec y}|$는 Jacobian의 determinant의 절댓값

Convolution

$T = X+Y$이고 $X,Y$가 독립이라고 하면

$$ P(T=t) = \sum_XP(T=t|X=x)P(X=x) \\= \sum_XP(X+Y=t|X=x)P(X=x) = \sum_XP(Y=t-x)P(X=x) $$

$$ f_T(t) = \int F_X(x)F_Y(t-x)dx $$

CDF

$$ F_T(t) = P(T\le t) = \int_{-\inf}^{inf}P(X+Y\le t|X=x)f_X(x)dx\\ = \int_{-\inf}^{inf}P(Y\le t-x)f_X(x)dx\\ = \int_{-\inf}^{inf}F_Y(t-x)f_X(x)dx $$

CDF에서 양변을 미분하면 PDF를 구할 수 있음

Shannon’s Noisy Channel Coding Theorem

Idea: 어떤 특성 A를 가진 물체의 존재를 확률로 증명

$A$는 물체가 특성 $A$를 가지는 사건

어떤 물체애 대해 $P(A) >0$임을 보이면 된다.

각 물체에 “점수”가 있다고 가정한다. 좋은 점수(평균 이상)의 점수를 가지는 object는 무조건 1개 이상 존재한다.

예시) 100명의 사람들, 15개의 위원회가 있고 한 사람이 3개에 위원회에 속해있다면 겹치는 사람이 3명보다 많은 위원회가 존재한다는것을 보여라

임의의 두 위원회에서 겹치는 사람의 기댓값을 구하자.

사람 j가 특정 위원회 2개에 동시에 속해있는 사건을 나타내는 지시확률변수 $X_j$를 설정

$$ X_j = \frac{\binom32}{\binom{100}2} \\ E(X) = E(X_1)+...+E(X_{100}) = 100\frac{\binom32}{\binom{100}2} =\frac{20}7\approx 3 $$

즉 적어도 겹치는 사람이 2.88명 이상인 위원회가 존재한다는 것이기 때문에 겹치는 사람이 3명이상인 위원회는 반드시 존재한다.

 

Reference

[0] https://www.youtube.com/playlist?list=PL2SOU6wwxB0uwwH80KTQ6ht66KWxbzTIo 

Statistics 110: Probability