[Statistics 110] Lecture 28: Inequalities

Conditional Expected value

특정 기간동안 방문한 손님의 수를 $N$, $X_j$를 j번째 고객이 소비하는 비용이라고 하자(평균은 $\mu$, 분산은 $\sigma^2$)

$N,X_1,...,X_n$은 서로 독립일 때 $X = \sum_{j=1}^NX_j$의 평균과 분산을 구하여라.

$$E(X) = \sum_{n=0}^{\inf}E(X|N=n)P(N=n) =\mu E(N)$$

Adam’s Law를 활용해도 같은 결과를 얻을 수 있다.

$$E(X) = E(E(X|N)) = E(\mu N) = \mu E(N)$$

EVE’s Law로 분산을 구해보자

$$Var(X) = E(Var(X|N)) + Var(E(X|N)) \\ = E(N \sigma^2) + Var(\mu N) = \sigma^2E(N) + \mu^2Var(N)$$

Inequalities

Cauchy-Schwartz Inequality

$$|E(XY)| \le \sqrt{E(X^2)E(Y^2)}$$

Jensen’s Inequality

$g$가 convex function이라면

$$E(g(X)) \ge g(E(X))$$

$g(X) = X^2$이라고 하면 $E(X^2) \ge E(X)^2$, 분산이 음수가 될 수 없기 때문에 쉽게 외울 수 있음

 

증명)

점 ($\mu,g(\mu)$)에서 접선의 방정식을 $y = a+ bx$라고하면 convex function의 경우 $g(x) \ge a+bx$가 보장, 양변에 기댓값을 씌우면

$$E(g(X)) \ge E(a+bX) = a+bE(X)\\ = a+b\mu = g(\mu) = g(E(X)) \\ \therefore E(g(X)) \ge g(E(X))$$

Markov Inequality

$$P(|X| \ge a) \le \frac{E(|X|)}{a},(a >0)$$

지시확률변수를 활용한 증명

$$a(I_{|X|\ge a}) \le |X|\\aE(I_{|X|\ge a}) \le E(|X|) \\ E(I_{|X| \ge a}) = P(|X| \ge a) \le \frac{E(X)}{a}$$

$|X|$가 $a$보다 작으면 좌변이 0으로 식이 성립, 그렇지 않으면 정의에 따라 $a \le |X|$가 성립

직관을 주는 예시

• 100명 중 최소 95%의 사람들이 평균 나이보다 어린 경우가 존재하는가? Y
• 100명 중 50% 이상의 사람들이 평균 나이의 2배보다 많을 수 있나? N

$$P(|X| \ge 2E(X)) \le \frac 12$$

Chebyshev’s Inequality

$$P(|X-\mu| \ge a) \le \frac{Var(X)}{a^2}, (\mu=E(X),a>0)\\P(|X-\mu| \ge c \cdot sd(X)) \le \frac 1c^2,(c>0)$$

증명은 Markov inequality를 활용

$$P(|X-\mu| \ge a) = P((X-\mu)^2 \ge a^2) \le \frac{E(X-\mu)^2}{a^2} = \frac{Var(X)}{a^2}$$

 

Reference

[0] https://www.youtube.com/playlist?list=PL2SOU6wwxB0uwwH80KTQ6ht66KWxbzTIo