일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
- motion matching
- WBP
- Stat110
- 폰트생성
- NLP
- CNN
- Few-shot generation
- 디퓨전모델
- RNN
- ddpm
- WinAPI
- deep learning
- UE5
- 생성모델
- dl
- Generative Model
- Diffusion
- 언리얼엔진
- GAN
- ue5.4
- Unreal Engine
- cv
- animation retargeting
- 모션매칭
- userwidget
- 딥러닝
- BERT
- multimodal
- 오블완
- Font Generation
- Today
- Total
Deeper Learning
[Statistics 110] Lecture 28: Inequalities 본문
[Statistics 110] Lecture 28: Inequalities
Dlaiml 2023. 1. 28. 15:52Conditional Expected value
특정 기간동안 방문한 손님의 수를 $N$, $X_j$를 j번째 고객이 소비하는 비용이라고 하자(평균은 $\mu$, 분산은 $\sigma^2$)
$N,X_1,...,X_n$은 서로 독립일 때 $X = \sum_{j=1}^NX_j$의 평균과 분산을 구하여라.
$$ E(X) = \sum_{n=0}^{\inf}E(X|N=n)P(N=n) =\mu E(N) $$
Adam’s Law를 활용해도 같은 결과를 얻을 수 있다.
$$ E(X) = E(E(X|N)) = E(\mu N) = \mu E(N) $$
EVE’s Law로 분산을 구해보자
$$ Var(X) = E(Var(X|N)) + Var(E(X|N)) \\ = E(N \sigma^2) + Var(\mu N) = \sigma^2E(N) + \mu^2Var(N) $$
Inequalities
Cauchy-Schwartz Inequality
$$ |E(XY)| \le \sqrt{E(X^2)E(Y^2)} $$
Jensen’s Inequality
$g$가 convex function이라면
$$ E(g(X)) \ge g(E(X)) $$
$g(X) = X^2$이라고 하면 $E(X^2) \ge E(X)^2$, 분산이 음수가 될 수 없기 때문에 쉽게 외울 수 있음
증명)
점 ($\mu,g(\mu)$)에서 접선의 방정식을 $y = a+ bx$라고하면 convex function의 경우 $g(x) \ge a+bx$가 보장, 양변에 기댓값을 씌우면
$$ E(g(X)) \ge E(a+bX) = a+bE(X)\\ = a+b\mu = g(\mu) = g(E(X)) \\ \therefore E(g(X)) \ge g(E(X)) $$
Markov Inequality
$$ P(|X| \ge a) \le \frac{E(|X|)}{a},(a >0) $$
지시확률변수를 활용한 증명
$$ a(I_{|X|\ge a}) \le |X|\\aE(I_{|X|\ge a}) \le E(|X|) \\ E(I_{|X| \ge a}) = P(|X| \ge a) \le \frac{E(X)}{a} $$
$|X|$가 $a$보다 작으면 좌변이 0으로 식이 성립, 그렇지 않으면 정의에 따라 $a \le |X|$가 성립
직관을 주는 예시
- 100명 중 최소 95%의 사람들이 평균 나이보다 어린 경우가 존재하는가? Y
- 100명 중 50% 이상의 사람들이 평균 나이의 2배보다 많을 수 있나? N
$$ P(|X| \ge 2E(X)) \le \frac 12 $$
Chebyshev’s Inequality
$$ P(|X-\mu| \ge a) \le \frac{Var(X)}{a^2}, (\mu=E(X),a>0)\\P(|X-\mu| \ge c \cdot sd(X)) \le \frac 1c^2,(c>0) $$
증명은 Markov inequality를 활용
$$ P(|X-\mu| \ge a) = P((X-\mu)^2 \ge a^2) \le \frac{E(X-\mu)^2}{a^2} = \frac{Var(X)}{a^2} $$
Reference
[0] https://www.youtube.com/playlist?list=PL2SOU6wwxB0uwwH80KTQ6ht66KWxbzTIo