일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 | 31 |
- UE5
- Font Generation
- ddpm
- BERT
- RNN
- deep learning
- 딥러닝
- 폰트생성
- 언어모델
- 생성모델
- Generative Model
- Diffusion
- 언리얼엔진
- 디퓨전모델
- GAN
- animation retargeting
- ue5.4
- WinAPI
- dl
- cv
- CNN
- Few-shot generation
- Stat110
- NLP
- userwidget
- WBP
- multimodal
- 모션매칭
- motion matching
- inductive bias
- Today
- Total
Deeper Learning
[Statistics 110] Lecture 22: Transformations and Convolutions 본문
[Statistics 110] Lecture 22: Transformations and Convolutions
Dlaiml 2022. 12. 25. 17:41초기하분포 분산
저번 강의에 이어서 식 정리
$$ Var(X) = Var(X_1+...+X_n) = Var(X_1)+...+Var(X_n)+2\sum_{i<j}Cov(X_i,X_j)\\np(1-p)+2\binom{n}{2}(\frac{w(w-1)}{(w+b)(w+b-1)}-p^2)\\=\frac{N-n}{N-1}np(1-p) $$
$\frac{N-n}{N-1}$은 비복원 추출에 따른 조정값으로 N=w+b이고 n이 1이면 베르누이분포의 분산과 같아지며, N이 매우크면 조정값이 거의 1과 같아 이항분포와 비슷한 성질을 가진다(복원과 비복원이 비슷)
Transformations
LOTUS를 통해 어떤 함수 g에 의해 변환된 확률변수의 기댓값을 구할 수 있었다.
변환된 후 확률분포를 얻으려면 어떻게 해야할까?
$X$를 pdf가 $f_x$인 연속확률변수라고 하고, $Y=g(X)$라고 하자. (g는 미분가능한, 증가함수)
$Y$의 pdf는 $f_Y(y) = f_X(x)\frac {dx}{dy}$가 된다. ($y=g(x),x=g^{-1}(y)$)
Proof)
$$ P(Y\le y) = P(g(X) \le y) = P(X \le g^{-1}(y)) = F_X(g^{-1}(y)) = F_X(x) $$
pdf를 구하기 위해 y로 미분을 하면
$$ f_Y(y) = f_X(x)\frac{dx}{dy} $$
예시, 표준 log-normal 분포)
$Y = e^Z$, $Z \sim N(0,1)$
$$ Z = ln(Y)\\f_Y(y) = f_X(x)\frac{dx}{dy}\\ = \frac{1}{\sqrt{2\pi}}e^{-ln(y)^2}\frac{dx}{dy} $$
$\frac{dy}{dz}$는 $e^z$로 $y$와 같기 때문에 식을 이어서 풀면
$$ f_Y(y) = \frac1{\sqrt{2\pi}}e^{-ln(y)^2}\frac1y $$
Multidimensional Transformations
$\vec Y = g(\vec X), g: \R^n \rightarrow \R^n$.
$$ f_{\vec Y}(\vec y) = f_{\vec X}(\vec x)|\frac{d\vec x}{d\vec y}| $$
$|\frac{d\vec x}{d\vec y}|$는 Jacobian의 determinant의 절댓값
Convolution
$T = X+Y$이고 $X,Y$가 독립이라고 하면
$$ P(T=t) = \sum_XP(T=t|X=x)P(X=x) \\= \sum_XP(X+Y=t|X=x)P(X=x) = \sum_XP(Y=t-x)P(X=x) $$
$$ f_T(t) = \int F_X(x)F_Y(t-x)dx $$
CDF
$$ F_T(t) = P(T\le t) = \int_{-\inf}^{inf}P(X+Y\le t|X=x)f_X(x)dx\\ = \int_{-\inf}^{inf}P(Y\le t-x)f_X(x)dx\\ = \int_{-\inf}^{inf}F_Y(t-x)f_X(x)dx $$
CDF에서 양변을 미분하면 PDF를 구할 수 있음
Shannon’s Noisy Channel Coding Theorem
Idea: 어떤 특성 A를 가진 물체의 존재를 확률로 증명
$A$는 물체가 특성 $A$를 가지는 사건
어떤 물체애 대해 $P(A) >0$임을 보이면 된다.
각 물체에 “점수”가 있다고 가정한다. 좋은 점수(평균 이상)의 점수를 가지는 object는 무조건 1개 이상 존재한다.
예시) 100명의 사람들, 15개의 위원회가 있고 한 사람이 3개에 위원회에 속해있다면 겹치는 사람이 3명보다 많은 위원회가 존재한다는것을 보여라
임의의 두 위원회에서 겹치는 사람의 기댓값을 구하자.
사람 j가 특정 위원회 2개에 동시에 속해있는 사건을 나타내는 지시확률변수 $X_j$를 설정
$$ X_j = \frac{\binom32}{\binom{100}2} \\ E(X) = E(X_1)+...+E(X_{100}) = 100\frac{\binom32}{\binom{100}2} =\frac{20}7\approx 3 $$
즉 적어도 겹치는 사람이 2.88명 이상인 위원회가 존재한다는 것이기 때문에 겹치는 사람이 3명이상인 위원회는 반드시 존재한다.
Reference
[0] https://www.youtube.com/playlist?list=PL2SOU6wwxB0uwwH80KTQ6ht66KWxbzTIo
'Statistics & Math > Statistics 110: Probability' 카테고리의 다른 글
[Statistics 110] Lecture 24: Gamma distribution and Poisson process (0) | 2023.01.08 |
---|---|
[Statistics 110] Lecture 23: Beta distribution (0) | 2023.01.08 |
[Statistics 110] Lecture 21: Covariance and Correlation (0) | 2022.12.25 |
[Statistics 110] Lecture 20: Multinomial and Cauchy (0) | 2022.12.25 |
[Statistics 110] Lecture 19: Joint, Conditional, and Marginal Distributions (0) | 2022.12.24 |