[Statistics 110] Lecture 23: Beta distribution

Beta Distribution(베타분포)

Uniform distribution의 일반화 버전

$Beta(a,b), a>0, b>0$.

PDF

$f(x) = cx^{a-1}(1-x)^{b-1}, 0<x<1$, $c$는 normalizing contant

성질

• 0~1에 위치하는 매우 유연한 분포

1. a=b=1
2. a=2, b=1
3. a=b=1/2
4. a=b=2

 

• prior distribution으로 자주 사용됨
• 이항분포의 “Conjugate prior”로 사용
• 다른 분포와의 관련성

Conjugate prior for Binomial distribution

$$ X|p \sim Bin(n,p), p \sim Beta(a,b) $$

Posterior를 구해보면

$$ f(p|X=k)=\frac{P(X=k|p)f(p)}{p(X=k)} \\ P(X=k|p) = \binom nk p^k(1-p)^{n-k} \\ f(p) = cp^{a-1}(1-p)^{b-1}\\ \frac{P(X=k|p)f(p)}{p(X=k)} \propto p^{a+k-1}(1-p)^{b+n-k-1} $$

p에 관계없는 상수항을 무시하고 보면 $Beta(a+x,b+n-x)$베타분포와 같은 것을 알 수 있다.

이항분포의 p를 베타분포를 따른다고 하면 prior와 posterior가 parameter는 다르지만 모두 베타분포인 것을 볼 수 있는데 이러한 특성을 conjugate라고 한다

베이즈 정리는 관찰을 통해 불확실성을 교정하는 것인데 관찰결과 X를 보고 p를 바꾸기에 conjugate prior는 매우 편한 형태

Bayes’ Billiards

미적분을 사용하지 않고 $\int_0^1\binom nkx^k(1-x)^{n-k}dx$ 구하라

1. N+1개의 당구공 중 하나를 분홍색으로 칠하고 0~1인 수직선에 각 공을 i.i.d로 uniform distribution으로 던졌다고하자.
2. 이는 N+1개의 공을 모두 던지고 하나를 분홍색으로 칠하는 것과 같은것이다.

$X$를 분홍색 공 왼쪽에 위치하는 흰 공의 개수라고 하자.

$p$는 분홍색 공의 위치 확률변수

$$ P(X=k) = \int_0^1P(X=k|p)f(p)dp $$

분홍색 공 왼쪽에 위치하면 성공한 시행, 그렇지 않을 경우 실패한 시행이라고 하면 $P(X=k|p)$는 이항분포를 따른다.

$$ =\int_0^1\binom nk p^k(1-p)^{n-k}dp $$

위 식은 1)의 이야기를 식으로 나타낸 것이고 2)의 이야기는 공을 던지고 하나를 분홍색으로 칠하는 것인데 모든 공 N+1개가 분홍공으로 칠해질 확률은 같기 때문에 이는 $\frac 1{n+1}$과 같다.

$$ \therefore \int_0^1\binom nk p^k(1-p)^{n-k}dp = \frac1{n+1} $$

 

Reference

[0] https://www.youtube.com/playlist?list=PL2SOU6wwxB0uwwH80KTQ6ht66KWxbzTIo