[Statistics 110] Lecture 12: Discrete vs. Continuous, the Uniform

Probability Density Function(PDF)

정의

확률변수 $X$가 모든 a,b에 대해 $P(a\le X \le b) = \int_{a}^bf(x)dx$ 를 만족시키면, $X$는 확률밀도함수(PDF) $f_X(x)$를 가짐

a=b라면 적분값은 0 = 특정 값을 가질 확률은 0

pmf와 마찬가지로 음수가 아니며, 모든 구간에 대해 적분하면 1이 되어야 함

 

Density의 의미

CDF와 PDF의 관계

$$F_X(x) = P(X\le x) = \int_{-\infin}^{x}f(t)dt$$

$$pdf \space f_X(x) = cdf \space F'(x)$$

기댓값

$$E(X) = \int_{-\infin}^{\infin}xf_X(x)dx$$

분산, 표준편차

$$Var(x) = E((X-E(X))^2) = E(X^2) - (E(X))^2$$

$$SD(X) = \sqrt{Var(X)}$$

Uniform Distribution(균등분포)

Unif(a,b)는 [a,b] 범위에서 랜덤 포인트의 위치

확률이 범위와 비례하는 분포

pdf

f(x) = c (if a ≤ x ≤b) otherwise 0

(a~b로 적분하면 1이 나와야 한다 → c = 1 / (b-a)

cdf

F(x) = 0 (if x < a), 1 (if x > b), (x-a) / (b-a) (if a ≤ x ≤ b)

Expected value

$$E(X) = \int_{a}^{b} \frac{x}{b-a}dx = \frac{a+b}{2}$$

Variance

X의 제곱의 기댓값을 알아야 계산이 가능, $Y = X^2$ 라고 하면

$$E(X^2) = E(Y)$$

$$E(X) = \int_{-\infin}^{\infin}xf_X(x)dx$$

$$E(X^2) = \int_{-\infin}^{\infin}x^2f_X(x)dx$$

$X^2$의 기댓값을 구하지 않고 $X$가 따르는 pdf를 그대로 사용하고 앞의 값만 $X^2$으로 바꾼 세 번째 식은 성립한다.

이를 Law of the unconscious statistician(LOTUS, 무의식적인 통계학자의 법칙)이라고 부른다.

일반화한 수식은 아래와 같다. (임의의 함수 g)

$$E(g(X)) = \int_{-\infin}^{\infin}g(x)f_X(x)dx, \sum_x g(x)P(X=x)$$

u가 0~1 범위의 uniform distribution을 따르는 확률변수라고 하자

$$E(u)= 1/2\\E(u^2) = \int_0^1u^2f_u(u)du = 1/3\\Var(u) = E(u^2) - E(u)^2 = 1/12$$

Universality of the uniform distribution

u가 0~1 범위의 uniform distribution을 따르는 확률변수라고 하자

$F$는 CDF (증가하는 연속함수로 가정, 역함수가 존재)

$X$를 $F^{-1}(u)$라고 하면 확률변수 $X$는 $F$를 따른다

 

proof)

증가하는 연속함수라 부등식 양변에 F를 적용할 수 있음

$$P(X\le x) = P(F^{-1}(u) \le x) =\\ P(F(F^{-1}(u)) \le F(x)) = \\P(u\le F(x))$$

u는 0~1 범위 내에 있기 때문에

범위 내 일정 지점까지의 확률은 해당 길이와 같다

• u가 0.5에 위치한 점보다 왼쪽에 있을 확률은 0.5

따라서 $P(u \le F(x)) = F(x)$

 

Reference

[0] https://www.youtube.com/playlist?list=PL2SOU6wwxB0uwwH80KTQ6ht66KWxbzTIo 

Statistics 110: Probability