학습목표
다항분포의 결합분포, 주변분포 및 조건부분포를 구할 수 있으며, 코시분포의 확률밀도함수를 구할 수 있다.
핵심 키워드
- 2차원 LOTUS(무의식적인 통계학자의 법칙)
- 다항분포(Multinomial Distribution)
- Lumping Property
- 결합분포, 주변분포, 조건부분포
- 코시분포(Cauchy Distribution)
- 전확률정리(Law of Total Probability)
학습하기
20강- 다항분포 및 코시분포(Multinomial and Cauchy)
학습내용
(19강 - 2차원 LOTUS에 이어서)두 표준정규분포 확률변수 사이 거리의 기댓값 구하기
Z_1, Z_2 \sim ^{iid} N(0,1)Z1,Z2∼iidN(0,1) 일 때,
\Rightarrow Z_1 - Z_2 \sim N(0,2)⇒Z1−Z2∼N(0,2) 이고, 2를 척도(scale)로 생각했을 때,
E(|Z_1 - Z_2|) = E(| \sqrt{2} \cdot Z|)E(∣Z1−Z2∣)=E(∣√2⋅Z∣)
= \sqrt{2} E(|Z|) = \sqrt{2} \displaystyle \int ^{\infty} _{-\infty} |z| \frac{1}{\sqrt{2\pi}} e ^{-z^2/2}dz =\sqrt{\frac{2}{\pi}}=√2E(∣Z∣)=√2∫−∞∞∣z∣√2π1e−z2/2dz=√π2
다항분포(Multinomial Distribution) Mult(n, \vec p)Mult(n,p⃗)
정의) \vec X \sim Mult(n, \vec p)X⃗∼Mult(n,p⃗)
\vec X = (X_1,..., X_n)X⃗=(X1,...,Xn) n개 object들을 k개의 카테고리에 독립적으로 할당하는 것.
X_jXj = j번째 카테고리에 할당된 object의 수
\vec p = (p_1, ..., p_k)p⃗=(p1,...,pk) ( p_j \ge 0, pj≥0, \displaystyle \sum _j p_j = 1j∑pj=1)
p_jpj = j번째 카테고리에 할당될 확률
결합 확률질량함수(joint PMF): P(X_1 = n_1, ..., X_k = n_k) = \displaystyle \frac{n!}{n_1!...n_k!} \cdot p_1^{n_1}\cdots p_k^{n_k} P(X1=n1,...,Xk=nk)=n1!...nk!n!⋅p1n1⋯pknk (단, \sum_j n_j = n∑jnj=n_
주변분포(marginal distribution)
\vec X \sim Mult_k(n, \vec p)X⃗∼Multk(n,p⃗)일 때, X_jXj의 주변분포는?
\Rightarrow X_j \sim Bin(n, p_j)⇒Xj∼Bin(n,pj)
\Rightarrow E(X_j) = np_j, ⇒E(Xj)=npj, Var(X_j) = np_j(1-p_j)Var(Xj)=npj(1−pj)
Lumping Property
\vec X = (x_1, ..., x_{10}) \sim Mult(n,(p_1, ..., p_{10}))X⃗=(x1,...,x10)∼Mult(n,(p1,...,p10))이라고 할 때,
\vec Y = (X_1, X_2, X_3+...+X_{10}) \sim Mult(n, (p_1,p_2, p_3+...+p_{10}))Y⃗=(X1,X2,X3+...+X10)∼Mult(n,(p1,p2,p3+...+p10)) 을 만족한다.
조건부분포
\vec X \sim Mult(n, \vec p)X⃗∼Mult(n,p⃗)
X_1 = n_1X1=n1 이고, (X_2, ... , X_k) \sim Mult(n-n_1, (p_2'... , p_k '))(X2,...,Xk)∼Mult(n−n1,(p2′...,pk′)) 라 할 때,
p_2 ' =p2′= P(카테고리 2에 속함| 카테고리 1에 속하지 않음)
= \displaystyle \frac{p_2}{1-p_1} = \frac{p_2}{p_2+...+p_k}=1−p1p2=p2+...+pkp2
\Rightarrow p_j' = \displaystyle \frac{p_j}{p_2+...+p_k}⇒pj′=p2+...+pkpj
Cauchy Interview Question
코시분포 T = \Large \frac{X}{Y}T=YX , where X, Y \sim ^{iid} N(0,1)X,Y∼iidN(0,1)
→ PDF 구하기
방법 (1) F(t) = P(\displaystyle \frac{X}{Y} \le t) =P(\frac{X}{|Y|} \le t)F(t)=P(YX≤t)=P(∣Y∣X≤t)
= P(X \le t|Y|)=P(X≤t∣Y∣)
= \displaystyle \frac{1}{\sqrt{2\pi}} \int ^{\infty} _{-\infty} e^{-y^2/2} \int^{t|y|} _{-\infty} e^{-x^2/2}dxdy=√2π1∫−∞∞e−y2/2∫−∞t∣y∣e−x2/2dxdy
= \displaystyle \frac{1}{\sqrt{2\pi}} \int ^{\infty} _{-\infty} e^{-y^2/2} \Phi(t|y|)dy=√2π1∫−∞∞e−y2/2Φ(t∣y∣)dy → 우함수(even function)
= \displaystyle \sqrt{\frac{2}{\pi}} \int ^{\infty} _0 e^{-y^2/2} \Phi(ty) dy=√π2∫0∞e−y2/2Φ(ty)dy → 'well behaved'한 함수는 적분과 미분의 순서를 바꿔도 됨
F'(t) = f(t) = \displaystyle \sqrt{\frac{2}{\pi}}\int ^\infty _0 y e^{-y^2/2} \frac{1}{\sqrt{2\pi}} e^{-t^2y^2/2} dyF′(t)=f(t)=√π2∫0∞ye−y2/2√2π1e−t2y2/2dy
= \displaystyle \frac{1}{\pi} \int ^\infty _0 y e ^{-(1+t^2)y^2/2}dy=π1∫0∞ye−(1+t2)y2/2dy
u= - \large \frac{1}{(t^2+1)}u=−(t2+1)1 dv = -(t^2+1)ye^{-(t^2+1)y^2/2} dydv=−(t2+1)ye−(t2+1)y2/2dy
du = 0du=0 v = e^{-(t^2+1)y^2/2}v=e−(t2+1)y2/2
= \Large \frac{1}{\pi(1+t^2)}=π(1+t2)1
방법 (2) Law of Total Probability
P(X \le t|Y|) = \displaystyle \int ^ \infty _{-\infty} P(X \le t|Y| \mid Y=y)\varphi(y) dyP(X≤t∣Y∣)=∫−∞∞P(X≤t∣Y∣∣Y=y)φ(y)dy
= \displaystyle \int ^{\infty} _{-\infty} \Phi(t|Y|) \varphi(y)dy=∫−∞∞Φ(t∣Y∣)φ(y)dy
