[Peebles] 1. 확률 (2) 결합 확률과 조건 확률, 독립 사건, 혼합 실험, 베르누이 시행

이 글은 PEYTON Z. PEEBLES의 Probability, Random Variables and Random Signal Principles를 기반으로 작성되었습니다.

이번 포스트에서는 확률을 다루기에 앞서서 집합에 대한 내용을 다루고, 집합과 상대빈도를 적용한 확률 및 혼합 실험, 베르누이 시행에 대해서 알아보고자 한다.

1.4 결합 확률과 조건 확률

결합 확률

P(A∩B) = P(A) + P(B) - P(A∪B) ≤ P(A) + P(B)

• 사건이 상호 배타적인 경우 : P(A∩B) = P(A) + P(B)

조건 확률

P(A|B) = P(A∩B) / P(B)

• 사건이 상호 배타적인 경우 : P(A|B) = 0

조건 확률이 집합 공리를 만족한다는 사실은 다음에 의해 보여진다.

• Axiom 1 : P(A∩B), P(B) > 0
• Axiom 2 : P(S|B) = P(S∩B) / P(B)
• Axiom 3 : 사건 A, C가 상호 배타적일 경우, P(A∪C|B) = P(A|B) + P(C|B)
• 증명 : P(A∪C|B) = P((A∪C)∩B) / P(B) = P((A∩B)∪(C∩B)) / P(B) = P(A∩B) / P(B) + P(C∩B) / P(B) = P(A|B) + P(C|B)

전체 확률 

P(A) = ∑ P(A|Bn)P(Bn)

증명은 다음과 같다.

A = A∩S = A∩(∪Bn) = ∪(A∩Bn)

P(A) = P(A∩S) = P[∪(A∩Bn)] = ∑ P(A∩Bn) = ∑ P(A|Bn)P(Bn)

베이즈 정리

P(Bn|A) = P(A|Bn)P(Bn) / P(A)

여기에서 

P(Bn): 사전 확률(a priori probabilities), P(A|Bn): 전이 확률(transition probabilities), P(Bn|A): 사후 확률(a posteriori probabilites)

이다.

증명은 다음과 같다.

P(Bn|A) = P(Bn∩A) / P(A)

P(A|Bn) = P(A∩Bn) / P(Bn) → P(A∩Bn) = P(A|Bn)P(Bn)

P(Bn|A) = P(Bn∩A) / P(A) = P(A|Bn)P(Bn) / P(A)

베이즈 정리는 아래와 같이 P(A)를 풀어서 쓰기도 한다.

P(Bn|A) = P(A|Bn)P(Bn) / P(A) = P(A|Bn)P(Bn) / { P(A|B1)P(B1) + ... + P(A|BN)P(BN) }

1.5 독립 사건

case1) 사건 2개

두 사건이 통계적으로 독립 = 한 사건의 발생 확률이 다른 사건의 발생에 의해 영향을 받지 않음

P(A|B) = P(A), P(B|A) = P(B)

P(A|B) = P(A∩B) / P(B) = P(A) → P(A∩B) = P(A)P(B)

두 사건이 상호 배타적일 경우, P(A∩B) = 0이 되어 P(A)=0 또는 P(B)=0이 된다.

따라서 두 사건의 확률이 0이 아니라면, 두 사건이 독립이기 위해서는 상호 배타적이지 않아야 한다.

case2) 사건 3개

사건 A1, A2, A3가 통계적으로 독립이라면

P(A1∩A2) = P(A1)P(A2)

P(A1∩A3) = P(A1)P(A3)

P(A2∩A3) = P(A2)P(A3)

P(A1∩A2∩A3) = P(A1)P(A2)P(A3)

case3) 사건 N개

사건 A1, A2, ... , An (1≤i<j<k<...≤N)이 통계적으로 독립이라면

P(A1∩A2) = P(A1)P(A2)

P(A1∩A2∩A3) = P(A1)P(A2)P(A3)

...

P(A1∩A2∩...∩An) = P(A1)P(A2)...P(An)

(조건들의 총 개수 : 2^N-N-1)

임의의 한 사건은 다른 사건들의 합집합, 교집합, 여집합으로 형성되는 사건에 대해서도 독립이다

• A1은 A1^C, A2, A2^C에 대해 독립
• P(A1∩(A2∩A3)) = P(A1)P(A2)P(A3) = P(A1)P(A2∩A3)
• P(A1∩(A2∪A3)) = P(A1)P(A2∪A3)

1.6 혼합 실험

혼합 실험(combined experiment) : 개별 실험들을 적합하게 혼합하여 만든 하나의 실험

혼합 표본 공간(combined sample space) : 순서쌍으로 구성되어 있음

• 두 부분실험의 표본 공간 S1과 S2가 있을 때, 새로운 혼합 표본 공간 S = S1×S2
• N개의 부분실험 표본 공간 S1, ... , SN에 대해 S = S1×...×SN, (s1, ... , sN)

독립 실험 : 임의의 A⊂S1, B⊂S2에 대하여 P(A×B)=P(A)P(B)이 성립하는 부분실험들

순열 : n개 중에서 순서를 고려하여 r개를 뽑는 경우의 수

조합 : n개 중에서 순서를 고려하지 않고 r개를 뽑는 경우의 수

1.7 베르누이 시행

베르누이 시행에서는 실험에서 결과가 2가지(A, A^C)밖에 없는 경우를 고려한다.

ex) 동전 던지기, 시험 P/F, 컴퓨터 비트 스트림 0/1

P(A) = p라고 하면, P(A^C) = 1-p가 된다.

이와 같은 시행을 N번 반복했을 때 A가 k번 나올 확률, 또는 A^C가 N-k번 나올 확률은 p^k(1-p)^(N-k)

factorial들의 계산이 어려울 경우 이용하는 공식

1. 스털링의 공식(Sterling's formula)

N, k, N-k 값이 아주 클 때 사용

m! ∽ (2ㅠm)^1/2 m^m e^-m

1-1. 드모아브르-라플라스 근사식(De Moivre-Laplace approximation)

N, k, N-k 값이 크고, k값이 Np와 N(1-p)에 비해 작은 크기의 오차 범위 내에서 거의 Np와 비슷할 때 사용

2. 포아송 근사식

N이 크고 p가 작을 때 사용

(수식은 LaTex 사용법을 익힌 후 적용할 예정...!)