[Peebles] 1. 확률 (1) 집합의 정의, 집합 연산, 집합과 상대 빈도를 적용한 확률

이 글은 PEYTON Z. PEEBLES의 Probability, Random Variables and Random Signal Principles를 기반으로 작성되었습니다.

이번 포스트에서는 확률을 다루기에 앞서서 집합에 대한 내용을 다루고, 집합과 상대빈도를 적용한 확률에 대해서 알아보고자 한다.

1.1 집합의 정의

집합이란?

집합(set) : 대상이나 객체의 모임(a collection of objects)

대상(objects) : 집합의 원소(elements of the set)

• a가 집합 A의 원소이면 a ∈ A, 원소가 아니면 a ∉ A로 표기

집합을 지정하는 방법 : 열거법(tabular method, ex: {1,2,3,4}), 규칙법(rule method, ex: { x | 0<x<5, x는 정수})

집합의 종류

가산(countable) / 불가산(uncountable) 집합 : 원소들을 자연수에 일대일 대응시킬 수 있는지 여부에 따라 결정

유한(finite) / 무한(infinite) 집합 : 원소의 수가 한정되어 있는지의 여부에 따라 결정

• 가산적 무한(countably infinite) 집합 : 셀 수 있는(countable) 원소들을 가진 무한(infinite) 집합

공집합(null set, ∅) : 원소가 하나도 없이 비어 있는(empty) 경우

전체집합(universal set, S) : 주어진 상황에서 모든 대상을 포함하는 가장 큰 집합

부분 집합

A는 B의 부분집합(subset) : 집합 A의 모든 원소가 다른 집합 B의 원소인 경우 (A ⊆ B)

A는 B의 진부분집합(proper subset) : 집합 A에 없는 원소가 최소한 하나라도 집합 B에 있는 경우 (A ⊂ B but A ≠ B)

A와 B는 상호 배타적(mutually exclusive), 배반(disjoint) : 서로 같은 원소를 하나도 가지고 있지 않은 경우 

1.2 집합 연산

등가와 차

A=B (등가, equality) : A ⊆ B이고 B ⊆ A이면, A와 B는 같다.

A-B (차, difference) : A의 원소들 중 B에 속하지 않은 원소를 포함한다.

합집합, 교집합, 여집합

A∪B (합집합, union or sum) : A 또는 B 또는 두 집합 모두에 있는 원소들의 집합

A∩B (교집합, intersection) : A와 B에 공통적으로 있는 원소들의 집합

$$\bar{A} (여집합, complement) : A에 속하지 않은 원소들의 집합(=S-A)

• \bar{∅} = S, \bar{S} = ∅
• A∪\bar{A} = S, A∩\bar{A} = ∅

집합 대수

교환 법칙(commutative law) : 

• A∩B = B∩A
• A∪B = B∪A

분배 법칙(distributive law)

• A∩(B∪C) = (A∩B)∪(A∩C)
• A∪(B∩C) = (A∪B)∩(A∪C)

결합 법칙(associative law)

• (A∪B)∪C = A∪(B∪C) = A∪B∪C
• (A∩B)∩C = A∩(B∩C) = A∩B∩C

드 모르간의 법칙(De Morgan's law)

• $$(\bar{A∪B}) = \bar{A}∩\bar(B)
• $$(\bar{A∩B}) = \bar{A}∪\bar(B)

쌍대성 원리 : 하나의 등식에서 합집합↔교집합, S↔∅로 바꾸면 그 등식도 유효함

• ex) 분배법칙에서의 쌍대성 원리

• A∪(B∩C) = (A∪B)∩(A∪C)에서 합집합을 교집합으로, 교집합을 합집합으로 바꾸면
• A∪(B∩C) = (A∪B)∩(A∪C)

1.3 집합과 상대 빈도를 적용한 확률

실험의 수학적 모델의 3요소

표본 공간(sample space, S) : 주어진 실험에서 가능한 모든 결과들의 집합

• 실험에 따라 이산적(discrete), 연속적(continuous) / 유한(finite), 무한(infinite) 표본 공간으로 분류

사건(events) : 표본 공간에서 실험 결과의 어떤 특성에 따른 부분 집합

확률(probability) : 정의된 사건들에 대한 함수 

• 집합 이론과 기본 공리(set theory and fundamental axioms)
1. P(A) ≥ 0
2. P(S) = 1
3. P(∪An) = ∑ P(An) (Am∩An=∅인 경우, 즉 사건들이 서로 상호 배타적일 때)

즉, 실험은 표본 공간 할당, 사건 정의, 공리를 만족하도록 확률 할당, 이렇게 세가지에 의해 수학적으로 정의된다.

** 이산 사건의 확률 = 0 ?

• x 사이의 구간(x_n-x_(n-1))이 0으로 수렴한다면, 확률 P(An)은 P(xn)로 수렴한다.
• N → ∞ 이므로 P(An) → 0
• 따라서 연속 표본 공간에서 정의된 이산 사건의 확률은 0이다.

상대 빈도(relative frequency)로서의 확률

• 상대 빈도 : nH / n (n : 총 실험 횟수, nH : 총 사건 발생 횟수)
• lim(nH/n) = P(H)

다음 포스트에서는 결합 확률과 조건 확률, 베이즈 정리, 독립 사건, 혼합 실험 및 베르누이 시행 등에 대해 다뤄보고자 한다.