독립사건과 종속사건의 의미, 동시확률(결합확률)과 조건부확률의 관계

P(A, B) = P(A) x P(B) 를 만족하면
A와 B가 독립이다

왜냐면

A와 B가 독립이라면
P(A|B) = P(A) 이다. 

P(A, B)  = P(A|B) P(B) 인데
(이 공식은 조건부 언어모델의 배경 : 동시확률(결합확률)을 조건부확률로 분해할 수 있다는 것과 관련이 있습니다)
이건 P(A|B) = P(A, B)  / P(B) 여기서 유도된다.

P(A|B) = P(A)  이므로 
P(A, B)  = P(A|B) P(B)  이건
P(A, B)  = P(A) P(B) 과 같다.



위처럼 공식으로만 외우면 직관적인 의미가 잘 와닿지 않습니다.

P(A, B) = P(A) x P(B) 를 만족하면
A와 B가 독립이라는 게 정확히 무슨 뜻일까요?

조건부 확률은 왜
P(B|A) = P(A, B) / P(A) 같은 공식을 가지는 걸까요?

이제 간단한 문제를 가지고 
어떤 두 사건이 독립이냐 혹은 종속이냐가 정확히 무슨 의미인지
조건부 확률이 왜 위와 같은 식을 같게 되는지 살펴보겠습니다.

먼저 사건의 독립과 종속을 알아보겠습니다. 

주사위 하나를 던질 때 
사건A : 주사위가 2의 배수가 나오는경우  = {2, 4, 6}
사건B : 주사위가 3의 배수가 나오는 경우 = {3, 6}
사건C :  주사위가 소수가 나오는 경우 = {2, 3, 5}
라고 해봅시다

문제1) A와 B는 독립인가?
문제2) A와 C는 독립인가?

위 사건 A, B, C에 따라서 각 확률은
P(A) = 1/2
P(B) = 1/3
P(C) = 1/2 
이 됩니다.

먼저 문제1)을 봅시다.

P(A, B)의 의미는 A 이면서 B일 확률입니다. A∩B = {6} 이므로 P(A, B) = 1/6 입니다.
P(A) x P(B) = 1/2 x 1/3 = 1/6 = P(A, B)를 만족하므로
A와 B는 독립입니다.

그런데 이것만 가지고는 A와 B가 독립인지 분명히 직관적으로 다가오지 않습니다.
A와 B가 독립이라는건 아래와 같이 확인해 볼 수 있습니다.
P(A) = P(A|B)

위 공식이 의미하는 것은 다음과 같습니다. 
A와 B가 독립이라는 것은 
A의 확률에 B가 영향을 미치지 않는다는 것이고
이게 정확히 무슨 뜻이냐면
B라는 조건이 있을 때 A일 확률과 
A인 확률이 같다 
다시 말해 
전체 경우의 수 중에 A인 경우의 수의 비율과
B인 경우의 수 중에 A인 경우의 수의 비율이 같다
는 걸 뜻합니다. 
즉 B라는 조건을 달든 안 달든 A의 확률은 같다는 것이죠.

거꾸로 말해
P(B) = P(B|A)를 충족해도 A와 B는 독립입니다.

진짜 그런지 확인해 보면,
P(A) = 1/2 이므로
P(A|B) 도 1/2 인지 보면 되겠죠.
P(A|B) = P(A, B) / P(B) 입니다. (조건부확률 공식이죠)
P(A, B) = 1/6 이고 
P(B) = 1/3 이므로
P(A, B) / P(B) = 1/2 이 됩니다.  
B라는 조건이 붙든 붙지 않든 A의 확률은 같으므로
P(A) = P(A|B) 를 충족합니다.

거꾸로 P(B|A)도 확인해보겠습니다.
P(B|A) = P(A, B) / P(A) 이고
P(A, B) = 1/6 
P(A) = 1/2 이므로
P(B|A) 는 1/3 입니다. 
P(B) = 1/3 이었으므로
A라는 조건이 붙든 붙지 않든 B의 확률은 같습니다.
P(B) = P(B|A), 즉 A와 B는 독립입니다.

이제 문제2)
A와 C는 독립인가?
를 봅시다. 

문제의 배경이 무엇이었죠?
주사위 하나를 던졌을 때 
사건A : 주사위가 2의 배수가 나오는경우  = {2, 4, 6}
사건B : 주사위가 3의 배수가 나오는 경우 = {3, 6}
사건C :  주사위가 소수가 나오는 경우 = {2, 3, 5}
이었습니다.

P(A, C)의 의미는 A 이면서 C일 확률입니다. A∩C = {2} 이므로 P(A, C) = 1/6 입니다.
A∩B = {6} 이므로 P(A, B) = 1/6 인것과 놓고 봤을 때
P(A, C) =  P(A, B) 가 되지요.

그런데 A와 B가 독립이었던 반면에
A와 C는 독립이 아닙니다.
A와 C는 종속입니다.

다시 A, B, C의 확률을 살펴보죠.
P(A) = 1/2
P(B) = 1/3
P(C) = 1/2 
였습니다.

P(A) x P(C) = 1/2 x 1/2 = 1/4 이지요. 
그런데 P(A, C) = 1/6 입니다.
P(A) x P(C) ≠ P(A, C)  이므로
A와 C는 독립이 아니라고 해야합니다.

그런데 이것만 가지고도 역시 
P(A) x P(B) = P(A, B) 를 만족하므로
A와 B가 독립이다
에서처럼 
A와 C가 종속인지 직관적으로 분명히 다가오지 않습니다.

A와 C가 종속이라는 말의 의미는 다음과 같이 이해해 볼 수 있습니다.
P(A) ≠ P(A|C) 이다.

이는 다음과 같은 뜻입니다. 
A의 확률에 C가 영향을 미친다.
또는
C의 확률에 A가 영향을 미친다.

이게 정확히 무슨 뜻이냐면
C라는 조건이 있을 때 A일 확률과 
A인 확률이 같지 않다. 
다시 말해 
전체 경우의 수 중에 A인 경우의 수의 비율과
C인 경우의 수 중에 A인 경우의 수의 비율이 같지 않다
는 걸 뜻합니다. 
즉 C라는 조건을 달았을 때와 달지 않았을 때 A의 확률이 다르다는 것이죠.
A의 확률에 C가 영향을 미친다는 종속의 의미 역시 
독립처럼 직관적으로 분명해졌습니다.

거꾸로 말해
P(C)  ≠ P(C|A)를 충족해도 A와 C는 종속입니다.

진짜 그런지 확인해보겠습니다.
먼저

P(A) ≠ P(A|C) 인지 살펴보겠습니다. 

P(A) = 1/2
P(B) = 1/3
P(C) = 1/2 
였습니다 

P(A|C) = P(A, C) / P(C) 입니다.

사건A : 주사위가 2의 배수가 나오는경우  = {2, 4, 6}
사건B : 주사위가 3의 배수가 나오는 경우 = {3, 6}
사건C :  주사위가 소수가 나오는 경우 = {2, 3, 5}
였으므로

P(A, C) = 1/6
P(C) = 1/2 입니다.
따라서 P(A, C) / P(C) = 1/3 입니다. 
그런데 P(A) = 1/2 이죠
P(A) ≠ P(A|C) 가 확인 되었고
C라는 조건이 붙음에 따라 A의 확률이 변함을 확인
A와 C는 종속임이 확인되었습니다.

거꾸로 
P(C)  ≠ P(C|A) 인지도 확인해 보겠습니다.
P(C|A) = P(C, A) / P(A)
P(C, A) = 1/6
P(A) = 1/2 
따라서 P(A, C) / P(A) = 1/3 입니다. 
그런데 P(A) = 1/2 이죠
P(C)  ≠ P(C|A) 가 확인 되었고
A라는 조건이 붙음에 따라 C의 확률이 변함을 확인
A와 C는 종속입니다.

cf)
P(A, C) = P(A|C) x P(C) 를 만족해야 합니다.

P(A|C) = P(A, C) / P(C) 이므로
P(A, C) / P(C) = 1/3 
따라서 P(A|C) = 1/3 입니다. 
P(C) = 1/2 이므로
P(A,C) = P(A|C) x P(C) = 1/3 x 1/2 = 1/6 인걸 확인할 수 있습니다. 

마지막으로 조건부확률이 
왜 P(B|A) = P(A, B) / P(A) 이런 공식을 가지는지 살펴보겠습니다.

P(B|A) = P(A, B) / P(A) 가 있으면
P(A|B)도 있겠죠.
P(A|B) = P(A, B) / P(B) 가 됩니다. 

주사위 하나를 던졌을 때 
사건A : 주사위가 2의 배수가 나오는경우  = {2, 4, 6}
사건B : 주사위가 3의 배수가 나오는 경우 = {3, 6}
사건C :  주사위가 소수가 나오는 경우 = {2, 3, 5}
이걸로 풀어볼까요?

	A : 주사위가 2의 배수가 나오는 경우	~A : 주사위가 2의 배수가 나오지 않는 경우
B : 주사위가 3의 배수가 나오는 경우	{6}	{3}	{3, 6}
~B : 주사위가 3의 배수가 나오지 않는 경우	{2, 4}	{1, 5}	{1, 2, 4, 5}
	{2, 4, 6}	{1, 3, 5}

이제
A∩B = {6}
~A∩B = {3}
A∩~B = {2, 4}
~A∩~B = {1, 5}
임을 알 수 있습니다.

각각의 확률을 계산하면
P(A∩B) =  {6} / {1, 2, 3, 4, 5, 6} = 1/6
P(~A∩B) = {3} / {1, 2, 3, 4, 5, 6} = 1/6
P(A∩~B) = {2, 4} / {1, 2, 3, 4, 5, 6} = 2/6
P(~A∩~B) = 1, 5} / {1, 2, 3, 4, 5, 6} = 2/6

전체확률은 P(A∩B) + P(~A∩B) + P(A∩~B) + P(~A∩~B)  = 1/6 + 1/6 + 2/6 +2/6 = 1 이 됩니다.

이제 본격적으로 조건부 확률을 구해 볼까요.
이미 저 표를 만든 순간 조건부 확률은 구해진 것과 같습니다.
사실 저 표의 의미는  A와 B라는 두 사건들의 결합확률(동시확률)을 나타낸 결합분포를 나타내고 있는 것입니다.

P(B|A) = P(A, B) / P(A)  공식부터 볼까요.

P(B|A)의 의미는 A가 일어났을 때 B가 일어난 확률이라는 뜻입니다. 

P(B|A)를 P(A∩B)과 헷갈리지 마세요.
P(A∩B) 는 A와 B의 동시확률(결합확률)을 의미합니다.
P(A∩B) 는 A와 B가 동시에 일어날 확률, A이면서 B일 확률 이란 뜻입니다. 
P(B|A) 는 조건부확률을 의미합니다. 

A = {2, 4, 6} 이고, 그때 B인 경우는 {6} 이니까
P(B|A) 는 1/3 이지요.
P(A, B) / P(A) 이것과도 같은지 볼까요?
P(A) = {2, 4, 6} / {1, 2, 3, 4, 5, 6} = 3/6
P(A, B) = {6} / {1, 2, 3, 4, 5 ,6} = 1/6 이므로
1/6 나누기 3/6 은 6/18 = 1/3
P(B|A)와 P(A, B) / P(A)는 1/3로 같네요.
따라서  P(B|A) 를 P(A, B) / P(A) 이 식으로 구할 수 있는 것이고
P(B|A) = P(A, B) / P(A) 가 조건부확률의 공식이 되는 것입니다.

P(A|B) = P(A, B) / P(B) 도 한번 구해보세요!
A와 C의 결합분포를 나타내는 표도 작성해보세요!