[하버드 확률론 기초 Statistics 110] Lecture 26 : Conditional Expectation Continued

ref 1 : https://www.boostcourse.org/ai152/lecture/30917

ref 2 : https://blog.naver.com/ttddcc119/223178628596 

ref 3: https://dlaiml.tistory.com/entry/Statistics-110-Lecture-26-Conditional-Expectation-Continued

ref 4 : https://blog.naver.com/skkong89/222443998391

---

 

아 ~ 하기싫다

그래도 해야지

---

조건부 기대(Conditional Expectation)의 예시 1

두 봉투 문제 (2 Envelop Paradox)

 

[ 문제 ] 

두 개의 봉투가 주어져있다. 봉투 1과 봉투 2는 겉보기에 완전 동일하다

각각 X 달러와 Y 달러가 있다고 가정한다 (무작위 변수)

[ 제공된 정보 ]

한 봉투에 다른 봉투의 2배의 금액이 들어있다

 

만약 한 봉투를 골랐다면(X)라고 할 때, 이 봉투를 열지 않는 한 X가 무엇인지 모른다

하지만 다른 봉투가 2X(두 배) 혹은 X/2(두 배가 아닌)라는 것은 안다

2X와 X/2를 평균을 내면 X 보다 큰수가 되고, Y 봉투가 더 나은 봉투가 된다

 

이런식으로 주장을 펼치면, 두 가지 주장이 충돌한다 

 

첫 번째 주장 : E(Y)와 E(X)가 대칭성에 의해서 같다

E(Y) = E(X) by symmetry

 

두 번째 주장 : 조건부에 관한 주장

우리는 원하는 것에 대한 조건을 알고싶다

조건부 버전이라는 것을 제외하면 전체 확률의 법칙이다

 

우리는 Y = 2X OR Y = X/2 라는 사실을 알고 있다

따라서 아래와 같은 식으로 전개가 가능하다 

E(Y) =  E(Y|Y=2X) * P(Y = 2X) + E(Y|Y=X/2) * P(Y=X/2) 

(조건을 분리하여 기대값 분리)

이는 전체 확률의 법칙를 이용해 증명한다

 

 E(Y|Y=2X) 

우리는 Y = 2X 라는 것을 알고 있기 때문에 E(2X)로 대체한다

 

 

E(Y) =  E(Y|Y=2X) * P(Y = 2X) + E(Y|Y=X/2) * P(Y=X/2) 

= E(2X) * 1/2 + E(X/2) * 1/2                               

Y = 2X가 되거나 Y = X/2 일 가능성은 모두 1/2

= E(X) + 1/4 * E(X)                                             

상수 밖으로 빼고 계산

= 5/4 E(X)                                                           

---

 

질문 : 어떤 주장이 참일까?

 

1. 두 주장이 모두 참인 경우가 존재하나? 

두 봉투가 모두 $0일 경우 / 무한대일 경우

 

하지만 이는 실제 세계와는 맞지 않기 때문에 0이나 무한이 아니라고 가정한다

이 경우에는 2개 주장이 서로 모순되기 때문에

하나의 주장은 반드시 틀려야한다

 

따라서 첫 번째 주장(E(Y) = E(X) by symmetry)이 옳다

(교수님이 대칭성에 반하는 어떠한 주장도 찾지 못했다고 하심)

 

그럼 두 번째 주장이 무엇이 잘 못 됐을까?

조건부에 대한 흔한 실수 중 하나는 어떤 정보를 사용한 후 잊어버리는 것이다

 

E(Y) =  E(Y|Y=2X) * P(Y = 2X) + E(Y|Y=X/2) * P(Y=X/2)

= E(2X) * 1/2 + E(X/2) * 1/2                                

= E(X) + 1/4 * E(X)                                              

= 5/4 E(X)                                                            

 

우리는 여기서 Y = 2X 라는 정보를 대입했다

그리고 그 조건이 사라졌다 (노란색 표시)

이렇게 한 근거는 사실 없다. 그냥 그렇게 한 거다. 

즉, 이 단계에서 문제가 발생한다 

 

E(Y) =  E(Y|Y=2X) * P(Y = 2X) + E(Y|Y=X/2) * P(Y=X/2)

≠ E(2X) * 1/2 + E(X/2) * 1/2  

따라서 해당 부분이 같지 않다

 

2X를 넣는 것은 괜찮지만, Y = 2X 라는 사실을 잊으면 안 된다

즉, Y = 2X 라는 조건에서 2X의 기대값을 구하는 것을 잊으면 안 된다 

 

E(Y) =  E(Y|Y=2X) * P(Y = 2X) + E(Y|Y=X/2) * P(Y=X/2)

= E(2X|Y=2X) * 1/2 + E(X/2|Y=X/2) * 1/2         

= E(X) + 1/4 * E(X)                                            

= 5/4 E(X)                                                          

 

정보를 집어 넣을 수 있지만 조건을 없앨 수는 없다

따라서 위와 같이 수정해야한다

그러면 이 조건부 기대값(Y=2X)을 구해야한다

---

 

E(Y|Y=2X) ≠ E(2X)에 대해 살펴보자

지시확률변수(Indicator Random Variables) 관점에서 이를 볼 때

I를 지시확률변수라고 할 때, I는 더 많은 돈을 갖고 있는 봉투를 나타낸다 

 

만약 Y = 2X라면 I = 1이 되고, 아니면 I = 0이 된다

또한 X와 I는 종속이다

(X는 어떤 식으로든 I에 관한 정보를 준다) 

 

예를 들어서 살펴보자

✉️      ✉️

왼쪽 봉투를 열었는데 $100를 발견했다

다른 봉투에는 $50 또는 $200이 들어있을 것이다

 

하지만 이것이 I에 대한 나의 확률을 바꿀까? 

$50 혹은 $200이 들어있는 확률이 더 이상 50:50이 아니게 된다

 

만약 왼쪽 봉투를 열었고 1조가 들어있다고 하자

1조는 큰 수지만 0부터 무한대까지 실수 전체와 비교했을 때 작다

다른 숫자에 비하면 아무것도 아니다.

 

만약 1조 달러를 봤다면 다른 봉투에는 1조 달러의 절반만 들어있다고 생각할까?

1조가 큰 수이기 때문에? 

실수 전체의 관점에서 보았을 때 1조는 큰 수가 아니다

하지만 기대값이 유한(finite)할 때 우리는 종속일 수 밖에 없다는 사실을 보였다

 

따라서 독립이라는 근거가 없기 때문에 해당 주장은 틀렸다

---

수많은 논문과 논쟁이 두 봉투 문제를 다루고 있다

어떤 사람들은 이 문제를 풀기 위해 베이지안 접근법을 사용하기도하는데

이는 불필요한 과정이다

이 과정에서 조건부의 실수(≠ E(2X))가 존재하기 때문이다

 

따라서 정보를 집어 넣을 때에는 정보를 없앨 수 없다는 사실에 주의하자

우리가 조건을 없앨 수 있는 유일한 순간은 서로 독립일 때 뿐이다!

 

---

조건부 기대(Conditional Expectation)의 예시 2

동전 뒤집기 문제 (Patterns in Coin Filps)

 

(교수님은 동전 뒤집기에서의 패턴이라고 부름) 

 

공정한 동전을 갖고 있다고 가정하고, 반복해서 던진다

그리고 어떤 패턴이 나올지 기다린다

우리는 기다리면서 앞면, 뒷면 순서의 패턴이 나오기 까지

얼마나 많은 던지기를 반복했는지 셀 것이다

= How many flips until HT(Head Tail)

 

계속 동전을 던지다가, 어떤 순간에 앞면이 나온 직후 뒷면이 나오는 순간이 있을 것이다

이런 특정 패턴이 어느 순간 나올텐데 

H와 T를 포함해서 얼마나 많이 던졌는지를 세는 것이다

이게 우리가 갖고 있는 본질적인 질문이다. 

 

비슷하게 HH가 나오기 까지 몇번을 던졌는지도 가능하다

앞면이 두 번 연속으로 나오기까지의 던진 횟수다

 

각 각 W_HT, W_HH 라고 정의한다

이는 각 던진 횟수를 나타내는 확률 변수다 

(Waiting time - Head Tail / Wating tile - Head Head) 

 

우리는 기댓값에 관한 이야기 중이다

따라서 두 경우에서, 대기 시간(Wating time)의 기댓값을 구한다 

 

---

문제를 풀기전에 이 경우를 질적으로(qualitatively) 생각해보자 

 

1. W_HT > W_HH 

2. W_HT = W_HH 

3. W_HT < W_HH 

 

이 중에 뭐가 맞을까? 

정답은 W_HT = 4, W_HH = 6 이다

 

나는 3이 맞을거라고 생각했다.

앞 뒤로 번갈아가며 나올 확률 보다 그렇지 않을 확률이 더 크다고 생각했기 때문이다

 

E(W_HT)를 생각해보면, 

첫 앞면이 나오는데 까지의 구간 W1과

그 이후 뒷면이 나와 패턴이 생기는 구간 W2로 나눌 수 있다

 

ex) W1 = TTTTH, W2 = HHT

둘은 독립이다

 

E(W_HT) = E(W1) + E(W2) 

(W는 기하분포를 따른다)

W1 - 1, W2 - 1 ~ Geom(1/2) 

성공하기 까지의 Waiting time과 같다

 

W1에서는 앞면이 나오는 것을 성공으로 보고

W2에서는 뒷면이 나오는 것을 성공으로 본다

 

기하분포에서 성공한 횟수를 포함할 때 기댓값은 E(X) = 1/p 이다

(https://blog.naver.com/skkong89/222297154775)

따라서, 해당 기하분포의 기댓값이 1이기 때문에 식을 정리해보면

E(W_HT) = E(W1) + E(W2) 

= 2 + 2 

= 4       

각각에 대해서 평균적으로 2번의 동전 던지기가 있다. 

또한 각 구간에서 2번 더 동전을 던져야 단계를 마칠 수 있기 때문에

선형성에 따라 4번 던져야한다

 

TTTTH 

1. 동전이 앞면인 경우

2. 동전이 뒷면인 경우(다시 처음으로 돌아감, 앞에서 던진 동전 무의미) 

따라서 조건부 기대를 이용해 계산 

 

E(W_HH) = 1/2 * E(W_HH|first coin head) + 1/2 * E(W_HH|first coin tail)

(*1/2 : 각 앞, 뒷면인 경우)

첫 번째 동전이 앞면이면 다시 두 경우로 나눠 계산하고

뒷면인 경우에는 시행 횟수가 1회 추가되어 다시 원점으로 돌아온 것과 같다

 

E(W_HH) = 1/2 * E(W_HH|first coin head)  + 1/2 * E(W_HH|first coin tail)

E(W_HH) = 1/2 * (2 * 1/2 + (2 + E(W_HH) * 1/2) + 1/2 * (1 + E(W_HH) 

 

첫 동전이 뒷면일 때 W_HH의 기댓값

1/2 * (1 + E(W_HH))

1 : 동전 던진 횟수

 

첫 동전이 앞면일 때

두 번째 동전이 무엇이냐에 따라 경우의 수가 나뉨

 1. 두 번째 동전도 앞면이면 

첫 두 동전이 HH => 끝

2. 두 번째 동전이 뒷면이면

1/2 * (2 * 1/2 + (2 + E(W_HH)) * 1/2)

2 : 동전 던진 횟수

1/2 : 다른 면이 나올 확률

 

=> E(W_HH) = 6 (=5/2 + 7/2)

 

---