정보이론-3W

• Marginal Probability (주변 확률)

 

• Conditional Probability(조건부 확률)

 

• Bayes' Theorem (베이즈 이론)

 

---

 

• Forward Probability (전향 확률)

- 항아리 안에 총 K개의 공이 있다.
- B개는 검은색, 나머지 k-B개는 흰색
- 이 항아리에서 무작위로 N번 공을 뽑는다.(복원 추출 가정)

Q) 검은 공이 nB개 나올 확률은?
A)

이항분포 / f: 검은 공이 나올 확률

=> 즉, 검은 공이 나올 확률 f을 이용해 전체 시행에서 특정 횟수의 성공(black)을 모델링

 

• Inverse Probability (역확률)

- u0, u1, ..., u10 : 서로 다른 11개의 항아리
- 항아리 ui는 검은 공이 i개, 나머지는 흰 공
- 각 항아리는 10개의 공으로 구성된다. (K=10)

Q) 아래 확률은? (10번 뽑았고, 3개가 Black이다.)

A) 

베이즈정리

 

---

• Forward Probaility

- 주어진 파라미터로 결과 예측

EX) 특정 항아리에서 3개 black 확률

=> 이항분포 계산

• Inverse Probability

- 결과로부터 파라미터 추론

EX) 어떤 항아리인지 추정

=> 베이즈 정리 활용

 

---

Prediction

Bent coins

N번 던진다. / 앞면 확률 : f

사후 분포

A)

 

N+1번째 동전이 앞면일 확률

 

---

 

• Beta Function

 

• Gamma Function

 

# Multiplication of Two Gamma Functions

 

---

• Advanced Topics

Survival Probability

 

Q)

 

A)