정보이론-1W

Example : Bent Coins

- 앞면 확률: f, 뒷면 확률: 1-f

 

• Binomial Distribution(이항분포)

N번 던진다.(앞면:r, 뒷면: 1-r)

 

• Average

- 이항분포 평균값 수식 유도

 

- statistical independence를 이용한 빠른 평균 계산

 

• Variance

 

---

• Bent Coins 정리

 

Q) N이 무한대로 간다면?

A) “Stirling’s approximation” / “Poisson Distribution” / “Central Limit Theorem”

 

---

 

• Poisson Distribution(포아송 분포)

- 고정된 시간 또는 공간 구간 내에서 발생하는 무작위 사건의 수를 모델링할 때 사용

• Average

• Variance

 

• Connection(이항분포와의 연결)

 

---

• 결론

 

---

 

• Central Limit Theorem (중심 극한 정리)

- 많은 수의 독립 확률변수의 합은 정규분포로 수렴

스털링 근사

 

---

 

Back to Bent Coins

 

- Entropy  함수 H는 아래 3 조건을 만족하는 유일한 연속 함수이다.

 

1) 모든 사건이 동일 한 확률일 때 엔트로피는 최대값을 가진다.

2) 확률이 0인 상태는 엔트로피에 영향을 주지 않는다.

3) 조건부 엔트로피 규칙

 

==> Shannon Entropy는 불확실성을 측정하는 유일한 수학적 도구