정보이론-4W

Review

 

 

---

• Conjugate Prior

- Exponential Family의 구조를 따르는 경우 적절한 켤레 사전 분포(Conjugate prior)가 존재한다.

Exponetial family

 

• Entropy

• Decomposability(분해 성질)

 

• Gibb's Inequality (KL Divergence)

=> p,q 다르면 KL Divergence 양수, 같으면 0

 

• Convex Function

• Jensen's Inequality

 

• Mutual Information