donghunkang

Review  Conjugate Prior- Exponential Family의 구조를 따르는 경우 적절한 켤레 사전 분포(Conjugate prior)가 존재한다. EntropyDecomposability(분해 성질) Gibb's Inequality (KL Divergence)=> p,q 다르면 KL Divergence 양수, 같으면 0 Convex FunctionJensen's Inequality Mutual Information

Marginal Probability (주변 확률) Conditional Probability(조건부 확률) Bayes' Theorem (베이즈 이론)  Forward Probability (전향 확률)- 항아리 안에 총 K개의 공이 있다.- B개는 검은색, 나머지 k-B개는 흰색- 이 항아리에서 무작위로 N번 공을 뽑는다.(복원 추출 가정)Q) 검은 공이 nB개 나올 확률은?A)=> 즉, 검은 공이 나올 확률 f을 이용해 전체 시행에서 특정 횟수의 성공(black)을 모델링 Inverse Probability (역확률)- u0, u1, ..., u10 : 서로 다른 11개의 항아리- 항아리 ui는 검은 공이 i개, 나머지는 흰 공- 각 항아리는 10개의 공으로 구성된다. (K=10)Q) 아래 확률은? ..

ReviewBent coins(1): 이항분포(2): 스털링 근사(3), (4): Shannon Entropy 정의Uniqueness of Entropy  Noisy ChannelBinary Symmetric Channel- 비트가 확률 f로 flip(뒤집힌다.) : (0->1), (1->0) # Error 보정 Repetition Code: R3(0->000) , (1->111) 3번 전송 후, 3비트로 Majority Voting을 통해 원래 비트로 복원flip 확률: f / 수신된 비트 중 1의 개수 n1 - R1(단일 비트) Error probability- R3 Error probability=> 2 비트 이상 flip 될때만 오류 발생 Bayes' Rule (7,4) Hamming Code4비..

Example : Bent Coins- 앞면 확률: f, 뒷면 확률: 1-f Binomial Distribution(이항분포) Average- 이항분포 평균값 수식 유도 - statistical independence를 이용한 빠른 평균 계산 Variance Bent Coins 정리 Q) N이 무한대로 간다면?A) “Stirling’s approximation” / “Poisson Distribution” / “Central Limit Theorem”  Poisson Distribution(포아송 분포)- 고정된 시간 또는 공간 구간 내에서 발생하는 무작위 사건의 수를 모델링할 때 사용AverageVariance Connection(이항분포와의 연결) 결론  Central Limit Theorem (중심..