donghunkang

Noisy ChannelsBinary Erasure Channel - 출력 알파벳 "?"가 추가되어 출력이 지워졌음을 나타낸다.Noisy Typewritter ChannelZ-Channel - 채널에서 전달되는 정보령은 Mutual Information으로 정의된다. Maximizing I(X;Y)EX1) BSCEX2) The Noisy-Channel Coding Theorem

Lossless Compression- Symbol(기호) 단위로 하나씩 데이터 입력 받는다.- 고유한 bianry 문자열 인코딩하여 압축EX) Symbol Codes Good Symbol Codes[조건]EX) 1. 하나의 부호열이 오직 하나의 symbol 시퀸스로만 해석되어야 한다.2. 각 코드워드의 끝을 쉽게 식별할 수 있어야 한다.3. 어떤 코드워드도 다른 코드워드의 prefix가 되지 않는다.Kracft Inequality- Unique Decodable 한 부호를 만들기 위한 필수 조건- 이 부등식을 성립해야만 고유 디코딩 가능한 코드가 존재한다. Q) 최대 얼마나 압축할 수 있는가? A) Entropy H(X) Huffman Coding- 가장 빈도가 낮은 두 기호를 선택해 0, 1 을 ..

Entropy # Properites of EntropyDecomposabilityGibb's InequalityConvex FunctionJensen's InequalityEvidence Lower BoundJoint EntropyConditional EntropyMutial Information

Ball weight problem- 12개의 공 중 하나가 무게가 다르다. (더 가볍거나 무겁다.)Q) 양팔 저울 사용하여 최소 횟수로 이상(odd) 공을 찾는 방법은?A) 1번째 가능성=> 이는 optimal solution이 아니다. Optimal Solution- 모든 결과들을 가능한 같게끔 만든다!=> 가능한 결과가 동등한 확률 분포를 가지도록 설정해야 정보량이 극대화된다. "Maximizing" the information gain = "minimizing" the uncertainty: 정보 이득을 최대화하려면 불확실성이 최소화 되어야 한다.Shannon Information Content- 사건이 발생할 확률이 p일때 그 사건에서 얻을 수 있는 정보량은 h(x) = log 1/p 로 정의된..

Review  Conjugate Prior- Exponential Family의 구조를 따르는 경우 적절한 켤레 사전 분포(Conjugate prior)가 존재한다. EntropyDecomposability(분해 성질) Gibb's Inequality (KL Divergence)=> p,q 다르면 KL Divergence 양수, 같으면 0 Convex FunctionJensen's Inequality Mutual Information

Marginal Probability (주변 확률) Conditional Probability(조건부 확률) Bayes' Theorem (베이즈 이론)  Forward Probability (전향 확률)- 항아리 안에 총 K개의 공이 있다.- B개는 검은색, 나머지 k-B개는 흰색- 이 항아리에서 무작위로 N번 공을 뽑는다.(복원 추출 가정)Q) 검은 공이 nB개 나올 확률은?A)=> 즉, 검은 공이 나올 확률 f을 이용해 전체 시행에서 특정 횟수의 성공(black)을 모델링 Inverse Probability (역확률)- u0, u1, ..., u10 : 서로 다른 11개의 항아리- 항아리 ui는 검은 공이 i개, 나머지는 흰 공- 각 항아리는 10개의 공으로 구성된다. (K=10)Q) 아래 확률은? ..

ReviewBent coins(1): 이항분포(2): 스털링 근사(3), (4): Shannon Entropy 정의Uniqueness of Entropy  Noisy ChannelBinary Symmetric Channel- 비트가 확률 f로 flip(뒤집힌다.) : (0->1), (1->0) # Error 보정 Repetition Code: R3(0->000) , (1->111) 3번 전송 후, 3비트로 Majority Voting을 통해 원래 비트로 복원flip 확률: f / 수신된 비트 중 1의 개수 n1 - R1(단일 비트) Error probability- R3 Error probability=> 2 비트 이상 flip 될때만 오류 발생 Bayes' Rule (7,4) Hamming Code4비..

Example : Bent Coins- 앞면 확률: f, 뒷면 확률: 1-f Binomial Distribution(이항분포) Average- 이항분포 평균값 수식 유도 - statistical independence를 이용한 빠른 평균 계산 Variance Bent Coins 정리 Q) N이 무한대로 간다면?A) “Stirling’s approximation” / “Poisson Distribution” / “Central Limit Theorem”  Poisson Distribution(포아송 분포)- 고정된 시간 또는 공간 구간 내에서 발생하는 무작위 사건의 수를 모델링할 때 사용AverageVariance Connection(이항분포와의 연결) 결론  Central Limit Theorem (중심..