donghunkang

Noisy ChannelsBinary Erasure Channel - 출력 알파벳 "?"가 추가되어 출력이 지워졌음을 나타낸다.Noisy Typewritter ChannelZ-Channel - 채널에서 전달되는 정보령은 Mutual Information으로 정의된다. Maximizing I(X;Y)EX1) BSCEX2) The Noisy-Channel Coding Theorem

Lossless Compression- Symbol(기호) 단위로 하나씩 데이터 입력 받는다.- 고유한 bianry 문자열 인코딩하여 압축EX) Symbol Codes Good Symbol Codes[조건]EX) 1. 하나의 부호열이 오직 하나의 symbol 시퀸스로만 해석되어야 한다.2. 각 코드워드의 끝을 쉽게 식별할 수 있어야 한다.3. 어떤 코드워드도 다른 코드워드의 prefix가 되지 않는다.Kracft Inequality- Unique Decodable 한 부호를 만들기 위한 필수 조건- 이 부등식을 성립해야만 고유 디코딩 가능한 코드가 존재한다. Q) 최대 얼마나 압축할 수 있는가? A) Entropy H(X) Huffman Coding- 가장 빈도가 낮은 두 기호를 선택해 0, 1 을 ..

Entropy # Properites of EntropyDecomposabilityGibb's InequalityConvex FunctionJensen's InequalityEvidence Lower BoundJoint EntropyConditional EntropyMutial Information

Ball weight problem- 12개의 공 중 하나가 무게가 다르다. (더 가볍거나 무겁다.)Q) 양팔 저울 사용하여 최소 횟수로 이상(odd) 공을 찾는 방법은?A) 1번째 가능성=> 이는 optimal solution이 아니다. Optimal Solution- 모든 결과들을 가능한 같게끔 만든다!=> 가능한 결과가 동등한 확률 분포를 가지도록 설정해야 정보량이 극대화된다. "Maximizing" the information gain = "minimizing" the uncertainty: 정보 이득을 최대화하려면 불확실성이 최소화 되어야 한다.Shannon Information Content- 사건이 발생할 확률이 p일때 그 사건에서 얻을 수 있는 정보량은 h(x) = log 1/p 로 정의된..