정보이론-2W

Review

• Bent coins

(1): 이항분포

(2): 스털링 근사

(3), (4): Shannon Entropy 정의

• Uniqueness of Entropy

 

---

 

• Noisy Channel

Binary Symmetric Channel

- 비트가 확률 f로 flip(뒤집힌다.) : (0->1), (1->0)

전체 메시지에서 에러가 없을 확률

 

# Error 보정

 

• Repetition Code: R3

(0->000) , (1->111) 3번 전송 후, 3비트로 Majority Voting을 통해 원래 비트로 복원

Majority Voting 사용시 해당 예제에서는 오류 발생

flip 확률: f / 수신된 비트 중 1의 개수 n1

 

- R1(단일 비트) Error probability

- R3 Error probability

=> 2 비트 이상 flip 될때만 오류 발생

 

• Bayes' Rule

 

---

• (7,4) Hamming Code

4비트 데이터(s1,s2,s3,s4)를 → 7비트(t1~t7)으로 인코딩

EX)

 

• Syndrome Decoding

 

- Error probability

- 전송률

R3 방식에 비해 빠르다.

 

# Nosiy Channel에서 정보를 거의 완벽히 전송할 수 있는 최대 전송률(Capacity)가 존재한다.