- degradation 현상에 대한 사전 지식을 활용하여 손상된 이미지를 복구하려는 시도
Image enhancement VS Image restoration
원래 애초에 원본이 있는데 그것을 더 좋게, 기존의 값을 더 좋게
이미지가 원래는 어느 정도 품질로 있었는데, 손상이 되었을 때 어떻게 손상되었는지를 추정하여 그 부분을 보완
Image Degradatian/ Restoration Process
- Image는 Operator H에 의해 degradation된다고 모델링되며, 이는 입력 이미지 f(x, y)에 작용하여 degraded image g(x, y)를 생성
- 만약 H가 linear, position-invariant operator이라면
Noise Models
- Image Acquisition(이미지 획득) 또는 Transmission(전송)과정에서 Noise가 발생 - 위치 좌표와 관계 없이 이미지 상에서 어느 위치에 있는 픽셀이나 동일한 noise모델 따른다.
PDFs
=> 모델 이름 및 생김새 알아두기 (수식 암기 X)
EX)
Periodic Noise
Spatially dependant noise
- 공간적으로 의존적인 noise - 보통 주기성을 가짐
Estimating Noise Parameters
- 관측된 히스토그램이 특정 노이즈 모델(Gaussian, Rayleigh 등)에 가장 잘 맞도록 a와 b값을 변경
Restoration - Spatial Filtering
- Spatial Filtering(공간 필터링)은 f(x, y)를 추정하기 위한 선택 방법. - 이는 g(x, y)에서 추간된 랜덤 노이즈만 존재할 때 사용
Mean Filters
Arithmetic Mean Filter(산술 평균 필터)
- 각 픽셀 값의 산술 평균을 계산하여 노이즈를 줄임 => Gaussian 노이즈 제거에 적합, edge 보존 능력은 약함
Geometric Mean Filter(기하 평균 필터)
- 픽셀 값의 기하 평균을 계산하여 노이즈 제거 => 작은 값의 노이즈를 효과적으로 제거, 강한 edge 보존 능력
Harmonic Mean Filter(조화 평균 필터)
- 큰 값 노이즈를 줄이는데 적합 => edge 및 detail 보존
Contraharmonic Mean Filter
- 산술, 조화 평균 사이 Q = 0: 산술 평균 Q = -1: 조화 평균 => Q값을 조정하여 특정 유형의 노이즈(Salt or Pepper)를 제거하는데 효과적
Order-Statistic Filters
Median Filter(중간값 필터)
- 선택된 Window 내 픽셀 값 중 중간값을 계산
Max and Min Filters(최댓값/ 최솟값 필터)
- 선택된 Window 안에서 최대/ 최소 => 밝은 노이즈/ 어두운 노이즈 제거에 적합
Midpoint Filter(중간점 필터)
- Max와 Min의 평균을 계산 => Uniform 노이즈에 적합
Alpha-trimmed Mean Filter
- 가장 작은 d/2와 가장 큰 d/2 픽셀 값을 제거 후 평균 계산 => 극단적인 값 제외
- Median/ Mean Filter는 여러 번 적용이 가능하다.
Adative Filters(적응형 필터)
- 필터는 선택된 영역 Sxy 내 통계적 특성에 따라 동적으로 작동
<정의>
<수식>
=> Signal이 강한 이미지 => 상대적으로 noise의 영향력이 적다. => Filtering을 덜 해줘도 괜찮다.
- 작동 방식
=> Adative Filter는 이미지의 지역적 통계 측성을 활용하여 노이즈를 효과적으로 제거
Adative Median Filter(적응형 중간값 필터)
- Salt-and-Pepper 노이즈가 높은 밀도로 존재할 때 효과적 - Impulse Noise를 제거하면서도 세부 정보를 보존 - Filter Window 크기 Sxy가 조건에 따라 변화
Filter의 목적
1. Salt-and-Pepper 노이즈 제거 2. Impulse가 아닌 다른 Noise의 Smoothing 제공 3. distortion(왜곡) 최소화
Algorithm
<변수 정의>
<동작 단계>
=> Adapative Median Filter는 Filter Window 크기를 유동적으로 변경하여 최적의 결과를 도
=> Window Size가 바뀐다!
Periodic Noise Reduction Using Frequency Domain Filtering
<The basic idea> - 주기적 노이즈는 FT에서 특정 주파수 위치에 에너지가 직중적으로 나타남 - 이를 이용해 주파수 간섭을 나타내는 위치를 파악, 제거 가능
<The approach> selective filter를 사용한다. 1. Bandreject(Notch) 2. Bandpass
Nortch Filter
Butterworth Notch Rejection Filter
Selective Filters
Bandreject filter
<Key Requirements 필터의 주요 요구 사항> 1. 함수 값은 [0, 1] 범위에 있어야 한다. 2. 함수 값이 원점으로부터 C0거리에서 0이어야 한다. 3. W값(밴드의 너비)을 지정할 수 있어야 한다.
- Bandreject filter는 주파수 영역에서 특정 주파수를 제외하고 다른 주파수를 통과시키기 위해 설계된 필터
=> Butterworth는 Gaussian과 Ideal의 중간 형태를 가지며 n값에 따라 특성이 조정됨. n 증가: Ideal / n 감소: Gaussian
Nortch filter ("pass" 시키는 영역을 좁게)
- Nortch filter는 특정 주파수를 선택적으로 제거하여 원하는 부분만 통과시키는 역할 - 주파수 영역에서 패턴화된 잡음(주기적 간섭)을 제거하는 데 사용
여기서 η(x, y) = 0으로 가정하여 g(x, y) = H[f(x, y)]로 간단화한다.
Linearity
H가 Linear이라고 불리려면 다음 조건을 만족해야 한다.
- a, b: scalar / f1(x, y), f2(x, y): input image
Position or Space Invariance
- 입력 신호의 위치를 변화시켰을 때 출력 신호에서도 동일한 변화가 발생
Impulse Response(Point Spread Function)
Estimating the Degradation Function
1. Observation 2. Experimentation 3. Mathematical Modeling "Blind Deconvolution" : 실제 degradation function은 완전히 알려지는 않은 상황에서 역연산을 통해 원본 이미지를 복원
Observation
<목표> degradation function H를 추정
- 신호 강도가 높은 영역을 찾아 해당 부분을 최대한 unblurred 하려고 한다. => 강한 신호 영역에서는 잡음이 무시할 수 있는 수준으로 감소
Experimentation
<기본 원리> 실험적 접근은 실제 물리적 장비를 사용하여 degradation 모델을 유도 작은 빛점(a)을 생성하여 실제 degradation 시스템을 통과시키면 b와 같은 퍼진 이미지가 생성
Modeling
1. Atmospheric Turbulence Model (대기 난류 모델)
2. Motion Blur Modeling
- 이미지와 센서 간의 일정한 선형 운동으로 인해 blurr가 발생
3. Uniform Linear Motion Example(균일 선형 운동 예시)
Inverse Filtering
<Direct Inverse Filtering>
- degradation function H(x, y)를 안다고 해도, Noise N(u, v)를 모르기 때문에 원본 이미지 F(u, v)를 완벽히 복원할 수 없다. - H(u, v) 값이 0에 가까울 때, N(u,v)/ H(u,v) 비율이 지배적이 되어 복원이 불안정해 질 수 있다. => 필터링 주파수를 H(0, 0)와 가까운 원점 근처로 제한하여 Noise영향을 줄인다!
EX)
Wiener Filter
Filtering들 중에서 Degradation과 noise를 고려해서 Filtering을 하겠다.
- Minimum Mean Square Error 필터: degradation 함수와 잡음의 통계적 특성을 결합해 복원을 수행 (수식 암기 X) - Wiener 필터는 단순 역 필터링만 사용하는 것이 아니라, 잡음과 이미지의 통계적 정보를 활용해 복원을 최적화
