Object Detection Milestones

• Object Detection

- 컴퓨터 비전 분야에서 이미지나 비디오에서 객체를 탐지하고, 해당 객체의 위치와 크기를 식별하는 기술
- 이미지나 비디오에서 여러 개의 객체를 감지하고, 분류하는 작업을 수행
=> Object Detection = Multi-labeled Classification + Bounding Box Regression

 

Object Detection은 보통 두 가지 작업으로 분류된다.

• Classification(객체 분류)

- 이미지에서 객체가 무엇인지 판단하는 작업
- 해당 객체가 어떤 카테고리에 속하는지 판단하는 것

 

• Localization(객체 위치 식별)

- 이미지에서 객체가 어디에 있는지를 찾아내는 작업
- 이미지 내에서 각 객체의 Bounding Box를 찾는 것

 

---

 

 

• Two-stage detector

- 첫 번째 단계에서는 이미지 안에서 객체가 있을 법한 같은 영역(ROI)을 Bounding Box로 대략적으로 찾는다.(Region Proposal)
- 두 번째 단계에서는 후보 영역을 바탕으로 Classification을 진행하여 객체를 검출

- 높은 정확도와 안정성
- 느린 속도

 

• R-CNN(Regions with Convolution Neural Networks features)

- R-CNN은 Image Classification을 수행하는 CNN과 localization을 위한 regional proposal 알고리즘을 연결한 모델

 

# Module

1. Region Propasal

- "Object가 있을법한 영역"을 찾는 모듈 (Sliding Windows => Selective seach)

 

* Selective Search

1. 색상, 질감, 영역 크기 등을 이용해 non-object-based segmentation을 수행
이 작업을 통해 좌측 제일 하단 그림과 같이 많은 small segmented areas들을 얻을 수 있다.
2. Bottom-up 방식으로 small segmented areas들을 합쳐서 더 큰 segmented areas들을 만든다.
3. (2)작업을 반복하여 최종적으로 2000개의 region proposal을 생성

=> 2,000개의 region proposal을 뽑고 각 영역마다 CNN을 수행하기 때문에 CNN * 2000만큼의 시간이 걸려 느리다.

 

2. CNN

- CNN은 input 크기가 고정되어 있기 때문에 이들을 모두 CNN에 넣기 위해 여러 사이즈로 나온 Bounding Box들을 같은 사이즈로 통일 시키는 Wrapping을 거친다.
- Wrap 작업을 통해 region proposal 모두 224X224크기가 되면 CNN 모델에 넣는다.
- 최종적으로 CNN을 거쳐 각각의 region proposal로부터 4096차원의 feature vector를 뽑는다.

=> 동일한 사이즈로 변형하는 이유는 이후 단계에서 Classification이나 Regression을 하기 위해 고정된 길이의 벡터로 만들어 주기 위함
=> 따라서, 이미지마다 3번(or 2천번)의 CNN을 수행

 

3. SVM

- CNN모델로부터 feature가 추출되면 Linear SVM을 통해 classification진행
- CNN으로부터 추출된 각각의 feature vector들의 점수를 class별로 매기고, 객체인지 아닌지 판별하는 역할을하는 classifier

 

* Bounding Box regression

- Selective Search로 만든 Bounding Box는 정확하지 않기 때문에 객체를 정확히 감싸도록 조정해주는 Bounding Box regression이 존재

 

1. ROI마다 CNN 연산을 함으로써 속도 저하
2. Multi-stage pipelines로써 모델을 한번에 학습시키지 못함

 

R-CNN에서는 3가지 모듈 (region proposal, classification, bounding box regression)을 따로따로 수행
1. region proposal 추출
2. 각 region proposal별로 CNN 연산
3. classification, bounding box regression

 

 

• Fast R-CNN

 

 

(논문리뷰) Fast R-CNN 설명 및 정리 :: 프라이데이