3-1/Data Mining
9주차-SVM(2)
Donghun Kang
2024. 5. 11. 16:08



- Support Vector Machine with Soft Margin

전략
1. 예외를 허락
2. 넘어가는 정도를 penalty로 정의
3. penalty도 최소화(margin을 최대화와 동시에)
- Soft margin Support vector machine

- Lagrangrian Primal problem

- Lagrangian Dual Formulation




- KKT Condition



- Support Vector Machine with Kernel Trick
non linear D.B(decision boundary) => 모델이 복잡 => 여전히 linear D.B 사용하면서도 해당 문제를 해결 => Kernel Trick
Q) Decision Boundary가 선형이 아니라면?
A) 매핑함수를 이용해 입력벡터를 저차원에서 고차원으로 변환한다.
- Mapping Origianl Space to Kernel Space

1. SVM을 Kernal space에서 학습
2. Original space에서 non-linear decision boundary => Kernal space에서 linear decision boundary
3. 고차원 kernal space에서는 관측치 분류가 더 쉬울 수 있음.
4. 고차원 kernal space를 효율적으로 계산할 수 있는 방법이 있음.
- kernal mapping



- How to find a mapping function?
- Kernal function

- 1. Polynomial

- 2. Gaussian(RBF)

- 3. Sigmoid

* RBF kernal

EX)


sigma가 작아질수록, 더 복잡한 decision boundary가 나타난다.