3-1/Data Mining

9주차-SVM(2)

Donghun Kang 2024. 5. 11. 16:08

  • Support Vector Machine with Soft Margin
전략
1. 예외를 허락
2. 넘어가는 정도를 penalty로 정의
3. penalty도 최소화(margin을 최대화와 동시에)

  • Soft margin Support vector machine

 

  • Lagrangrian Primal problem

 

  • Lagrangian Dual Formulation

 

 

  • KKT Condition

 

  • Support Vector Machine with Kernel Trick
non linear D.B(decision boundary) => 모델이 복잡 => 여전히 linear D.B 사용하면서도 해당 문제를 해결 => Kernel Trick

Q) Decision Boundary가 선형이 아니라면?

A) 매핑함수를 이용해 입력벡터를 저차원에서 고차원으로 변환한다.

 

  • Mapping Origianl Space to Kernel Space
​1. SVM을 Kernal space에서 학습
2. Original space에서 non-linear decision boundary => Kernal space에서 linear decision boundary
3. 고차원 kernal space에서는 관측치 분류가 더 쉬울 수 있음.
4. 고차원 kernal space를 효율적으로 계산할 수 있는 방법이 있음.

 

  • kernal mapping
  • How to find a mapping function?

 

  • Kernal function
  • 1. Polynomial
  • 2. Gaussian(RBF)
  • 3. Sigmoid

* RBF kernal

 

EX)

sigma가 작아질수록, 더 복잡한 decision boundary가 나타난다.