[K-DIGITAL] 머신러닝 알고리즘(2) SVM

멋쟁이사자처럼 X K-DIGITAL Training - 06.29

 

 

[이전] 2021.06.29 - [python/k-digital] - [K-DIGITAL] 머신러닝 알고리즘(1) 회귀분석과 분류분석

[K-DIGITAL] 머신러닝 알고리즘(1) 회귀분석과 분류분석

---

 

SVM (Support Vector Machine)

지도학습

패턴 인식, 자료 분석을 위한 지도 학습 모델로 주료 분류와 회귀 분석을 위해 사용

새 데이터가 어떤 클래스에 속하는지 판단하는 비확률적 이진 선형분류 모델 구축

데이터가 사상된 공간에서 경계로 표현

 

 

 

▷ Soft Margin SVM vs Hard Margin SVM

엄격하게 2개의 클래스로만 데이터를 분리하기 어려움을 해결하기 위해 soft margin 도입

- hard margin : 다른 클래스에 속하지 않고 구분이 됨, 엄격하게 분류

- soft margin : plus & minus plane에 약간의 여유 변수를 두어 너무 엄격한 기준을 두지 않음, 이상치의 영향을 덜 받음

 

 

▷ MMH (Maximum Marginal Hyperplane)

margin이 최대가 되도록하는 경계를 찾는 알고리즘 -> cost function

 

- C : 얼마만큼 여유를 가지고 오류를 인정(허용)할 것인지 판단해주는 값 (사용자가 설정하는 hyper parameter)

        값이 클수록 overfitting (경계가 엄격해짐)

- ξ (크시, 크사이) : hyperplane~vector 사이 거리

 

 

▷ 데이터가 선형적으로 분리되지 않을 경우?

 

 

커널함수(kernerl function, kerner trick)을 통해 고차원으로 변경 (비선형 매핑)

→ 고차원에서 결정 경계를 구한 후 원래 차원으로 복귀

→ 비선형의 결정 경계를 구할 수 있음