[K-DIGITAL] 분류 성능에 대한 측정 ROC Curve와 AUC

멋쟁이사자처럼 X K-DIGITAL Training - 06.29

 

 

[이전] 로지스틱 회귀(이진분류분석) 2021.06.29 - [python/k-digital] - [K-DIGITAL] 머신러닝 알고리즘(1) 회귀분석과 분류분석

[K-DIGITAL] 머신러닝 알고리즘(1) 회귀분석과 분류분석

---

 

 

ROC 곡선 (Receiver Operating Characteristic 곡선)

모든 임계값에서 이진 분류 모델의 성능을 보여주는 그래프

x축은 특이도(Specificity) y축은 민감도(Sensitivity)로 구성

좌상단으로 붙어있는 ROC 커브일 수록 더 좋은 분류기

 

* Confusion Matirx

- Accuracy (정확도) = 전체에서 예측결과가 맞은 경우

- Error : 1 - Accuracy

- Sensitivity (Recall, 민감도) = 실제로 참인것 중 모델이 참이라고 예측한 비율 = TPR

- Specificity (특이도) = 실제로 거짓인 것 중 모델이 거짓이라고 예측한 비율

- FPR (False Positive Rate) = 실제로 거짓인 것 중 모델이 참이라고 예측한 비율 = 1 - specificity

 

- Positive Predictive Value (Precision, 정밀도) : 참이라고 예측한 것 중 실제로 참인 것의 비율

- Negative Predictive Value (음성예측도) : 거짓이라고 예측한 것 중 실제로 거짓인 것의 비율

 

 

AUC (Area Under the Curve)

ROC 곡선 아래 영역

AUC가 높다는 것은 클래스를 구별하는 모델의 성능이 훌륭하다는 것을 의미

좌상단에 붙은 ROC 곡선이 가장 좋음으로 AUC의 값은 1일때 가장 이상적인 분류성능을 보임 (완벽하게 구별 가능)