생활데이타/머신러닝

모델 평가 (Precision/Recall)- 정밀도/재현율

개발의 여름 2016. 8. 4. 22:04

평가

머신러닝을 이용하여 모델 구현 후 결과가 좋은 모델인지 평가 하기 위해 각 모형이 얼마나 좋은 지 말해주는 점수가 필요하다.

대표적으로는 프리시즌(Precision)리콜(recall)이 있다.


프리시즌(Precision) - 정밀도

  • 정의 : Positive라 예측한 사례 중 TruePostive 비율
  • 점수 구하는 공식 : TruePositive / ( TruePositive + FalsePsitive )




리콜(Recall) - 재현율

  • 정의 : True라 예측한 사례 중 TruePositive 비율 
  • 점수 구하는 공식 : TruePositive / ( TruePositive + TrueNegative )




에러


  • ErrorType1 : 실제로는 False인데 Positive로 예측한 사례

  • ErrorType2 : 실제로는 True인데 Negative로 예측한 사례

  • 경우에 따라 ErrorType 1, 2 중 더 치명적인 Error가 다를 수 있음


예)

  • ErrorType1이 더 치명 적인 경우 : 중고 자동차를 구입 할때 좋은 자동차라 예측하고 구매하였지만 좋지 않은 자동차였을 경우. (좋은 중고 자동차를 나쁘다 판단하여 안사면 손해는 없지만 나쁜 중고자동차를 좋다고 판단하여 구매하면 손해가 크다)

  • ErrorType2가 더 치면 적인 경우 : 암 진단시 건강한 사람이라고 예측 하였는데 암 환자인경우

  • 예시에서 볼 수 있듯이 경우에 따라 적절한 평가 지표를 사용해야 한다.

  • 프리시즌과 리콜 외에도 Accuracy, Kappa 등의 지표가 있다.