평가

머신러닝을 이용하여 모델 구현 후 결과가 좋은 모델인지 평가 하기 위해 각 모형이 얼마나 좋은 지 말해주는 점수가 필요하다.

대표적으로는 프리시즌(Precision)과 리콜(recall)이 있다.

프리시즌(Precision) - 정밀도

• 정의 : Positive라 예측한 사례 중 TruePostive 비율

• 점수 구하는 공식 : TruePositive / ( TruePositive + FalsePsitive )

리콜(Recall) - 재현율

• 정의 : True라 예측한 사례 중 TruePositive 비율 

• 점수 구하는 공식 : TruePositive / ( TruePositive + TrueNegative )

에러

• ErrorType1 : 실제로는 False인데 Positive로 예측한 사례

• ErrorType2 : 실제로는 True인데 Negative로 예측한 사례

• 경우에 따라 ErrorType 1, 2 중 더 치명적인 Error가 다를 수 있음

예)

• ErrorType1이 더 치명 적인 경우 : 중고 자동차를 구입 할때 좋은 자동차라 예측하고 구매하였지만 좋지 않은 자동차였을 경우. (좋은 중고 자동차를 나쁘다 판단하여 안사면 손해는 없지만 나쁜 중고자동차를 좋다고 판단하여 구매하면 손해가 크다)

• ErrorType2가 더 치면 적인 경우 : 암 진단시 건강한 사람이라고 예측 하였는데 암 환자인경우

• 예시에서 볼 수 있듯이 경우에 따라 적절한 평가 지표를 사용해야 한다.

• 프리시즌과 리콜 외에도 Accuracy, Kappa 등의 지표가 있다.

1. 협업 필터링

- 도메인 지식 필요없음

- 제품 종류가 많아 추천이 잘된다.

2. 컨텐츠 기반

- 도메인 지식 필요 

- 다양한 메타데이타 (구성하기 어려울 수 있음)

3. 협업필터링 + 컨텐츠기반

4. 차원 축소

5. 평가 방식

- 정확도 (평점 예측)

- 만족도 (클릭율, 구매율)

결론 : 일반적인 이야기