• 딥러닝: 평가 지표

참/거짓을 예측하며, 이진 분류 모델의 예측 결과는 다음 네 가지 중 하나에 해당함

1. TP(True Positive)
   1. 예측 성공
2. TN(True Negative)
   1. 예측 성공
3. FP(False Positive)
   1. 실제 값은 False지만, 예측 값은 True인 경우
   2. 1종 오류라고도 불림
4. FN(False Negative)
   1. 실제 값은 True지만, 예측 값은 False인 경우
   2. 2종 오류라고도 불림

Recall(재현율)

• 모델이 True라고 분류한 것 중에서 실제 True인 것의 비율
• 실제 Positive인 데이터를 Negative로 잘못 예측했을 때 리스크가 크면, Recall이 더 중요함
• EX) 암환자 예측, 보험사기, 화제 경보

Precision(정밀도)

• 실제 True인 것 중에서, 모델이 True라고 예측한 비율
• 실제 Negative인 데이터를 Positive로 잘못 예측했을 때 리스크가 크면, Precision이 더 중요함
  • EX) 해킹방지툴, 스팸문자툴

이진 분류 모델의 성능 평가를 위해서 고려해야 하는 재현율과 정밀도는 상충 관계라서 정확한 수치 파악이 어려움 → 그래서 등장한 게 F1 score

F1 score

• 정밀도와 재현율이 어느 한쪽으로 치우치지 않는 수치를 나타낼 때, 상대적으로 높은 값을 가짐

Precision-Recall Curve

• 정밀도와 재현율을 그래프로 표현한 것
• AP(Average Precision)은 이 그래프의 면적값을 계산해서, 모델의 성능을 비교하는데 쓰임

TOP-{Num} Accuracy

• 확률이 높게 나온 {Num}개 중, 정답이 있으면 답으로 인정해서 정확도를 측정

IOU(Intersection Over Union)

• 합집합 영역 넓이/교집합 영역 넓이로 정답을 기준을 정하는 방식

• 과대 적합(overfitting)

정의: 모델이 학습 데이터에 너무 구체적으로 맞춤화되어 있는 상태를 의미함. ****

특징: 학습 데이터셋에 관해서는 정확도가 높지만, 검증 데이터셋이나 새로운 데이터셋이 주어지면 성능이 저하함

• 과소 적합(underfitting)

정의: 모델이 학습 데이터를 제대로 파악하지 못해서 제대로 기능하지 않는 상태를 의미함

특징: 정확도가 낮아서, 추가적인 학습이 필요함