홀드 아웃 검증이란

핸즈온 머신러닝2

훈련 세트의 일부를 떼어내어 여러 후보 모델을 평가하고 가장 좋은 하나를 선택한다.

홀드 아웃 세트를 검증세트(개발 세트, 데브 세트)라고 부른다.

홀드 아웃 검증의 단점과 해결 방법

홍드 아웃 검증의 단점

훈련 세트에서 데이터를 분리하다보니, 세트가 작거나 클 때 발생하는 문제가 있다.

세트가 작을 때
  • 모델이 정확하게 평가되지 않는다.
  • 최적이 아닌 모델을 잘못 선택할 수 있다.
세트가 클 때
  • 남은 훈련 세트가 전체 훈련 세트보다 너무 작아진다.
    • 너무작은 훈련 세트에서 훈련한 모델을 비교하는 것은 이상적이지 않다.

해결 방법

작은 검증 세트를 여러 개 사용하여 반복적인 교차 검증 을 수행한다.

하지만 훈련 시간이 검증 세트의 개수에 비례해 늘어난다.

참고문헌

1) 프랑소와 숄레 (Francois Chollet), 케라스 창시자에게 배우는 딥러닝, 박해선, 오라일리, (주)도서출판 길벗(2021년 초판 8쇄 발행), 63p