validation set (dev set)이 필요한 이유

1 학습 방법을 바꿀 때(하이퍼 파라미터 튜닝)

2 교차 검증 (cross validation)이 필요할 경우
   * 튜닝해야할 하이퍼 파라미터가 많을 때 사용한다.
   *검증 셋을 바꿔 여러번 검증해서 그 평균값으로 성능을 정의한다.
   *평균이 낮더라도 안정적인 결과를 내는 게 더 좋은 모델일 수 있다.

3  학습을 중단하는 시점을 정할 때 (에포크를 몇으로 할 건지 = 훈련셋을 몇번 반복해서 학습할 건지)
    * 초기에는 에포크가 높을수록 검증셋의 평가결과도 좋다?
    * 학습이 덜 된 상태(언더피팅 상태)에서는 에포크를 늘려서 학습을 더 시키면 더 좋은 성능을 볼 수 있다.

4  주의사항
    * 교차검증은 계산량이 많아서 데이터 수가 많지 않을 때 사용한다. (딥러닝에선 잘 쓰지 않음)
    * 교차 검증시엔 검증셋을 바꿀 때마다 학습된 상태를 초기화해야 한다. (이전 검증셋이 다음엔 훈련셋이 되므로)
    * 에포크가 너무 높으면 검증셋을 통한 성능 평가는 더이상 높아지지 않고, 오버피팅이 돼서 오히려 틀린 개수가 많아진다.
       이 시점에 이르기 전에 학습을 중단해야 한다.