Regularization

과잉적합

- 훈련집합에 대한 오류율은 모델 용량이 클수록 0에 가까워짐

--> 최적 용량을 지나면 테스트집합에 대한 성능이 오히려 악화됨

- 설계 시 자신이 가진 데이터보다 훨씬 큰 용량으로 설계하곤 함

--> 층이 많고 층에 노드가 많을수록 용량이 큼

--> 과잉적합 방지에 초점

cf) 가중치가 100만인데 샘플이 10만 == 10만개의 방정식으로 100만개의 매개변수 추정 문제

--> 학습 알고리즘은 주어진 데이터를 단순히 '암기'하는 것에 지나치지 않음

- 머신러닝은 충분히 큰 용량의 신경망 구조 설계 후 학습 과정에서 여러 가지 규제 기법 적용

 

규제

- 모델 용량에 비해 데이터가 부족한 경우 가정을 투입해야함

-> 티호노프 ; "입력과 출력 사이의 매핑은 매끄럽다"라는 성질 사용

--> 데이터 원천에 내재한 정보를 prior knowledge라고 함

• 명시적 규제 : 목적함수나 신경망 구조를 직접 수정 e.g. 드롭아웃, 가중치 감쇠
• 암시적 규제 : 간접적으로 영향을 미치는 규제 e.g. 조기 멈춤, data augmentation, 잡음 추가, 앙상블

 

가중치 감쇠 weight decay

; 가중치의 값을 일정한 범위로 제한하면 모델의 용량이 작아짐

- 구조적 용량을 크게 하고 수치적 용량을 제한하는 규제기법