규제 기법 ; 일반화 오류를 줄이기 위해 학슴 알고리즘을 수정하는 방법 - 명시적 규제와 암시적 규제로 나뉨 - 용량이 충분히 큰 모델에 여러 가지 규제 기법을 적용해서 일반화 능력을 높일 수 있음 명시적 규제 : 목적함수나 신경망 구조를 직접 수정 e.g. 가중치 감쇠, 드롭아웃 암시적 규제 : 간접적으로 영향을 미침 e.g. 조기 멈춤, 데이터 증대, 잡음 추가, 앙상블 가중치 벌칙 규제항 - 노드를 연결하는 가중치는 노드 사이의 상호작용을 표현해서 규제가 필요함 cf) 바이어스는 하나의 노드에만 관련되어 규제하지 않아도 됨 - 규제항은 훈련집합과 무관, 가중치 크기에 제약을 가하는 역할만 함 --> 가중치가 커지면 규제항이 커지고, 목적함수가 증가하므로 목적함수를 작아지게 하기 위하여 가중치의 크기..
