기계 학습
: 가장 정호가하게 예측할 수 있는 최적의 매개변수값을 찾는 작업
y=wx+b(w,b는 파라미터)
- 회귀 : 실숫값을 예측하는 문제
- 분류 : 부류를 예측하는 문제
학습; learning(훈련 ; training) : 모델의 성능이 점점 개선되는 과정을 거쳐 최적의 상태에 도달하는 작업
테스트 ; 훈련집합에 없는 새로운 샘플에 대한 목푯값을 예측하는 과정
일반화 : 테스트 집합에 대해 높은 성능을 가진 성질
데이터베이스 : 훈련집합 + 테스트집합
검증집합 : 모델을 비교하는 데 사용할 별도의 데이터. 모델 선택에 사용
교차 검증 : 훈련 집합을 같은 크기로 나누어서 k개의 그룹을 만든 후 k-1개로 모델을 학습시킨 후 남긴 그룹으로 성능을 평가함. k개의 성능을 얻은 후 이를 평균해서 검증 성능으로 취함
현대의 기계 학습 - 좋은 특징 공간을 찾아내는 작업
표현학습(representation learning) ; 좋은 특징공간을 자동으로 찾아냄
딥러닝 - 신경망 구조에 여러 은닉층을 두고, 왼쪽 은닉층에서는 저급 특징을 추출, 오른쪽으로 갈수록 고급 특징을 추출함
-> 신경망 학습 알고리즘이 특징 공간 변환 공식을 자동으로 찾아내 계층적인 특징 추출 기능을 부여함
차원의 저주 : 차원이 높아지면서 거대한 특징 공간이 형성됨에 따라 발생하는 현실적인 문제
수치적 방법과 분석적 방법
수치적 방법numerical method : 작은 개선(dy/dx)을 반복하여 최적해를 찾아가는 방법
분석적 방법analytical method : 유도한 식에 훈련집합의 샘플을 대입하여 한꺼번에 최적해를 구하는 방식, 차원이 낮고 목적함수가 단순한 경우
과소적합과 과잉적합
과소적합underfitting : 모델의 용량이 작아서 발생하는 문제
과잉적합overfitting : 주어진 데이터 분포에 비해 용량이 너무 커서 아주 작은 잡음까지 수용하여 훈련집합은 완벽하게 대변하지만 새로운 점이 들어오면 제대로 대처하지 못함
바이어스와 분산
바이어스 : 데이터 생성 과정과 모델 사이에 큰 차이가 있는 경우 바이어스가 크다고 표현
분산 : 훈련집합이 바뀌더라도 학습 결과로 얻은 곡선들이 비슷한 현상
-> 단순한 모델일수록 바이어스가 크고 분산이 작음(서로 tradeoff)
-> 기계 학습의 목표는 낮은 바이어스와 낮은 분산을 가진 preditor를 만드는 것
규제
: 현대 기계 학습이 높은 일반화 능력을 확보하기 위해 용량이 충분히 큰 모델에 여러 규제 기법을 적용함
1) 데이터 확대
- 수집이 비용이 많이 듬
- 훈련집합에 있는 샘플을 변형해서 데이터를 확대하기도 함
2) 가중치 감쇠
: 가중치를 작게 유지함
- 오류가 적으면서 계수가 작은 해를 찾아줌