활성함수 - 활성화 함수 : 입력 신호를 다음 레이어로 전달할 때 사용하는 함수 - 이전 층의 결과값을 변환하여 다른 층의 뉴런으로 신호를 전달하는 역할 --> 입력을 활성화할지, 비활성화할지를 결정하는데 사용함 - 활성화 함수를 통해 모델의 복잡도를 올릴 수 있지만, 신경망의 층을 깊게 쌓기 위해 비선형 함수 사용 e.g. 시그모이드 함수(이진 분류에서 마지막 classification 출력층에 사용됨), 하이퍼블릭 탄젠트, ReLU(은닉층에서 주로 사용됨) 하이퍼볼릭 탄젠트 - 전 구간에서 미분 가능함 - 값이 어느정도 커지면 1에 근접하는 포화 saturation 현상이 일어남 softmax 활성함수 - 출력노드는 softmax 활성함수를 사용하기도 함 - max 함수 모방 - softmax는 최댓..