Backpropagation & Activations

인공신경망의 기본 원리

신경망 모델

신경망 모델 학습 원리

input, activation func, output으로 구성

 

가중치와 편향 y=wx+b

인풋(x)이 들어오면 가중치(w)를 곱함 (wx)

가중치 : 신호 전달의 정보를 얼마나 많이할 것인지를 나타냄

편향(b) : 뉴런이 얼마나 쉽게 활성화 되느냐를 결정 - 활성화 하는 레벨을 의미함 (있을수도~없을수도~)

 

활성화 함수 h(x)

y=h(b+w1x1+w2x2)

: 입력 신호의 총합을 출력 신호로 변환하는 함수

임계 값을 경계로 출력하는 특징

 

다층 perceptron

입력층 : 데이터를 입력 받음

은닉층 hidden layer : 학습을 진행함. N개 이상으로 구성되며 정보를 담아냄

출력층 : 입력된 데이터에 따라 결과를 출력하는 계층. Task에 따라 다르게 구성 가능

* 딥러닝 : 레이어가 여러개

 

역전파 Backpropagation

연쇄법칙

합성함수의 미분은 합성함수를 구성하는 각 함수의 미분의 곱으로 나타낼 수 있음

f2(f1(x))

역전파를 통해 다시 학습을 함

Activation Functions

활성화 함수

값을 전달할까말까를 결정함

vanishing gradient 때문에 ReLU를 주로 사용함, regression에서는 tanh함수