Hello World!

LossesMean Square Error (MSE) : L2 Loss-> RegressionCrossEntropyLoss* Entropy엔트로피는 정보의 불확실성을 의미 * CrossEntropyq(x) *log p(x)예측모델(q)는 실제 분포 p를 모르는 상태에서 구분 분포를 따라가고자함entropy를 줄이는 쪽으로 minimize함 : 불확실성을 줄이겠다.Loss 함수에서는 분포의 차이를 줄이는 것이 목표pytorch에서는 crossentropyloss는 softmax가 포함되어 구현 Kullback-Leibler divergence loss* KLDivLoss서로 다른 두 분포의 차이를 측정하는 데 쓰이는 measurecross-entropy는 entropy보다 항상 0보다 크거나 같은 값을 갖..

인공신경망의 기본 원리신경망 모델신경망 모델 학습 원리input, activation func, output으로 구성 가중치와 편향 y=wx+b인풋(x)이 들어오면 가중치(w)를 곱함 (wx)가중치 : 신호 전달의 정보를 얼마나 많이할 것인지를 나타냄편향(b) : 뉴런이 얼마나 쉽게 활성화 되느냐를 결정 - 활성화 하는 레벨을 의미함 (있을수도~없을수도~) 활성화 함수 h(x)y=h(b+w1x1+w2x2): 입력 신호의 총합을 출력 신호로 변환하는 함수임계 값을 경계로 출력하는 특징 다층 perceptron입력층 : 데이터를 입력 받음은닉층 hidden layer : 학습을 진행함. N개 이상으로 구성되며 정보를 담아냄출력층 : 입력된 데이터에 따라 결과를 출력하는 계층. Task에 따라 다르게 구성 가..

Review of Neural Network Model오차 산출 단계 Losses정답을 알고 있는 입력 이미지 여러장을 딥러닝 모델에 넣었을 때 나온 예측 값과 정답을 비교 가중치 수정 단계 Optimization틀린 정답에 대해서 optimize 함수로 가중치를 수정함 평가 단계 Evaluation정답을 알고 있는 입력 이미지 여러장을 일부 학습된 딥러닝 모델에 넣었을 때 나온 예측 값과 정답을 비교 출력층softmax layer를 통해서 확률분포화 시킨다. Parametric vs Non-parametricParametric layers* backpropagation을 통해 학습을 진행하는 계층- loss를 통해 학습을 진행하는 계층* 은닉층, 출력층, 합성곱 층* 모델의 크기(메모리)를 좌우함- 학..

딥러닝 등장 특징 학습의 부각 Hand-crafted feature - 기계 학습의 적용 범위가 분류나 회귀라는 작업에 제한됨 - 특징 추출은 기계 학습과 별개로 구현한 후에 결합하여 사용 End-to-end learning - 깊은 신경망에서는 특징 추출 자체도 기계 학습으로 설계함 - 센서로 획득한 패턴이 신경망의 입력이고, 여러 단계의 은닉층이 자동으로 계층적인 특징을 추출함 - 앞 단계의 은닉층은 주로 low-level feature(엣지, 코너)를 추출하고 뒤로 갈수록 추상적인 high-level feature를 추출 깊은 다층 퍼셉트론(DMLP) 은닉층을 L-1개 가지고, 마지막에 출력층이 있어 총 L개의 층을 가짐 오류 역전파 알고리즘 - MLP와 마찬가지로 오류 역전파 알고리즘을 이용해서 ..

정형 데이터와 비정형 데이터 머신러닝 알고리즘은 테이블 형태의 정형 데이터를 입력으로 사용함 - 정형 데이터 : 각 샘플을 설명하는 특성이 열로 표현됨 - 비정형 데이터 : 특성의 열로 구성할 수 없는 데이터 ex. 이미지, 소리, 텍스트 ㄴ 데이터의 구성 요소가 고차원 공간에서 의존성을 가지고 연결되어있어서 픽셀이나 문자를 독자적인 정보를 가진 특성으로 사용할 수 없음 ㄴ 원시 픽셀값에서 간단한 분류 작업을 제외하고는 로지스틱 회귀, 랜포 등을 훈련하면 성능이 낮은 모델을 만듦 ㄴ 딥러닝 모델은 비정형 데이터로부터 고수준 정보를 가진 특성을 만드는 방법 스스로 학습 가능함 케라스와 텐서플로 모델 만들기 케라스에서 신경망 구조 정의하는 방법 - Sequential 모델, 함수형 API Sequential..

머신러닝 지도 방식에 따라 1. 지도학습 정답이 무엇인지 컴퓨터에 알려주고 학습시키는 방법 데이터가 입력(특징벡터)와 출력(목푯값) 쌍으로 주어짐 목적함수가 학습과정을 주도함 - 분류 k최근접이웃(KNN), 서포트 벡터 머신(SVM), 결정 트리, 로지스틱 회귀 - 회귀 : 출력이 연속된 실수로 주어짐 선형 회귀 -순위매기기ranking : 주로 검색에서 사용됨. 관련 문서를 찾은 후 적합도에 따라 순위를 매겨 사용자에게 제공하는 목적 - 영상 변환 2. 비지도학습 정답을 알려주지 않고 특징이 비슷한 데이터를 클러스터링해서 예측하는 학습 방법 특징벡터만 주어짐 유사도 기반(데이터 간 거리 측정)으로 특징이 유사한 데이터끼리 클러스터링으로 묶어서 분류됨 - 군집(클러스터링) : 특징 공간에서 가까이 있는 ..