Hello World!

Loss and Optimizer

LossesMean Square Error (MSE) : L2 Loss-> RegressionCrossEntropyLoss* Entropy엔트로피는 정보의 불확실성을 의미 * CrossEntropyq(x) *log p(x)예측모델(q)는 실제 분포 p를 모르는 상태에서 구분 분포를 따라가고자함entropy를 줄이는 쪽으로 minimize함 : 불확실성을 줄이겠다.Loss 함수에서는 분포의 차이를 줄이는 것이 목표pytorch에서는 crossentropyloss는 softmax가 포함되어 구현 Kullback-Leibler divergence loss* KLDivLoss서로 다른 두 분포의 차이를 측정하는 데 쓰이는 measurecross-entropy는 entropy보다 항상 0보다 크거나 같은 값을 갖..

인공신경망의 기본 원리신경망 모델신경망 모델 학습 원리input, activation func, output으로 구성 가중치와 편향 y=wx+b인풋(x)이 들어오면 가중치(w)를 곱함 (wx)가중치 : 신호 전달의 정보를 얼마나 많이할 것인지를 나타냄편향(b) : 뉴런이 얼마나 쉽게 활성화 되느냐를 결정 - 활성화 하는 레벨을 의미함 (있을수도~없을수도~) 활성화 함수 h(x)y=h(b+w1x1+w2x2): 입력 신호의 총합을 출력 신호로 변환하는 함수임계 값을 경계로 출력하는 특징 다층 perceptron입력층 : 데이터를 입력 받음은닉층 hidden layer : 학습을 진행함. N개 이상으로 구성되며 정보를 담아냄출력층 : 입력된 데이터에 따라 결과를 출력하는 계층. Task에 따라 다르게 구성 가..

Review of Neural Network Model오차 산출 단계 Losses정답을 알고 있는 입력 이미지 여러장을 딥러닝 모델에 넣었을 때 나온 예측 값과 정답을 비교 가중치 수정 단계 Optimization틀린 정답에 대해서 optimize 함수로 가중치를 수정함 평가 단계 Evaluation정답을 알고 있는 입력 이미지 여러장을 일부 학습된 딥러닝 모델에 넣었을 때 나온 예측 값과 정답을 비교 출력층softmax layer를 통해서 확률분포화 시킨다. Parametric vs Non-parametricParametric layers* backpropagation을 통해 학습을 진행하는 계층- loss를 통해 학습을 진행하는 계층* 은닉층, 출력층, 합성곱 층* 모델의 크기(메모리)를 좌우함- 학..

: 데이터를 변형하고 가공하기 쉽게 만들어주는 함수1. 학습 데이터 증가용2. 모델 학습하기 위해 텐서를 제공하기 위해데이터 변형ML/DL 모델 학습에 적합한 형태로 변환하는 과정이 필요함ex. ToTensor() : 이미지로 존재하는 정보를 토치에 적용할 수 있도록 채널을 앞으로 빼는 형식 자동 증강 auto augmentation이미지 데이터에서 데이터의 다양성 부여를 위해 활용자동 증강을 통해 모델의 정확성 향상 가능ImageNet에 적용된 자동증강 기술들은 다른 데이터셋에 적용될 때도 상당히 유용TorchVision에서는 ImageNet, CIFAR10, SVHN에 대해 기본 제공 polish ToTensor(): min-max필터를 사용해서 normalization을 진행함

텐서텐서 정의와 특징모델의 입력, 출력 뿐만 아니라 매개 변수 인코딩 가능Numpy의 ndarrays와 유사Numpy 배열과 텐서는 기본 메모리를 공유 가능하므로 데이터 복사할 필요성이 없음- 연산 처리가 편리하지만, 의도치 않게 데이터가 참조가 되는 경우가 발생Auto Diff에 최적화되어있음-> x->ㅁ->y^ y 차이를 optim을 통해 학습을 진행하는 것. 차이를 구하고 최적값을 산출하는 파라미터의 메모리 주소가 auto tracing이 된다. 사용자가 일일이 해주지 않아도 됨.--> 생각하지 못한 곳에서 메모리가 참조되는 경우가 있음.  텐서 생성직접 생성데이터(사용자가 인코딩해서 벡터 형식으로 표현)로부터 직접적으로 텐서 생성이 가능함자료형은 자동으로 유추되어 적용specific한 자료형이 ..

https://github.com/yanghongji2007/cross_view_localization_L2LTR GitHub - yanghongji2007/cross_view_localization_L2LTR Contribute to yanghongji2007/cross_view_localization_L2LTR development by creating an account on GitHub. github.com Layer to layer transformer 코드 실습 중 https://github.com/jeonsworld/ViT-pytorch GitHub - jeonsworld/ViT-pytorch: Pytorch reimplementation of the Vision Transformer (An..

파이토치 모델을 정의하기 위해서는 모듈을 상속할 클래스 사용함 - 계층(layer) : 모듈또는 모듈을 구성하는 한 개의 계층. 합성곱층, 선형 계층(linear layer)등 - 모듈(module) : 한 개 이상의 레이어가 모여서 구성된 것 - 모델 : 최종적으로 원하는 네트워크, 한 개의 모듈이 모델이 될 수 있음 모델 파라미터 정의 손실 함수 학습 동안 출력과 실제 값 사이의 오차 측정 - BCELoss : 이진 분류에 사용 - CrossEntropyLoss : 다중 클래스 분류를 위해 사용 - MSELoss : 회귀 모델에서 사용 - 오차 값이 클수록 손실 함수의 값이 큼 - 손실 함수의 값을 최소화하는 가중치와 바이어스를 찾는 것이 학습 목표 옵티마이저 데이터와 손실 함수 바탕으로 모델의 업데..