반응형 논문 리뷰/Neural Network4 RNN, LSTM Sequence Problem 기존의 NN는 이전에 일어난 사건을 바탕으로 나중에 일어나는 사건에 대해 예측하지 못한다. 은닉층(hidden layer)에서 활성화 함수를 지난 값은 무조건적으로 출력층(output layer) 방향으로 향하는 Feed-Forward의 특징을 지닌다. 이와 다르게 RNN은 은닉층의 노드에서 활성화 함수를 통해 나온 결과값을 출력층 방향으로 보내면서, 다시 은닉층 노드의 다음 계산의 입력으로 보내는 특징을 가진다. 스스로를 반복하면서 이전 단계에서 얻은 정보가 지속되도록 하는 구조의 체인처럼 이어지는 성질은 Sequence나 list로 이어지는 것을 알려준다. 즉, RNN은 Sequence data Problem를 다루기에 최적화된 구조의 NN이라고 생각할 수 있다. 그리고.. 2021. 5. 6. Multivariable Linear Regression + nn.Module 이전 글에서 x가 1개일 때 H(x)=Wx+b에서의 선형 회귀가 아닌 x가 여러개일때의 선형회귀, H(x)=W1x1+W2x2+...+Wnxn+b를 살펴본다. 샘플(sample) : 전체 훈련 데이터의 개수를 셀 수 있는 1개의 단위, 현재 샘플의 수는 총 5개 특성(feature) : 각 샘플에서 yy를 결정하게 하는 각각의 독립 변수 x, 현재 특성은 3개 import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim # 훈련 데이터 x1_train = torch.FloatTensor([[73], [93], [89], [96], [73]]) x2_train = torch.FloatTensor([[.. 2021. 3. 2. Simple Linear Regression + Cost func / GD 사람이 1시간 동안 공부했을 때 2점, 2시간 공부했을 때 4점, 3시간했을 때 6점을 받는다는 training dataset이 존재한다고 가정한다. 그렇다면 test dataset으로 4시간 공부했을 때 몇점을 얻을 수 있겠는가에 대한 질문에 답해보자. : 우리는 4시간 공부했을 때 8점을 받을 수 있다고 쉽게 예측할 수 있다. Simple Linear Regression(선형 회귀)란? : 학습 데이터와 가장 잘 맞는 하나의 직선을 찾는 것으로 보통 H(x)=Wx+b의 형태를 가진다. 이때 x와 곱해지는 W를 weight(가중치), b를 bias(편향)이라고 표현하고 simple linear이기 때문에 x는 1개이다. Cost function(비용 함수)란? : 실제 training dataset과 .. 2021. 3. 2. Neural Network + Activation func Neural Network(인공신경망)이란? : 인간 뉴런의 자극 전달 과정에 아이디어를 착안하여 발생한 Machine Learning Algorithm 인간의 뉴런은 시냅스를 통하여 다른 뉴런으로부터 자극을 전달받고 시냅스를 통하여 다른 뉴런에게 자극을 전달하는 과정을 통해서 학습을 진행한다. 이 자극 전달의 과정을 알고리즘 내에서 layer와 perceptron으로 뉴런과 시냅스를 구성하여 연결지은 것이 바로 인공신경망 모형이다. 하나의 뉴런은 곧 하나의 perceptron으로 대응되며, 여러개의 퍼셉트론의 합을 전달해주는 시냅스의 역할은 여러 layer를 잇는 weight/bias(error)가 된다. 위 그림에서 A는 인간의 뉴런을 형상화 한 것이다. 그리고 C는 이 뉴런들의 연결을 보여주는 것이.. 2021. 3. 2. 이전 1 다음 반응형
