maizer's blog

Structure of Perceptron variable mean x Feature특징 b Bias편향 w Wieght가중치 $\sum$ $\sum^{n}w\cdot x + b$ $f$ $f(\sum^{n}w\cdot x + b)$ $\hat{y}$ Predict label예측 레이블 Why use $f()... Read More

Structure of Mini Batch 데이터 크기를 일정 크기인 Batch size로 나눠 계산하는 방식이다. Mini Batch의 개수를 Iteration으로 표현한다. Read More

Introduction When I firstly started studing GAN, I confused that what study first? To the juniors who follow me, I put a milestone so that they don’t struggle like me. Notice This post will be continuously update when i before finished ph.D milestorne Perceptron Simple Liear Perceptron Multi Liear Perceptron C... Read More

Introduction Gradient Descent Alorithm은 Optimization Algorithm 중 하나이다. Neural Network는 예측값과 실제값의 차이를 계산하는 Loss Function을 통해 Loss value를 구한다. Loss Function은 용도에 맞는 다양한 함수가 존재하는데, 가장 단순한 Loss Function인 MSE를 사용하면 두 값의 차이의 제곱 평균인 Loss value를 구할 수 있다. 이 과정을 통해 Linear Function이 Non-Linear Function으로 변환된다. 학습은 Forward Propagation을 통해 얻은 Loss value... Read More

CV Paper List $UNSUPERVISED\;REPRESENTATION\;LEARNING$ $WITH\;DEEP\;CONVOLUTIONAL$ $GENERATIVE\;ADVERSARIAL\;NETWORKS$ $ABSTRACT$ In recent years, supervised learning with convolutional networks (CNNs) has seen huge adoption in computer vision applications. 최근 몇년간, 합성곱망(CNNs)을 사용한 지도학습은 computer vision applications에서 크게 채택되었다. ... Read More

Introduction 이 과정은 신경망인 Perceptron을 참고하면 더 이해가 잘된다. 순전파forward propagation란 입력 데이터에 대해 신경망 구조를 따라가면서 현재의 파라미터값들을 이용해 손실 함숫값을 계산하는 과정을 말한다.[1] $W$값들을 통해 $\hat{y}$ 값을 얻는다. Loss Function을 통해 실제 레이블 $y$와 예측 레이블 $\hat{y}$값을 비교한다. First Step of Forward propagation $n$ is number of True labels \[\hat{y} = \sum_{i=1}^{n} W_{i} \cdot x_... Read More

역전파backward propagation, backpropagation란 순전파의 계산 과정을 역순으로 거슬러가면서 손실 함숫값에 직간접적으로 영향을 미친 모든 성분에 대하여 손실 기울기를 계산하는 과정을 말한다.[1] Optimizer(최적화) : Forward Propagation에서 사용될 $W$를 업데이트 해주는 과정, 쉽게말해 Forward propagation의 과정인 합성함수 $f(g(w))$를 되돌아가는 과정, 미분해주는 과정이라고 볼 수 있다. 더 쉽게 말해 $f(g(w))$ 를 Loss Function으로 볼 수 있고 이는 Non-Linear한 데이터를 가지고 있기 때문에 어떤 지점에... Read More