maizer's blog

Introduction When I firstly started studing GAN, I confused that what study first? To the juniors who follow me, I put a milestone so that they don’t struggle like me. Notice This post will be continuously update when i before finished ph.D milestorne Perceptron Simple Liear Perceptron Multi Liear Perceptron C... Read More

Introduction Gradient Descent Alorithm은 Optimization Algorithm 중 하나이다. Neural Network는 예측값과 실제값의 차이를 계산하는 Loss Function을 통해 Loss value를 구한다. Loss Function은 용도에 맞는 다양한 함수가 존재하는데, 가장 단순한 Loss Function인 MSE를 사용하면 두 값의 차이의 제곱 평균인 Loss value를 구할 수 있다. 이 과정을 통해 Linear Function이 Non-Linear Function으로 변환된다. 학습은 Forward Propagation을 통해 얻은 Loss value... Read More

CV Paper List $UNSUPERVISED\;REPRESENTATION\;LEARNING$ $WITH\;DEEP\;CONVOLUTIONAL$ $GENERATIVE\;ADVERSARIAL\;NETWORKS$ $ABSTRACT$ In recent years, supervised learning with convolutional networks (CNNs) has seen huge adoption in computer vision applications. 최근 몇년간, 합성곱망(CNNs)을 사용한 지도학습은 computer vision applications에서 크게 채택되었다. ... Read More

Introduction 이 과정은 신경망인 Perceptron을 참고하면 더 이해가 잘된다. 순전파forward propagation란 입력 데이터에 대해 신경망 구조를 따라가면서 현재의 파라미터값들을 이용해 손실 함숫값을 계산하는 과정을 말한다.[1] $W$값들을 통해 $\hat{y}$ 값을 얻는다. Loss Function을 통해 실제 레이블 $y$와 예측 레이블 $\hat{y}$값을 비교한다. First Step of Forward propagation $n$ is number of True labels \[\hat{y} = \sum_{i=1}^{n} W_{i} \cdot x_... Read More

역전파backward propagation, backpropagation란 순전파의 계산 과정을 역순으로 거슬러가면서 손실 함숫값에 직간접적으로 영향을 미친 모든 성분에 대하여 손실 기울기를 계산하는 과정을 말한다.[1] Optimizer(최적화) : Forward Propagation에서 사용될 $W$를 업데이트 해주는 과정, 쉽게말해 Forward propagation의 과정인 합성함수 $f(g(w))$를 되돌아가는 과정, 미분해주는 과정이라고 볼 수 있다. 더 쉽게 말해 $f(g(w))$ 를 Loss Function으로 볼 수 있고 이는 Non-Linear한 데이터를 가지고 있기 때문에 어떤 지점에... Read More

\[CrossEntropy(P, Q) = \sum -P(x)lnQ(x)\] CrossEntropy에서 $-log$를 사용하는 이유는 다음 그래프를 보면 알 수 있다. y = -log(x)[1] $-log(x)$의 그래프를 보면 x가 0으로 수렴할 때 y값이 급격히 커지는 것을 알 수 있다. Cross Entropy를 사용하면 오답에 대한 큰 피드백을 받을 수 있다. Reference 1. 21. 로그 함수 정리, 파이쿵, 2016.07.29 작성, 2022.05.16 방문, https://pythonkim.tistory.com/28 Read More

While you could train your model after generating one image, it is extremely inefficient and leads to less stable training. In GANs, and in machine learning in general, you will process multiple images per training step. These are called batches. Read More