maizer's blog

Introduction Cross-Correlation Calculation은 CNN에서 쓰이는 연산이다. Cross-Correlation은 Convolution Calculation의 Flip 과정을 하지 않고 Filter를 그대로 Input value와 연산한다. Computation \[y(i) = (x \ast w)(i) = \sum_{k=-\infty}^{\infty} x(k)w(i+k)\] \[y(i, j) = (x \ast w)(i, j) = \sum_{k_{1}=-\infty}^{\infty}\sum_{k_{2}=-\infty}^{\infty} x(k_{1}, k_{2})w(i+k_{1}, ... Read More

When use Activation Function Introduction Activation Function은 Forward prapagation의 출력값을 특정 범위로 조정해주는 Fucntion이다 참고 : Three basic output of ANN Activation Function은 출력하고자 하는 결과값에 따라 선택하여 쓸 수 있다. Kind of Activation Function Step Function Sign Function Sigmoid Function Hyperbolic Tangent, tanh ReLU, Rectified Linear Unit Lea... Read More

주저리 주저리 내 석사의 목표는 논문 3편쓰기다. 3편을 쓰기위해서는 국내, 국외 논문 투고 일자를 파악해야하고 어디에 낼 건지, 내는 곳의 분야와 논문 규격등 미리 알아야할 것이 많다. 오늘은 본격적으로 논문을 작성하기 전에 기초 공부와 읽어야 할 논문들을 정리해보도록 한다. 논문 작성을 시작할 날짜는 7월로 생각하고 있고 7월부터 한편 내년에 2편 써볼 것이다. 현재 GAN을 공부하고 있고 StyleGAN 2까지의 논문의 행적만 알고있지 크게 공부하거나 이해하지는 못한다. 현재 Corsera 강의를 통해 매주 GAN 수업을 듣고 있다. 저번주는 Multi layer perceptron을 사용한 Fu... Read More

Introduction 인공신경망을 훈련하기 위해서는 Weight와 Bias를 수정하는 과정이 필요하다. Weight와 Bias를 통해 계산된 값은 단순한 1차 함수로 선형 값을 가지게된다. 선형 함수를 사용하면 최소값을 알 수 없는데 이를 해결하기 위해 비선형 함수로 변환해주는 과정이 발생한다. 왜 비선형 함수를 사용하면 최소값을 알 수 있을까? Why convert to a Non-Linear Function? \[f(x) = wx + b\] 단순한 비선형 그래프인 2차함수[1]를 예로 들자면 그림과 같이 최소값을 가지는 지점이 발생한다. 2차 함수는 한개의 미지수 값을 입력으로 받는 함수... Read More

Structure of Single Layer Perceptron variable mean x Feature특징 b Bias편향 w Wieght가중치 $\sum$ $\sum^{n}w\cdot x + b$ $f$ $f(\sum^{n}w\cdot x + b)$ $\hat{y}$ Predict label예측 레이블 ... Read More

Structure of Perceptron variable mean x Feature특징 b Bias편향 w Wieght가중치 $\sum$ $\sum^{n}w\cdot x + b$ $f$ $f(\sum^{n}w\cdot x + b)$ $\hat{y}$ Predict label예측 레이블 Why use $f()... Read More

Structure of Mini Batch 데이터 크기를 일정 크기인 Batch size로 나눠 계산하는 방식이다. Mini Batch의 개수를 Iteration으로 표현한다. Read More