maizer's blog

Introduction DataSet에서 Numeral value가 아닌 Charactor, 문자가 주어졌을 때, 신경망이 데이터를 처리하기 위해서는 문자가 아닌 숫자가 필요하다. 이를 단순히 해결하기 위해, 각 특징을 1 과0으로 나타내는 표현 방식이다. Read More

하이퍼 파리미터 모델링할 때 사용자가 직접 세팅해주는 값, 학습을 시작하기 전에 정해두는 값, 모델 학습 과정에 반영된다. 학습 데이터를 한 바퀴 돌 때 1epoch이라고 하며 n개의 epoch을 정해두고 학습을 시작한다. 또한 미니배치 크기를 의미하는 Iteration 또한 정해두고 학습을 시작한다. Epoch과 Iteration처럼 학습 과정에서 변경되지 않으면서 신경망 구조나 학습 결과에 영향을 미치는 고려 요인들을 Hyper parameter라고 한다. Read More

Introduction When use Loss Function, When use Activation Function how to choose Functions in each layer. Summury Read More

Introduction Cross-Correlation Calculation은 CNN에서 쓰이는 연산이다. Cross-Correlation은 Convolution Calculation의 Flip 과정을 하지 않고 Filter를 그대로 Input value와 연산한다. Computation \[y(i) = (x \ast w)(i) = \sum_{k=-\infty}^{\infty} x(k)w(i+k)\] \[y(i, j) = (x \ast w)(i, j) = \sum_{k_{1}=-\infty}^{\infty}\sum_{k_{2}=-\infty}^{\infty} x(k_{1}, k_{2})w(i+k_{1}, ... Read More

When use Activation Function Introduction Activation Function은 Forward prapagation의 출력값을 특정 범위로 조정해주는 Fucntion이다 참고 : Three basic output of ANN Activation Function은 출력하고자 하는 결과값에 따라 선택하여 쓸 수 있다. Kind of Activation Function Step Function Sign Function Sigmoid Function Hyperbolic Tangent, tanh ReLU, Rectified Linear Unit Lea... Read More

주저리 주저리 내 석사의 목표는 논문 3편쓰기다. 3편을 쓰기위해서는 국내, 국외 논문 투고 일자를 파악해야하고 어디에 낼 건지, 내는 곳의 분야와 논문 규격등 미리 알아야할 것이 많다. 오늘은 본격적으로 논문을 작성하기 전에 기초 공부와 읽어야 할 논문들을 정리해보도록 한다. 논문 작성을 시작할 날짜는 7월로 생각하고 있고 7월부터 한편 내년에 2편 써볼 것이다. 현재 GAN을 공부하고 있고 StyleGAN 2까지의 논문의 행적만 알고있지 크게 공부하거나 이해하지는 못한다. 현재 Corsera 강의를 통해 매주 GAN 수업을 듣고 있다. 저번주는 Multi layer perceptron을 사용한 Fu... Read More

Introduction 인공신경망을 훈련하기 위해서는 Weight와 Bias를 수정하는 과정이 필요하다. Weight와 Bias를 통해 계산된 값은 단순한 1차 함수로 선형 값을 가지게된다. 선형 함수를 사용하면 최소값을 알 수 없는데 이를 해결하기 위해 비선형 함수로 변환해주는 과정이 발생한다. 왜 비선형 함수를 사용하면 최소값을 알 수 있을까? Why convert to a Non-Linear Function? \[f(x) = wx + b\] 단순한 비선형 그래프인 2차함수[1]를 예로 들자면 그림과 같이 최소값을 가지는 지점이 발생한다. 2차 함수는 한개의 미지수 값을 입력으로 받는 함수... Read More