maizer's blog

역전파backward propagation, backpropagation란 순전파의 계산 과정을 역순으로 거슬러가면서 손실 함숫값에 직간접적으로 영향을 미친 모든 성분에 대하여 손실 기울기를 계산하는 과정을 말한다.[1] Optimizer(최적화) : Forward Propagation에서 사용될 $W$를 업데이트 해주는 과정, 쉽게말해 Forward propagation의 과정인 합성함수 $f(g(w))$를 되돌아가는 과정, 미분해주는 과정이라고 볼 수 있다. 더 쉽게 말해 $f(g(w))$ 를 Loss Function으로 볼 수 있고 이는 Non-Linear한 데이터를 가지고 있기 때문에 어떤 지점에... Read More

\[CrossEntropy(P, Q) = \sum -P(x)lnQ(x)\] CrossEntropy에서 $-log$를 사용하는 이유는 다음 그래프를 보면 알 수 있다. y = -log(x)[1] $-log(x)$의 그래프를 보면 x가 0으로 수렴할 때 y값이 급격히 커지는 것을 알 수 있다. Cross Entropy를 사용하면 오답에 대한 큰 피드백을 받을 수 있다. Reference 1. 21. 로그 함수 정리, 파이쿵, 2016.07.29 작성, 2022.05.16 방문, https://pythonkim.tistory.com/28 Read More

While you could train your model after generating one image, it is extremely inefficient and leads to less stable training. In GANs, and in machine learning in general, you will process multiple images per training step. These are called batches. Read More

What is Regression meaning? ‘회귀’라는 말은 ‘한바퀴 돌아 제자리로 돌아가다’라는 뜻입니다. … 회귀모델에서 회귀의 정확한 의미는 ‘평균으로의 회귀’라는 뜻이라고 봐도 무방합니다. 데이터의 실측치와 모델의 실측치 사이의 차이, 즉 회귀식에서 오차항에 대한 관측치(잔차)가 평균으로 회귀하는 것이 바로 ‘회귀’ 입니다. 정확한 모델에서는 잔차가 평균 0으로 회귀하게 됩니다.[1] 회귀는 클래스 중 하나로 분류하는 것이 아니라 임의의 어떤 숫자를 예측하는 문제입니다. 회귀란 용어를 보고 어떤 알고리즘인지 예측하기 참 어렵습니다. 이 용어는 19세기 통계학자이자 사회학자... Read More

What is Regression Model? 회귀모델이란, 어떤 연속성 데이터 x, y의 원인이라고 추정되는 관계를 추정하기 위해 만든 모델을 말합니다. ( $y = f(x)$ ) 그렇게 추정한 관계를 입력 변수값과 매칭하여 ‘출력’ 변수를 예측하는 것을 우리는 통계분석이라고 합니다. 하지만 현실에서 실제 데이터를 측정할때는 여러가지의 원인으로 수학식처럼 정확한 관계식을 만들 수 없습니다. 그래서 확률 변수인 오차항$e$ 을 고려하여 회귀 모델을 구성해야 합니다. ( $y = f(x) + e$ )[1] ### Reference 1. [딥러닝] 선형회귀와 로지스틱회귀, 삶은 확률의 ... Read More

Logistic is? 로지스틱 손실 함수는 다중 분류를 위한 손실 함수인 크로스 엔트로피(cross entropy) 손실 함수를 이진 분류 버전으로 만든 것이다. 실무에서는 종종 이진 분류와 다중 분류를 구분하지 않고 모두 크로스 엔트로피 손실 함수라고 부르는 경우도 많다. Read More

Intro GAN을 공부하다보면 Ground Truth라는 말을 자주 접하게 된다. Fake Data와 비교하는 Real Data(Data set에 포함된 데이터 중 하나)를 의미하며 아래 참고문헌[1]에서 자세한 내용을 알 수 있다. Reference 1. [용어정리]Ground-truth, Justin T., 2020.02.25 작성, 2022.05.15 방문, https://eair.tistory.com/16 Read More