maizer's blog

\[if\;y=\frac{1}{1+e^{-x}},\;\mathrm{then}\;\frac{\partial{y}}{\partial{x}}=y(1-y)\] Read More

Background 복수의 후보 항목들에 대한 로짓값 벡터를 확률 분포 벡터로 변환하는 함수와 이렇게 구해진 확률 분포와 정답에 나타난 확률 분포 사이의 교차 엔트로피를 계산해주는 함수가 필요하게 되었다. … 한 마디로 시그모이드 함수가 이진 판단 문제 해결의 주역이었다면 선택 분류 문제 해결의 주역은 소프트맥스 함수인 것이다.[1] Introduction Softmax it’s a function, not a loss. It squashes a vector in the range (0, 1) and all the resulting elements add up to 1. It is applied ... Read More

Background Softmax Function의 결과값을 Cross-Entropy의 확률값을 Q로 지정하게 될 때 문제가 발생한다. Introduction 로짓값들 중 가장 작은 로짓값 $a_{i}$값이 너무 작아 0으로 표현될 수 있다. 이런 값이 log값에 적용되면 $-\infty$로 폭주하는 계산 오류가 발생한다. 이를 해결하기 위해서 아주 작은 양수값 $\epsilon$을 도입하여 다음과 같이 고쳐 쓸 수 있다. Softmax Cross-Entropy computate \[H(P, Q) = \sum_{i=1}^{n}p_{i}\;log\;q_{i}\approx{-\sum_{i=1}^{n}p_{... Read More

Definition of Derivative, 미분의 정의 미분(微分, 영어: derivative) 또는 도함수(導函數)는 어떤 함수의 정의역 속 각 점에서 함숫값의 변화량과 독립 변숫값의 변화량 비의 극한 혹은 극한들로 치역이 구성되는 새로운 함수다. 어떤 함수의 미분 계수 또는 순간 변화율을 구하는 것을 의미한다.[1] Average rate of Change, 평균 변화율 \[\frac{\Delta{y}}{\Delta{x}}=\frac{f(b)-f(a)}{b-a}\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;... Read More

CV Paper List \(Wasserstein\;GAN\) $\mathbf{1\;\;\;Introduction}$ The problem this paper is concerned with is that of unsupervised learning. Mainly, what does it mean to learn a probability distribution? The classical answer to this is to learn a probability density. This is often done by defining a parametric family of densities $P_{\thet... Read More

CV Paper List $\mathbf{InfoGAN:\;Interpretable\;Representation\;Learning\;by}$ $\mathbf{Information\;Maximizing\;Generative\;Adversarial\;Nets}$ $Abstract$ This paper describes InfoGAN, an information-theoretic extension to the Generative Adversarial Network that is able to learn disentangled representations in a completely unsupervised m... Read More

PapersWithCode CNN Year Key name Thesis Translation Analysis 2013 R-CNN Rich feature hierarchies for accurate object detection and semantic segmentation Null Link 2016 FPN Feature Pyramid Networks for Object Detection Null ... Read More