maizer's blog

Cross Entropy is? 엔트로피[Entropy]는 하나의 분포를 대상으로 하는 반면, 크로스-엔트로피는 두 분포 $P(x), Q(x)$를 대상으로 엔트로피를 측정해 두 분포 간의 차이를 계산합니다. 머신러닝GAN에서 크로스-엔트로피를 사용할 때는$P(x)$를 실제 모형의 분포, $Q(x)$를 추정 모형의 분포라고 설정합니다.[1] 교차 엔트로피cross entropy는 실제 결과가 도출될 우도와 우리가 생각하는 우도의 사이의 차이에 따른 결과의 불확실성에 대한 지표입니다. … 교차 엔트로피를 두 확률분포의 차이라고 생각할 수 있습니다. 두 분포의 차이가 없는 만큼 교차 엔트로피도 낮아집니다... Read More

Introduction Refer Sigmoid Function., Cross Entropy Function Binary Cross Entropy called Sigmoid Cross-Entropy loss. It is a Sigmoid activation plus a Cross-Entropy loss. Unlike Softmax loss it is independent for each vector component (class), meaning that the loss computed for every CNN output vector component is not affected by other comp... Read More

Vanila GAN’s workflow 훈련하고자하는 훈련 데이터를 통해 학습된 생성 모델에 정규 분포를 따르는 잠재 공간의 잠재 벡터를 샘플링하여 샘플을 생성해 낸다. \[Trained\; Ganerator(Latent Vector) = G(z)\] 생성기를 통해 생성된 데이터와 훈련 데이터 Read More

← 이전 글로 　 다음 글로 → 최근에 공부에 집중을 못하고 있다. 항상 늦게까지 남아있고 뭔가 공부를 하지만 정작 뒤돌아보면 뭘 했을까라는 의문이 든다. 뭔가 많은걸 한 것 같은데 정작 뒤돌아보면 남아있는게 뭘까 라는게 큰 고민거리다. 요즘 영어를 하다보니 전공공부에 소홀한걸까? 논문은 많이 읽었는데… 이게 도움이 될까? 당장 눈앞에 성과가 없으면 늘 불안해지는 것 같다.. Read More

Concept of Entropy Entropy는 노드에 서로 다른 데이터가 얼마나 섞여 있는지를 의미하는 impurity(불순도)를 측정한다. Imputrity가 낮을수록 데이터가 섞여 있지 않다는 것을 의미한다. 엔트로피(entropy)는 정보 이론에서 사용하는 개념으로 확률 변수의 불확실성 정도를 측정하기 위해 사용합니다. … 엔트로피는 하나의 분포를 대상으로 한다.[1] 엔트로피entropy는 불확실성uncertainty을 설명하는 수학적 아이디어입니다. … 동전은 던졌을 때 앞면이나 뒷면이나 같은 확률로 … 이러한 경우 불확실성은 최대화되고, 엔트로피 역시 최대가 됩니다.[2] ... Read More

When explain Objective Function of GAN, Why used minmaxV($D, G$) when study GAN, explained Objective Fucntion using minmaxV Exactly what is V ? I guess V is Verify? Read More

relative post Loss Function과 Cost Function의 차이점 When explain Cost Function, Why used J($\theta$) when study GAN, explained cost function using J function. Exactly what is J function? anwser is here -> What does the capital letter ‘J’ mean in cost function J(θ)? I saw many people using ‘J(θ)’ to represent cost function, what does the c... Read More