maizer's blog

Cross Entropy is? 엔트로피[Entropy]는 하나의 분포를 대상으로 하는 반면, 크로스-엔트로피는 두 분포 $P(x), Q(x)$를 대상으로 엔트로피를 측정해 두 분포 간의 차이를 계산합니다. 머신러닝GAN에서 크로스-엔트로피를 사용할 때는$P(x)$를 실제 모형의 분포, $Q(x)$를 추정 모형의 분포라고 설정합니다.[1] 교차 엔트로피cross entropy는 실제 결과가 도출될 우도와 우리가 생각하는 우도의 사이의 차이에 따른 결과의 불확실성에 대한 지표입니다. … 교차 엔트로피를 두 확률분포의 차이라고 생각할 수 있습니다. 두 분포의 차이가 없는 만큼 교차 엔트로피도 낮아집니다... Read More

Introduction Refer Sigmoid Function., Cross Entropy Function Binary Cross Entropy called Sigmoid Cross-Entropy loss. It is a Sigmoid activation plus a Cross-Entropy loss. Unlike Softmax loss it is independent for each vector component (class), meaning that the loss computed for every CNN output vector component is not affected by other comp... Read More

Vanila GAN’s workflow 훈련하고자하는 훈련 데이터를 통해 학습된 생성 모델에 정규 분포를 따르는 잠재 공간의 잠재 벡터를 샘플링하여 샘플을 생성해 낸다. \[Trained\; Ganerator(Latent Vector) = G(z)\] 생성기를 통해 생성된 데이터와 훈련 데이터 Read More

Concept of Entropy Entropy는 노드에 서로 다른 데이터가 얼마나 섞여 있는지를 의미하는 impurity(불순도)를 측정한다. Imputrity가 낮을수록 데이터가 섞여 있지 않다는 것을 의미한다. 엔트로피(entropy)는 정보 이론에서 사용하는 개념으로 확률 변수의 불확실성 정도를 측정하기 위해 사용합니다. … 엔트로피는 하나의 분포를 대상으로 한다.[1] 엔트로피entropy는 불확실성uncertainty을 설명하는 수학적 아이디어입니다. … 동전은 던졌을 때 앞면이나 뒷면이나 같은 확률로 … 이러한 경우 불확실성은 최대화되고, 엔트로피 역시 최대가 됩니다.[2] ... Read More

When explain Objective Function of GAN, Why used minmaxV($D, G$) when study GAN, explained Objective Fucntion using minmaxV Exactly what is V ? I guess V is Verify? Read More

relative post Loss Function과 Cost Function의 차이점 When explain Cost Function, Why used J($\theta$) when study GAN, explained cost function using J function. Exactly what is J function? anwser is here -> What does the capital letter ‘J’ mean in cost function J(θ)? I saw many people using ‘J(θ)’ to represent cost function, what does the c... Read More

들어가기 전에 나한테 가설함수나 비용함수는 정말 미칠것 같은 갈증의 대상이였다. 인공지능을 공부하면서 가설함수 비용함수를 왜 쓰는지는 알겠지만 표면적으로만 알고 내부적인 내용을 이해할 수 없었다. 아무리 찾아봐도 대충 설명하고 넘어가는게 너무 많아 혼란만 불러일이킬 뿐이였다. 하지만 우연히 쿠버네티스 공부를 위해 쿠브플로우 쿠버네티스에서 머신러닝이 처음이라면! 책을 읽게 되었는데, 가설함수를 이해하기 쉽게 써놓으셨다. 이책을 먼저 봤다면 … 서론 가설함수, Hypothsis Function $ H(x) $은 주어진 데이터를 $X$와 $Y$ 사이의 관계를 통해 실제 값과의 관계를 찾아내는 것이다. $f... Read More