\[CrossEntropy(P, Q) = \sum -P(x)lnQ(x)\]

CrossEntropy에서 $-log$를 사용하는 이유는 다음 그래프를 보면 알 수 있다.

minus log graph

y = -log(x)[1]


$-log(x)$의 그래프를 보면 x가 0으로 수렴할 때 y값이 급격히 커지는 것을 알 수 있다.

Cross Entropy를 사용하면 오답에 대한 큰 피드백을 받을 수 있다.

Reference

1. 21. 로그 함수 정리, 파이쿵, 2016.07.29 작성, 2022.05.16 방문, https://pythonkim.tistory.com/28