Activation Function
Introduction
Activation Function은 Forward prapagation의 출력값을 특정 범위로 조정해주는 Fucntion이다
Activation Function은 출력하고자 하는 결과값에 따라 선택하여 쓸 수 있다.
Kind of Activation Function
- Step Function
- Sign Function
- Sigmoid Function
- Hyperbolic Tangent, tanh
- ReLU, Rectified Linear Unit
- Leaky ReLU
- Identity function