When use Activation Function

Introduction

Activation Function은 Forward prapagation의 출력값을 특정 범위로 조정해주는 Fucntion이다

참고 : Three basic output of ANN

Activation Function은 출력하고자 하는 결과값에 따라 선택하여 쓸 수 있다.

Kind of Activation Function

  • Step Function
  • Sign Function
  • Sigmoid Function
  • Hyperbolic Tangent, tanh
  • ReLU, Rectified Linear Unit
  • Leaky ReLU
  • Identity function

Sign of Activation Function

\[\phi(x)\]