AutoEncoder

AutoEncoder란?

입력 데이터의 특성을 추출하여 입력 데이터와 비슷한 데이터를 재현(복원)한다.

AutoEncoder 추상화^[2]

AutoEncoder 특징

1. UnSupervised Learning
   • 입력값 $x$을 label로 사용하여 label을 필요로하지 않는다.
2. Manifold Learning
   • Encoder^{Feature extract} 결과를 통해 입력 데이터의 차원 축소가 발생한다.
3. Generation Model
   • 압축 데이터를 원본 이미지와 같이 생성한다.

AutoEncoder의 이론적 설명

AutoEncoder $E(x)\to z \to D(z) \to \hat{x}$

AutoEncoder는 Encoder의 데이터 압축을 위한 모델이다.

압축된 데이터를 latent variable이라고 표현하는데, latent variable이 속한 공간을 latent space라고 표현한다.

Encoder를 통해 압축된 데이터를 Decoder를 통해 원본 이미지와 같이 복원할 수 있음을 보여준 모델이다.

AutoEncoder Loss function

\[h(.) = Encoder(.)\] \[g(.) = Decoder(.)\] \[\hat{x} = g(h(x))\] \[L_{AE}(x, \hat{x}) = \vert{}\vert{} x - \hat{x} \vert{}\vert{}^2\]

여기서 Loss Function은 Mean Squared Function^MSE과 동일하다.