본 글은 chat-GPT를 통해 얻은 답변입니다.

Markov Chain

마르코프 체인(Markov chain)은 시간에 따라 변화하는 상태를 확률적으로 모델링하는 방법 중 하나입니다.

이는 시간이 연속적으로 흐르는 시계열 데이터를 확률적으로 모델링할 때 자주 사용되며, 다양한 분야에서 활용됩니다.

마르코프 체인은 이산적인 상태(State)들의 집합과 각 상태들 간의 전이 확률(Transition Probability)로 이루어집니다.

각 상태에서 다른 상태로 이동할 확률은 현재 상태에만 의존하며, 이전 상태들과의 전이 확률에는 영향을 받지 않는 특징을 가지고 있습니다.

이를 “마르코프 성질(Markov Property)”이라고 합니다.

예를 들어, 주식시장에서 하루에 상승하거나 하락하는 상태를 “좋은 상태”와 “나쁜 상태”로 나누어 보겠습니다.

이때 마르코프 체인은 현재 “좋은 상태”에 있을 때 다음에 “좋은 상태”로 유지될 확률, 또는 “나쁜 상태”로 전환될 확률, 또는 현재 “나쁜 상태”에 있을 때 다음에 “좋은 상태”로 전환될 확률 등을 정의하게 됩니다.

마르코프 체인은 매우 간단하지만 유용한 모델링 방법입니다.

이를 이용하여 다양한 분야에서 예측 및 모델링을 수행할 수 있습니다.

예를 들어, 마케팅 분야에서는 상태를 “광고를 보는 상태”와 “구매를 하는 상태”로 나누어, 고객이 광고를 보았을 때 다음에 구매를 할 확률을 예측하는 등의 활용이 가능합니다.

수학적 정의

시간 $n$에서의 상태 $X_n$이 이산적인 값으로 정의되어 있다고 가정합니다.

마르코프 체인은 다음과 같은 성질을 만족합니다.

  1. 마코브 성질(Markov Property): 모든 $n \geq 0$, $i_0, \ldots, i_n \in S$와 $j \in S$에 대해 다음이 성립합니다.
\[P(X_{n+1}=j|X_{0}=i_{0},...,X_{n}=i_{n})=P(X_{n+1}=j|X_{n}=i_{n})\]

  1. 초기 분포(Initial Distribution): $X_0$의 분포가 $P(X_0 = i)$인 경우를 생각합니다.

  2. 전이 확률(Transition Probability): $P(X_{n+1} = j X_n = i)$를 전이 확률이라고 합니다.

이러한 성질을 만족하는 확률 과정을 마코브 체인이라고 부릅니다. 이때 상태 $i$에서 상태 $j$로 전이될 확률은 $P_{ij}$로 표현되며, $P = [P_{ij}]$는 전이 확률 행렬(Transition Probability Matrix)이라고 부릅니다. 이러한 전이 확률 행렬은 다음과 같은 성질을 만족합니다.

  1. 비음수성(Non-Negativity): $P_{ij} \geq 0$.

  2. 확률의 보존(Conservation of probability): $\sum_{j \in S} P_{ij} = 1$.

마코브 체인에서는 초기 분포와 전이 확률만 주어져 있으면, 어떤 시점에서의 상태 분포를 계산할 수 있습니다. 이를 수학적으로 나타내면, $P(X_n = i)$는 다음과 같이 재귀적으로 계산됩니다.

\[P(X_{n}=i)=\sum_{j\in{}S}P(X_{n-1}=j)\cdot{}P_{ji}\]

이러한 방식으로 초기 분포와 전이 확률이 주어졌을 때, 마코브 체인을 이용하여 다양한 확률적인 문제를 해결할 수 있습니다.