마코브(Markov chain)

 

안녕하세요 공대남입니다.

오늘은 markov chain에 대해 알아볼게요

 

markov chain(markov process): 과거의 history 중요하지않고 지금이 중요

두개의 확률값의 튜플로 이루어진다.(state, transition probability)

dtmc(discrete), ctmc(continuous) 에 따라 transition probability가 결정됨

matrix를 계속 곱해보다보면 언젠가 수렴 -> stationary distribution

 

모든 state 의 확률의 합은 1

state0 state1에 있을 확률 [pi0,pi1] * P = [pi0,pi1]

두연립방정식을 풀면 pi0,pi1을 구할수있다. (feat. 3개일 경우도 똑같이)