Ce-i asa de greu? Esenta e ca evolutia din starea curenta depinde doar de starea curenta, nu de cum a ajuns acolo (istorie). Gasesti aici o descriere succinta: https://compphys.go.ro/monte-carlo-methods/ (impreuna cu un exemplu tipic, random walk).
Fun fact - algortitmul PageRank de la Google e o aplicație a lanțurilor Markov. Fiecare pagina este tratată ca o stare, iar legăturile determina probabilitatea de tranziție dintr-o stare/pagina in alta pentru un “random surfer”. Scorul PR al unei stări/pagini este chiar probabilitatea de a fi intro stare/pagina “in the long run”. Iar calculul PageRa nk-ului este găsirea acestei distribuții staționare.