勵志

勵志人生知識庫

馬爾科夫鏈介紹

馬爾可夫鏈(Markov Chain)是一種隨機過程,它具有馬爾可夫性質,即系統在給定當前狀態下,過去的信息不再影響系統的未來狀態。馬爾可夫鏈的狀態空間可以是離散的也可以是連續的,但在實際套用中,通常指的是離散指數集和狀態空間內的馬爾可夫鏈。適用於連續指數集的馬爾可夫鏈被稱為馬爾可夫過程,它是連續時間馬爾可夫鏈(Continuous-Time Markov Chain, CTMC)和離散時間馬爾可夫鏈(Discrete-Time Markov Chain, DTMC)的子集。

馬爾可夫鏈可以通過轉移矩陣和轉移圖來定義。除了馬爾可夫性外,馬爾可夫鏈還可能具有不可約性、常返性、周期性和遍歷性等性質。一個不可約和正常返的馬爾可夫鏈是嚴格平穩的,擁有唯一的平穩分布。遍歷馬爾可夫鏈的極限分布收斂於其平穩分布。

馬爾可夫鏈在多個領域有廣泛的套用,包括蒙特卡羅方法中的馬爾可夫鏈蒙特卡羅(Markov Chain Monte Carlo, MCMC),動力系統化學反應排隊論市場行為信息檢索的數學建模,以及作為結構最簡單的馬爾可夫模型,一些機器學習算法如隱馬爾可夫模型(Hidden Markov Model, HMM)、馬爾可夫隨機場(Markov Random Field, MRF)和馬爾可夫決策過程(Markov Decision Process, MDP)都以馬爾可夫鏈為理論基礎。

馬爾可夫鏈的命名來自俄國數學家安德雷·馬爾可夫(АндрейАндреевичМарков),以紀念其在1906年首次提出這類過程的研究。