馬可夫過程

在機率論及統計學中，馬可夫過程（英語：Markov process）是一個具備了馬可夫性質的隨機過程，因為俄國數學家安德雷·馬可夫得名。馬可夫過程是不具備記憶特質的（memorylessness）。換言之，馬可夫過程的條件機率僅僅與系統的當前狀態相關，而與它的過去歷史或未來狀態，都是獨立、不相關的^[1]。

具備離散狀態的馬可夫過程，通常被稱為馬可夫鏈。馬可夫鏈通常使用離散的時間集合定義，又稱離散時間馬可夫鏈^[2]。有些學者雖然採用這個術語，但允許時間可以取連續的值^[3]。

概論

	可數或有限的狀態空間	連續或一般的狀態空間
離散時間	在可數且有限狀態空間下的馬可夫鏈	Harris chain (在一般狀態空間下的馬可夫鏈)
連續時間	Continuous-time Markov process	任何具備馬可夫性質的連續隨機過程，例如維納過程

數學模型

對於某些類型的隨機過程，很容易通過狀態定義列方程式推導出是否具有馬可夫性質，但對於另外一些，需要使用馬可夫性質中描述的一些更加複雜的數學技巧。舉一個簡單的例子，設某個隨機過程他的狀態X可取到一個離散集合中的值，該值隨時間t變化，可將該值表示為X(t)。在這裡，時間變量是離散或連續不影響討論的結果。考慮任意一個「過去的時間」集合(...,p₂, p₁), 任何「當前時間」s, 以及任何「未來時間」 t, 同時所有這些時間全都在X的取值範圍之內，若有

\cdots <p_{2}<p_{1}<s<t.\,

則馬可夫性質成立, 並且該過程為馬可夫過程, 如果式

\Pr {\big [}X(t)=x(t)\mid X(s)=x(s),X(p_{1})=x(p_{1}),X(p_{2})=x(p_{2}),\dots {\big ]}

=\Pr {\big [}X(t)=x(t)\mid X(s)=x(s){\big ]}

對於所有的取值( ... ,x(p₂), x(p₁), x(s), x(t) ), 以及所有的時間集合成立。則可用條件機率計算得出

\Pr {\big [}X(t)=x(t)\mid X(s)=x(s),X(p_{1})=x(p_{1}),X(p_{2})=x(p_{2}),\dots {\big ]}

與任何過去的取值( ... ,x(p₂), x(p₁) )不相關，這恰好就是所謂的未來的狀態與任何歷史的狀態無關，僅與當前狀態相關。

二階馬可夫過程

在某些情況下，如果將「現在」和「未來」的概念擴展，某些明顯的非馬可夫過程仍然可能具有某些馬可夫過程的性質。舉例來說，令X是一個非馬可夫過程，現在構造一個過程Y，使其每個狀態對應於X的一個時段的狀態。從而有如下形式：

Y(t)={\big \{}X(s):s\in [a(t),b(t)]\,{\big \}}.

如果Y具有馬可夫性質，則稱X為二階馬可夫過程，據此也可定義更高階馬可夫過程。一個高階馬可夫過程的例子是移動平均的時間序列

馬可夫性質

馬可夫性質是機率論中的一個概念。當一個隨機過程在給定現在狀態及所有過去狀態情況下，其未來狀態的條件機率分布僅依賴於當前狀態；換句話說，在給定現在狀態時，它與過去狀態（即該過程的歷史路徑）是條件獨立的，那麼此隨機過程即具有馬可夫性質。具有馬可夫性質的過程通常稱之為馬可夫過程。

數學上，如果 $X(t),t>0$ 為一個隨機過程，則馬可夫性質就是指

\mathrm {Pr} {\big [}X(t+h)=y\,|\,X(s)=x(s),s\leq t{\big ]}=\mathrm {Pr} {\big [}X(t+h)=y\,|\,X(t)=x(t){\big ]},\quad \forall h>0.

馬可夫過程通常稱其為（時間）齊次，如果滿足

\mathrm {Pr} {\big [}X(t+h)=y\,|\,X(t)=x{\big ]}=\mathrm {Pr} {\big [}X(h)=y\,|\,X(0)=x{\big ]},\quad \forall t,h>0,

除此之外則被稱為是（時間）非齊次的。齊次馬可夫過程通常比非齊次的簡單，構成了最重要的一類馬可夫過程。

某些情況下，明顯的非馬可夫過程也可以通過擴展「現在」和「未來」狀態的概念來構造一個馬可夫表示。設 $X$ 為一個非馬可夫過程。我們就可以定義一個新的過程 $Y$ ，使得每一個 $Y$ 的狀態表示 $X$ 的一個時間區間上的狀態，用數學方法來表示，即，

Y(t)={\big \{}X(s):s\in [a(t),b(t)]\,{\big \}}.

如果 $Y$ 具有馬可夫性質，則它就是 $X$ 的一個馬可夫表示。在這個情況下， $X$ 也可以被稱為是二階馬可夫過程。更高階馬可夫過程也可類似地來定義。

具有馬可夫表示的非馬可夫過程的例子，例如有移動平均時間序列。

最有名的馬可夫過程為馬可夫鏈，但不少其他的過程，包括布朗運動也是馬可夫過程。

參考文獻

^ Markov process (mathematics) （頁面存檔備份，存於網際網路檔案館） - Britannica Online Encyclopedia
^ Everitt,B.S. (2002) The Cambridge Dictionary of Statistics. CUP. ISBN 0-521-81099-x
^ Dodge, Y. The Oxford Dictionary of Statistical Terms, OUP. ISBN 0-19-920613-9

參見

[1] Markov process (mathematics) （頁面存檔備份，存於網際網路檔案館） - Britannica Online Encyclopedia

[2] Everitt,B.S. (2002) The Cambridge Dictionary of Statistics. CUP. ISBN 0-521-81099-x

[3] Dodge, Y. The Oxford Dictionary of Statistical Terms, OUP. ISBN 0-19-920613-9

[1]

[2]

[3]

閱論編機率論：隨機過程
離散時間（英語：Discrete-time stochastic process）	伯努利過程分支過程中餐館過程高爾頓-沃特森過程（英語：Galton–Watson process）獨立同分布馬可夫鏈莫蘭過程（英語：Moran process）隨機漫步循環擦除隨機漫步（英語：Loop-erased）自避行走
連續時間	貝塞爾過程出生-死亡過程維納過程/布朗運動布朗橋 Excursion（英語：Brownian excursion）分數布朗運動（英語：Fractional Brownian motion）幾何布朗運動 Meander（英語：Brownian meander）柯西過程（英語：Cauchy process） Contact process（英語：Contact process (mathematics)） Cox process（英語：科克斯过程） Diffusion process（英語：Diffusion process） Empirical process（英語：Empirical process）費勒過程（英語：Feller process）弗萊明-維奧過程（英語：Fleming–Viot process）伽馬過程（英語：Gamma process）亨特過程（英語：Hunt process） Interacting particle system（英語：Interacting particle system）s 伊藤積分伊藤過程跳躍擴散（英語：Jump diffusion）跳躍過程萊維過程 Local time（英語：Local time (mathematics)）馬可夫加過程（英語：Markov additive process）麥基恩-弗拉索夫過程（英語：McKean–Vlasov process）奧恩斯坦-烏倫貝克過程卜瓦松過程複合卜瓦松過程（英語：Compound Poisson process）非齊次卜瓦松過程卜瓦松點過程施拉姆-勒夫納演進半鞅 Sigma-martingale（英語：Sigma-martingale） Stable process（英語：Stable process） Superprocess（英語：Superprocess） Telegraph process（英語：Telegraph process） Variance gamma process（英語：Variance gamma process）維納過程 Wiener sausage（英語：Wiener sausage）
離散時間與連續時間	分支過程高斯過程隱藏式馬可夫模型（HMM）馬可夫過程鞅鞅差序列（英語：Martingale difference sequence）局部鞅（英語：Local martingale） Sub- Super-（英語：Super-） Random dynamical system（英語：Random dynamical system） Regenerative process（英語：Regenerative process） Renewal process（英語：Renewal process）白雜訊
場及其它	狄利克雷過程（英語：Dirichlet process）高斯隨機場（英語：Gaussian random field）吉布斯測度（英語：Gibbs measure）霍普菲爾德神經網絡易辛模型馬可夫網絡滲流理論皮特曼-約爾過程（英語：Pitman–Yor process）點過程 Cox（英語：Point process#Cox point process）卜瓦松過程玻茨模型隨機場隨機圖
時間序列模型	ARCH模型 ARIMA模型自我迴歸模型 ARMA模型廣義ARCH模型移動平均模型
金融模型	布萊克-德爾曼-托伊模型（英語：Black–Derman–Toy model）布萊克-卡拉辛斯基模型（英語：Black–Karasinski model）布萊克-舒爾斯模型陳模型 Constant elasticity of variance (CEV)（英語：Constant elasticity of variance model）科克斯-英格索爾-羅斯模型 (CIR)（英語：Cox–Ingersoll–Ross model） Garman–Kohlhagen（英語：Garman–Kohlhagen model） HJM框架赫斯頓模型（英語：Heston model） Ho–Lee（英語：Ho–Lee model）赫爾-懷特模型 LIBOR市場模型（英語：LIBOR market model） SABR volatility（英語：SABR volatility model）瓦西塞克模型（英語：Vasicek model）
精算學	Bühlmann（英語：Bühlmann model） Cramér–Lundberg（英語：Cramér–Lundberg model） Risk process（英語：Risk process） Sparre–Anderson（英語：Sparre–Anderson model）
等候理論	Bulk（英語：Bulk queue） Fluid（英語：Fluid queue） Generalized queueing network（英語：G-network） M/G/1（英語：M/G/1 queue） M/M/1 M/M/c（英語：M/M/c queue）
性質	右連左極函數 Continuous（英語：Continuous stochastic process） Continuous paths（英語：Sample-continuous process）遍歷性 Exchangeable（英語：Exchangeable random variables） Feller-continuous（英語：Feller-continuous process） Gauss–Markov（英語：Gauss–Markov process）馬可夫性質 Mixing（英語：Mixing (mathematics)） Piecewise deterministic（英語：Piecewise deterministic Markov process）可預測過程循序可測過程 Self-similar（英語：Self-similar process）平穩過程 Time-reversible（英語：Time reversibility）
極限定理	中央極限定理 Donsker's theorem（英語：Donsker's theorem） Doob's martingale convergence theorems（英語：Doob's martingale convergence theorems）遍歷理論 Fisher–Tippett–Gnedenko theorem（英語：Fisher–Tippett–Gnedenko theorem） Large deviation principle（英語：Large deviation principle）大數法則重對數律 Maximal ergodic theorem（英語：Maximal ergodic theorem） Sanov's theorem（英語：Sanov's theorem）
不等式	Burkholder–Davis–Gundy（英語：Burkholder–Davis–Gundy inequalities） Doob's martingale（英語：Doob's martingale inequality） Kunita–Watanabe（英語：Kunita–Watanabe inequality）
工具	Cameron–Martin formula（英語：Cameron–Martin formula）隨機變數的收斂 Doléans-Dade exponential（英語：Doléans-Dade exponential） Doob decomposition theorem（英語：Doob decomposition theorem） Doob–Meyer decomposition theorem（英語：Doob–Meyer decomposition theorem） Doob's optional stopping theorem（英語：Doob's optional stopping theorem） Dynkin's formula（英語：Dynkin's formula）費曼-卡茨公式右連左極函數 Girsanov theorem（英語：Girsanov theorem） Infinitesimal generator（英語：Infinitesimal generator (stochastic processes)）伊藤積分伊藤引理 Kolmogorov continuity theorem（英語：Kolmogorov continuity theorem） Kolmogorov extension theorem（英語：Kolmogorov extension theorem） Lévy–Prokhorov metric（英語：Lévy–Prokhorov metric） Malliavin calculus（英語：Malliavin calculus） Martingale representation theorem（英語：Martingale representation theorem） Optional stopping theorem（英語：Optional stopping theorem） Prohorov theorem（英語：Prohorov theorem）二次變差 Reflection principle（英語：Reflection principle (Wiener process)） Skorokhod integral（英語：Skorokhod integral） Skorokhod's representation theorem（英語：Skorokhod's representation theorem）右連左極函數 Snell envelope（英語：Snell envelope）隨機微分方程式 Tanaka（英語：Tanaka equation）停時隨機積分 Uniform integrability（英語：Uniform integrability） Usual hypotheses（英語：Usual hypotheses）維納空間 Classical（英語：Classical Wiener space） Abstract 漂移項
相關領域	精算學計量經濟學遍歷理論極值理論（EVT） Large deviations theory（英語：Large deviations theory）數理金融學數理統計學機率論等候理論 Renewal theory（英語：Renewal theory） Ruin theory（英語：Ruin theory）統計學隨機分析時間序列分析機器學習
分類

權威控制資料庫
各地	西班牙德國日本捷克
其他	現代烏克蘭百科全書