馬可夫過程

维基百科,自由的百科全书
跳转至: 导航搜索
馬可夫過程範例

概率論統計學中,馬可夫過程英语Markov process)是一個具備了馬可夫性質隨機過程,因為俄國數學家安德雷·馬可夫得名。馬可夫過程是不具備記憶特質的(memorylessness)。換言之,馬可夫過程的条件概率僅僅與系统的當前狀態相關,而與它的過去歷史或未來狀態,都是獨立、不相關的[1]

具備離散狀態的馬可夫過程,通常被稱為馬可夫鏈。馬可夫鏈通常使用離散的時間集合定義,又稱離散時間馬可夫鏈[2]。有些學者雖然採用這個術語,但允許時間可以取連續的值[3][4]

概論[编辑]

可數或有限的狀態空間 連續或一般的狀態空間
離散時間 在可數且有限狀態空間下的馬可夫鏈 Harris chain (在一般狀態空間下的馬可夫鏈)
連續時間 Continuous-time Markov process 任何具備馬可夫性質的連續隨機過程,例如维纳过程

數學模型[编辑]

对于某些类型的随机过程,很容易通过状态定义列方程推导出是否具有马尔可夫性质,但对于另外一些,需要使用马尔可夫性质中描述的一些更加复杂的数学技巧。举一个简单的例子,设某个随机过程他的状态X可取到一个离散集合中的值,该值随时间t变化,可将该值表示为X(t)。在这里,时间变量是离散或连续不影响讨论的结果。考虑任意一个“过去的时间”集合(...,p2, p1), 任何“当前时间”s, 以及任何“未来时间” t, 同时所有这些时间全都在X的取值范围之内,若有

\cdots < p_2 < p_1 < s <t. \,

则马尔可夫性质成立, 并且该过程为马尔可夫过程, 如果式

\Pr\big[X(t) = x(t) \mid X(s) = x(s), X(p_1)=x(p_1), X(p_2)=x(p_2), \dots \big]
= \Pr\big[X(t) = x(t) \mid X(s) = x(s) \big]

对于所有的取值( ... ,x(p2), x(p1), x(s), x(t) ), 以及所有的时间集合成立。 则可用条件概率计算得出

\Pr\big[X(t) = x(t) \mid X(s) = x(s), X(p_1)=x(p_1), X(p_2)=x(p_2), \dots \big]

与任何过去的取值( ... ,x(p2), x(p1) )不相关,这恰好就是所谓的未来的状态与任何历史的状态无关,仅与当前状态相关。

二阶马尔可夫过程[编辑]

在某些情况下,如果将“现在”和“未来”的概念扩展,某些明显的非马尔可夫过程仍然可能具有某些马尔可夫过程的性质。举例来说,令X是一个非马尔可夫过程,现在构造一个过程Y,使其每个状态对应于X的一个时段的状态。从而有如下形式:

Y(t) = \big\{ X(s): s \in [a(t), b(t)] \, \big\}.

如果Y具有马尔可夫性质,则称X为二阶马尔可夫过程,据此也可定义更高阶马尔可夫过程。一个高阶马尔可夫过程的例子是移动平均时间序列

註釋[编辑]

  1. ^ Markov process (mathematics) - Britannica Online Encyclopedia
  2. ^ Everitt,B.S. (2002) The Cambridge Dictionary of Statistics. CUP. ISBN 0-521-81099-x
  3. ^ Dodge, Y. The Oxford Dictionary of Statistical Terms, OUP. ISBN 0-19-920613-9
  4. ^ 参见en:continuous-time Markov process

相關條目[编辑]