跳至內容

並行退火

維基百科,自由的百科全書

並行退火(Parallel tempering),也稱作replica exchange MCMC sampling,是一種用於動態改進蒙特卡羅方法的模擬算法。該算法用於模擬物理過程。同時更普遍地應用於蒙特卡羅馬可夫鏈(Markov chain Monte Carlo,MCMC)抽樣方法。[1] Sugita和Okamoto數學定義了一種分子動力學描述的並行退火算法:[2]通常被稱為replica-exchange molecular dynamics(REMD)。

原理

[編輯]

一般的蒙特卡洛模擬使用Metropolis抽樣,即接受概率,相同高度的勢壘,溫度越低越難以逾越,使得模擬需要相當長的模擬步長才能達到平衡,統計抽樣滿足各態歷經。為了提高性能,採取如下策略:同時模擬一系列僅有溫度不同的系統,在某些時刻隨機選取相鄰兩個溫度的系統,按如下接受概率置換兩系統的溫度:

其中,Ei和Ej是兩個系統的總能量,Ti,Tj是溫度,kB是玻爾茲曼因子。溫度置換的過程是非物理的,但只要在一步中選擇普通Metropolis抽樣和溫度置換分別以一定概率擇其一,此過程仍然遵守細緻平衡[3]

推廣

[編輯]

並行退火可以用於溫度以外的變量以改進抽樣。例如,巨正則系綜下蒙特卡羅模擬蘭納-瓊斯勢粒子的氣液相平衡時,如果系統條件遠離臨界溫度,密度的漲落很小,模擬中難以觀測相變。而同時模擬多個化學勢的系統,並按相似的接受法則置換系統的化學勢:

其中i,j是兩個超額化學勢(相對理想氣體)分別為的系統,它們的粒子個數分別為,內能分別為. 此模擬得到的密度概率函數能準確地反映氣相和液相兩個峰。[4]

神經網絡

[編輯]

並行退火在訓練神經網絡時也有相似的應用。將一個系統運行在N個不同溫度的條件下,並根據Metropolis法則頁面存檔備份,存於網際網路檔案館)交換不同溫度下的狀態,因而可以用高溫環境的參數去模擬低溫環境,反之亦然。並行退火算法可用於人工神經網絡訓練,改進MCMC,雖然增加了計算複雜度,但提供了更快的馬爾科夫鏈混合(mixing,指收斂)速度和更高的準確性。神經元之間的參數交換被描述為不同溫度下分子狀態的交換,隨機交換的概率由Metropolis法則給出。尤其用於約束波茨曼機訓練。[5]

參考

[編輯]
  1. ^ David J. Earl and Michael W. Deem (2005) "Parallel tempering: Theory, applications, and new perspectives"頁面存檔備份,存於網際網路檔案館), Phys. Chem. Chem. Phys., 7, 3910
  2. ^ Y. Sugita and Y. Okamoto. Replica-exchange molecular dynamics method for protein folding. Chemical Physics Letters. 1999, 314: 141–151. doi:10.1016/S0009-2614(99)01123-9. 
  3. ^ Radford M. Neal. Sampling from multimodal distributions using tempered transitions. Statistics and Computing. 1996, 6 (4): 353–366. doi:10.1007/BF00143556. 
  4. ^ Frenkel, D. & Smit, B. Understanding Molecular Simulation. Academic Press. 2010: 395. ISBN 978-981-272509-7. 
  5. ^ Parallel Tempering for Training of Restricted Boltzmann Machine.頁面存檔備份,存於網際網路檔案館) R.Salakhutdinov, 2009.