黑塞矩陣

維基百科,自由的百科全書
(重新導向自海森矩阵

黑塞矩陣(德語:Hesse-Matrix;英語:Hessian matrixHessian),又譯作海森矩陣海塞(賽)矩陣海瑟矩陣等,是一個由多變量實值函數的所有二階偏導數組成的方陣,由德國數學家奧托·黑塞引入並以其命名。

定義[編輯]

假設有一實值函數,如果 的所有二階偏導數都存在並在定義域內連續,那麼函數的黑塞矩陣為

或使用下標記號表示為

顯然黑塞矩陣 是一個方陣。黑塞矩陣的行列式被稱爲黑塞式(英語:Hessian),而需注意的是英語環境下使用Hessian一詞時可能指上述矩陣也可能指上述矩陣的行列式[1]

性質[編輯]

高等數學知識可知,若一元函數點的某個鄰域內具有任意階導數,則函數點處的泰勒展開式

其中,

同理,二元函數點處的泰勒展開式為

其中,

將上述展開式寫成矩陣形式,則有

其中,轉置是函數梯度,矩陣

即函數點處的黑塞矩陣。它是由函數點處的所有二階偏導數所組成的方陣。

由函數的二次連續性,有

所以,黑塞矩陣對稱矩陣

將二元函數的泰勒展開式推廣到多元函數,函數點處的泰勒展開式為

其中,

為函數點的梯度,

為函數點的黑塞矩陣。若函數有次連續性,則函數的黑塞矩陣是對稱矩陣。

說明:在優化設計領域中,黑塞矩陣常用表示,且梯度有時用表示。[2]

函數的黑塞矩陣和雅可比矩陣有如下關係:

即函數的黑塞矩陣等於其梯度的雅可比矩陣。

應用[編輯]

函數的極值條件[編輯]

對於一元函數,在給定區間內某點處可導,並在點處取得極值,其必要條件

即函數的極值必定在駐點處取得,或者說可導函數的極值點必定是駐點;但反過來,函數的駐點不一定是極值點。檢驗駐點是否為極值點,可以採用二階導數的正負號來判斷。根據函數點處的泰勒展開式,考慮到上述極值必要條件,有

點處取得極小值,則要求在某一鄰域內一切點都必須滿足

即要求

亦即要求

點處取得極大值的討論與之類似。於是有極值充分條件

設一元函數點處具有二階導數,且,則

  1. 時,函數處取得極小值;
  2. 時,函數處取得極大值。

而當時,無法直接判斷,還需要逐次檢驗其更高階導數的正負號。由此有一個規律:若其開始不為零的導數階數為偶數,則駐點是極值點;若為奇數,則為拐點,而不是極值點。

對於二元函數,在給定區域內某點處可導,並在點處取得極值,其必要條件

同樣,這只是必要條件,要進一步判斷是否為極值點需要找到取得極值的充分條件。根據函數點處的泰勒展開式,考慮到上述極值必要條件,有

,則

點處取得極小值,則要求在某一鄰域內一切點都必須滿足

即要求

亦即要求





此條件反映了點處的黑塞矩陣的各階主子式都大於零,即對於

要求




點處取得極大值的討論與之類似。於是有極值充分條件:

設二元函數點的鄰域內連續且具有一階和二階連續偏導數,又有,同時令,則

  1. 時,函數處取得極小值;
  2. 時,函數處取得極大值。

此外可以判斷,當時,函數點處沒有極值,此點稱爲鞍點。而當時,無法直接判斷,對此,補充一個規律:當時,如果有,那麼函數有極值,且當有極小值,當有極大值。

由線性代數的知識可知,若矩陣滿足


則矩陣正定矩陣,或者說矩陣正定。

若矩陣滿足


則矩陣負定矩陣,或者說矩陣負定。[3]

於是,二元函數點處取得極值的條件表述為:二元函數點處的黑塞矩陣正定,則取得極小值;在點處的黑塞矩陣負定,則取得極大值。

對於多元函數,若在點處取得極值,則極值存在的必要條件為

取得極小值的充分條件為

正定,即要求的各階主子式都大於零,即








取得極大值的充分條件為

負定。[4][5][6]

拓展閱讀[編輯]

參考文獻[編輯]

  1. ^ Binmore, Ken; Davies, Joan. Calculus Concepts and Methods. Cambridge University Press. 2007: 190. ISBN 9780521775410. OCLC 717598615. 
  2. ^ 白清順; 孫靖明; 梁迎春 (編). 机械优化设计(第6版). 北京: 機械工業出版社. 2017.6(2018.11重印): 35~36頁. ISBN 978-7-111-56643-4. 
  3. ^ 劉二根; 謝霖銓 (編). 线性代数. 江西高校出版社. 2015.7: 164~166頁. ISBN 978-7-5493-3588-6. 
  4. ^ 白清順; 孫靖明; 梁迎春 (編). 机械优化设计(第6版). 北京: 機械工業出版社. 2017.6(2018.11重印): 37~39頁. ISBN 978-7-111-56643-4. 
  5. ^ 同濟大學數學系 (編). 高等数学(第七版)上册. 高等教育出版社. 2014.7: 155頁. ISBN 978-7-04-039663-8. 
  6. ^ 同濟大學數學系 (編). 高等数学(第七版)下册. 高等教育出版社. 2014.7: 113頁. ISBN 978-7-04-039662-1.