包絡定理

包絡定理(Envelop Theorem)是帶參數的最佳化問題中的一個定理。這個定理的內容是，參數的值變動時，目標函數的變動只和參數的變動有關，而與自變量（因參數變動而引起）的變動無關。包絡定理在最佳化領域非常有用。

具體表述

無約束的情形

設$f(\mathbf {x} ,{\boldsymbol {\alpha }})$是$\mathbb {R} ^{n+l}$上的可微實函數，其中$\mathbf {x} \in \mathbb {R} ^{n}$是自變量，${\boldsymbol {\alpha }}\in \mathbb {R} ^{l}$是參數，目標是選擇適當的$\mathbf {x}$以最大化/最小化$f$。設$V({\boldsymbol {\alpha }})=f(\mathbf {x} ^{*},{\boldsymbol {\alpha }})$，其中$\mathbf {x} ^{*}$為$f$取最大值/最小值時的$\mathbf {x}$，則包絡定理即

${\frac {\mathrm {d} V}{\mathrm {d} {\boldsymbol {\alpha }}}}=\left.{\frac {\partial f}{\partial {\boldsymbol {\alpha }}}}\right\vert _{\mathbf {x} =\mathbf {x} ^{*}}$。

證明

根據全微分公式有

$\mathrm {d} V=\left.\mathrm {d} f\right\vert _{\mathbf {x} =\mathbf {x} ^{*}}=\left.\left(\sum _{i=1}^{n}{\frac {\partial f}{\partial x_{i}}}\mathrm {d} x_{i}+\sum _{i=1}^{l}{\frac {\partial f}{\partial \alpha _{i}}}\mathrm {d} \alpha _{i}\right)\right\vert _{\mathbf {x} =\mathbf {x} ^{*}}$。

因為$\mathbf {x}$取最值時必有$f$對$x_{i}$的一階偏導數為零，即

$\left.{\frac {\partial f}{\partial \mathbf {x} }}\right\vert _{\mathbf {x} =\mathbf {x} ^{*}}=0$，

故可得到

$\mathrm {d} V=\left.\sum _{i=1}^{n}{\frac {\partial f}{\partial \alpha _{i}}}\mathrm {d} \alpha _{i}\right\vert _{\mathbf {x} =\mathbf {x} ^{*}}$，

也即${\frac {\mathrm {d} V}{\mathrm {d} {\boldsymbol {\alpha }}}}=\left.{\frac {\partial f}{\partial {\boldsymbol {\alpha }}}}\right\vert _{\mathbf {x} =\mathbf {x} ^{*}}$成立。

有約束的情形

在無約束的情形下加上$m$個同樣可微的實約束函數$g_{j}(\mathbf {x} ,{\boldsymbol {\alpha }})=0$，則包絡定理變為

${\frac {\mathrm {d} V}{\mathrm {d} {\boldsymbol {\alpha }}}}=\left.{\frac {\partial {\mathcal {L}}}{\partial {\boldsymbol {\alpha }}}}\right\vert _{\mathbf {x} =\mathbf {x} ^{*}}$，

其中${\mathcal {L}}(\mathbf {x} ,{\boldsymbol {\lambda }},{\boldsymbol {\alpha }})=f(\mathbf {x} ,{\boldsymbol {\alpha }})+\sum _{j=1}^{m}\lambda _{j}({\boldsymbol {\alpha }})g_{j}(\mathbf {x} ,{\boldsymbol {\alpha }})$是拉格朗日函數。

證明過程與無約束時類似，只是$\mathbf {x}$取最值時${\frac {\partial f}{\partial x_{i}}}=0$變為${\frac {\partial {\mathcal {L}}}{\partial x_{i}}}=0$。

參見

• 霍特林引理
• 謝潑德引理
• 羅伊恆等式