平滑最大值

平滑最大值是最大值函數$\max(x_{1},\ldots ,x_{n}),$的光滑函數。其是一個參數族，在 $m_{\alpha }(x_{1},\ldots ,x_{n})$中，對於每個參數α，函數 $m_{\alpha }$ 都是平滑的。參數族內包含最大值函數，並且$m_{\alpha }\to \max$ 當 $\alpha \to \infty$。 平滑最小值的概念也是類似的。 在大多數情況下，一個族滿足兩個條件：當參數趨向於正無窮大時為函數變為最大值函數，當參數變為負無窮大時函數變為最小值函數；符號表示為： $m_{\alpha }\to \max$ 當 $\alpha \to \infty$ ，$m_{\alpha }\to \min$ 當 $\alpha \to -\infty$。平滑最大值也可以用於描述行為類似於最大值函數的其他平滑函數，而不一定必須在此參數族中。

例子

平滑最大值應用於具有各種係數的'-x'和x函數。 非常光滑當$\alpha$ = 0.5，而$\alpha$ = 8更加平滑。

當正值參數較大時，且$\alpha >0$ ，下列公式是最大函數的平滑函數，可微、近似於最大值函數。 對於絕對值較大的負值參數，其近似最小值函數。

${\mathcal {S}}_{\alpha }(x_{1},\ldots ,x_{n})={\frac {\sum _{i=1}^{n}x_{i}e^{\alpha x_{i}}}{\sum _{i=1}^{n}e^{\alpha x_{i}}}}$

${\mathcal {S}}_{\alpha }$具有以下屬性：

1. ${\mathcal {S}}_{\alpha }\to \max$當$\alpha \to \infty$
2. ${\mathcal {S}}_{0}$是其輸入的算術平均值
3. ${\mathcal {S}}_{\alpha }\to \min$當$\alpha \to -\infty$

${\mathcal {S}}_{\alpha }$的梯度近似於softmax函數，由以下公式可得：

$\nabla _{x_{i}}{\mathcal {S}}_{\alpha }(x_{1},\ldots ,x_{n})={\frac {e^{\alpha x_{i}}}{\sum _{j=1}^{n}e^{\alpha x_{j}}}}[1+\alpha (x_{i}-{\mathcal {S}}_{\alpha }(x_{1},\ldots ,x_{n}))].$

這使softmax函數使用梯度下降的優化時很有用。

LogSumExp

主條目：LogSumExp

另一個平滑最大值函數例子是LogSumExp ：

$\mathrm {LSE} (x_{1},\ldots ,x_{n})=\log(\exp(x_{1})+\ldots +\exp(x_{n}))$

如果$x_{i}$都是非負的，可產生定義域是$[0,\infty )^{n}$和值域是$[0,\infty )$的函數 ：

$g(x_{1},\ldots ,x_{n})=\log(\exp(x_{1})+\ldots +\exp(x_{n})-(n-1))$

$(n-1)$項通過消除除零以外的所有零指數使得$\exp(0)=1$，以及$\log 1=0$當$x_{i}$為零。

p範數函數

另一個平滑最大值函數是p範數 ：

$||(x_{1},\ldots ,x_{n})||_{p}=\left(|x_{1}|^{p}+\cdots +|x_{n}|^{p}\right)^{1/p}$

當$p\to \infty$ ，收斂到$||(x_{1},\ldots ,x_{n})||_{\infty }=\max _{1\leq i\leq n}|x_{i}|$。

p範數的一個優點是它是一個範數 。 因此，它是「尺度不變」的（同質的）： $||(\lambda x_{1},\ldots ,\lambda x_{n})||_{p}=|\lambda |\times ||(x_{1},\ldots ,x_{n})||_{p}$ ，它滿足三角不等式。

平滑函數的其他例子

${\mathcal {max}}_{\alpha }(x_{1},x_{2})=0.5\left((x_{1}+x_{2})+{\sqrt {(x_{1}-x_{2})^{2}+\alpha }}\right)$

參見

• LogSumExp
• Softmax函數
• 廣義均值

參考文獻

M. Lange, D. Zühlke, O. Holz, and T. Villmann, "Applications of lp-norms and their smooth approximations for gradient based learning vector quantization," in Proc. ESANN, Apr. 2014, pp. 271-276. (https://www.elen.ucl.ac.be/Proceedings/esann/esannpdf/es2014-153.pdf （頁面存檔備份，存於互聯網檔案館）)