跳至內容

斜坡函數

維基百科,自由的百科全書
斜坡函數的圖

斜坡函數是一個一元英語Unary function實函數,因此其圖形類似斜坡,故得其名,斜坡函數有許多不同的定義方式,例如「負值時為0,其他值的輸出等於輸入」。斜坡函數的斜率以及斜坡的位置也可以調整,此條目中的斜坡函數是單位斜坡函數(斜坡斜率為1,從0的位置開始)。

機器學習中,常會稱斜坡函數為ReLU激活函數[1][2],或是線性整流函數,類似電子工程中的半波整流器。若用在統計學似然函數,會稱為Tobit模型英語tobit model

斜坡函數在數學以及工程上有許多的應用,依使用的情境不同,也有不同的名稱。也有不少類似斜坡函數的函數。

定義

[編輯]

斜坡函數()可以用許多的解析方式來定義。以下是一些定義:

  • 單位階躍函數和其本身的卷積
  • 單位階躍函數的積分

解析性質

[編輯]

非零性質

[編輯]

此函數在整個定義域中的值都是非負值,因此其絕對值都是其自身。

導數

[編輯]

斜坡函數的導數為單位階躍函數

傅里葉變換

[編輯]

斜坡函數的傅里葉變換如下

其中狄拉克δ函數(在此公式中,有出現其微分項)

拉普拉斯變換

[編輯]

斜坡函數的傅里葉變換如下

單邊的拉普拉斯變換定義如下:

代數性質

[編輯]

迭代不變性

[編輯]

斜坡函數的每個迭代函數都是其自身:
.

  • 證明:
    .

此處應用到非零性質

參考資料

[編輯]
  1. ^ Brownlee, Jason. A Gentle Introduction to the Rectified Linear Unit (ReLU). Machine Learning Mastery. 8 January 2019 [8 April 2021]. (原始內容存檔於2024-07-05). 
  2. ^ Liu, Danqing. A Practical Guide to ReLU. Medium. 30 November 2017 [8 April 2021]. (原始內容存檔於2024-08-24) (英語).