轉移熵

轉移熵（英語：transfer entropy）是測量兩個隨機過程之間有向（時間不對稱）信息轉移量的一種非參數統計量。過程X到另一個過程Y的轉移熵可定義為：在已知Y過去值的情況下，了解X的過去值所能減少Y未來值不確定性的程度。更具體地說，假定$X_{t}$和$Y_{t}$（$t\in \mathbb {N}$）表示兩個隨機過程，並用香農熵來度量信息量，則轉移熵可定義為：

$T_{X\rightarrow Y}=H\left(Y_{t}\mid Y_{t-1:t-L}\right)-H\left(Y_{t}\mid Y_{t-1:t-L},X_{t-1:t-L}\right),$

其中H ( X ) 表示X的香農熵。此外，還可以使用其他類型的熵度量（例如雷尼熵）對上述定義進行擴展。

轉移熵可看作一種條件互信息，其條件為受影響變量的歷史值$Y_{t-1:t-L}$：

$T_{X\rightarrow Y}=I(Y_{t};X_{t-1:t-L}\mid Y_{t-1:t-L}).$

對向量自回歸過程而言，轉移熵可簡化為格蘭傑因果關係。 因而，轉移熵適用於非線性信號分析等格蘭傑因果關係的模型假設不成立的場合。然而，它通常需要更多的樣本才能進行準確估計。熵公式中的概率可以使用分箱、最近鄰等不用方法來估計，或為了降低複雜性而使用非均勻嵌入方法。雖然轉移熵的原始定義是建立在雙變量分析基礎上的，但後來也擴展到多變量分析中。這種擴展可以以其他潛在源變量為條件 ，或考慮從一組源進行轉移，不過這些都需要更多的樣本。

轉移熵被用於估計神經元的功能連接、社交網絡中的社會影響以及武裝衝突事件之間的統計因果關係等。轉移熵是有向信息的有限形式，於1990年由詹姆斯·馬西定義為$I(X^{n}\to Y^{n})=\sum _{i=1}^{n}I(X^{i};Y_{i}|Y^{i-1})$，其中$X^{n}$表示向量$X_{1},X_{2},...,X_{n}$，$Y^{n}$則表示$Y_{1},Y_{2},...,Y_{n}$ 。有向信息在描述具有或沒有反饋的通信信道的基本極限（信道容量）中起著關鍵作用。

參見

• 互信息
• 因果關係
• 潛在結果模型