威沙特 参数
n
>
0
{\displaystyle n>0\!}
自由度 (實數 )
V
>
0
{\displaystyle \mathbf {V} >0\,}
尺度矩陣 (正定 )值域
W
{\displaystyle \mathbf {W} \!}
是正定的概率密度函数
|
W
|
n
−
p
−
1
2
2
n
p
2
|
V
|
n
2
Γ
p
(
n
2
)
exp
(
−
1
2
T
r
(
V
−
1
W
)
)
{\displaystyle {\frac {\left|\mathbf {W} \right|^{\frac {n-p-1}{2}}}{2^{\frac {np}{2}}\left|{\mathbf {V} }\right|^{\frac {n}{2}}\Gamma _{p}({\frac {n}{2}})}}\exp \left(-{\frac {1}{2}}{\rm {Tr}}({\mathbf {V} }^{-1}\mathbf {W} )\right)}
期望值
n
V
{\displaystyle n\mathbf {V} }
眾數
(
n
−
p
−
1
)
V
for
n
≥
p
+
1
{\displaystyle (n-p-1)\mathbf {V} {\text{ for }}n\geq p+1}
特徵函数
Θ
↦
|
I
−
2
i
Θ
V
|
−
n
/
2
{\displaystyle \Theta \mapsto \left|{\mathbf {I} }-2i\,{\mathbf {\Theta } }{\mathbf {V} }\right|^{-n/2}}
以統計學家 约翰·威沙特 為名的威沙特分佈 是統計學 上的一種半正定 矩陣隨機分佈。[1] 這個分佈在多變量分析 的共變異矩陣 估計上相當重要。
假設X 為一n × p 矩陣,其各行(row)來自同一均值向量為
0
{\displaystyle \mathbf {0} }
的
p
{\displaystyle p}
維多變量常態分佈 且彼此獨立 。
X
(
i
)
=
(
x
i
1
,
…
,
x
i
p
)
T
∼
N
p
(
0
,
V
)
,
{\displaystyle X_{(i)}{=}(x_{i}^{1},\dots ,x_{i}^{p})^{T}\sim N_{p}(0,V),}
則威沙特分佈為
p
×
p
{\displaystyle p\times p}
散異矩陣
S
=
X
T
X
=
∑
i
=
1
n
X
(
i
)
X
(
i
)
T
,
{\displaystyle S=X^{T}X=\sum _{i=1}^{n}X_{(i)}X_{(i)}^{T},\,\!}
的機率分佈 。
S
{\displaystyle \mathbf {S} }
有該機率分佈通常記為
S
∼
W
p
(
V
,
n
)
.
{\displaystyle \mathbf {S} \sim W_{p}(\mathbf {V} ,n).}
其中正整數
n
{\displaystyle n}
為自由度 。有時亦記號為
W
(
V
,
p
,
n
)
{\displaystyle W(\mathbf {V} ,p,n)}
。若
p
=
1
{\displaystyle p=1}
且
V
=
1
{\displaystyle \mathbf {V} =1}
則該分佈退化為一自由度為
n
{\displaystyle n}
的單變量卡方分佈 。
常見應用 [ 编辑 ]
威沙特分佈常用於多變量的概似比檢定 ,亦用於隨機矩陣 的頻譜理論中。
機率密度函數 [ 编辑 ]
威沙特分佈具有下述的機率密度函數 :
令'
W
{\displaystyle \mathbf {W} }
為一
p
×
p
{\displaystyle p\times p}
正定對稱隨機變數矩陣。令
V
{\displaystyle \mathbf {V} }
為一特定正定
p
×
p
{\displaystyle p\times p}
矩陣。
如此,若
n
>
p
{\displaystyle n>p}
,則
W
{\displaystyle \mathbf {W} }
服從於一具自由度n 的威沙特分佈且有機率度函數
f
W
{\displaystyle f_{W}}
f
W
(
w
)
=
|
w
|
(
n
−
p
−
1
)
/
2
exp
[
−
t
r
a
c
e
(
V
−
1
w
/
2
)
]
2
n
p
/
2
|
V
|
n
/
2
Γ
p
(
n
/
2
)
{\displaystyle f_{\mathbf {W} }(w)={\frac {\left|w\right|^{(n-p-1)/2}\exp \left[-{\rm {trace}}({\mathbf {V} }^{-1}w/2)\right]}{2^{np/2}\left|{\mathbf {V} }\right|^{n/2}\Gamma _{p}(n/2)}}}
其中
Γ
p
(
⋅
)
{\displaystyle \Gamma _{p}(\cdot )}
為多變量Gamma分佈 ,其定義為
Γ
p
(
n
/
2
)
=
π
p
(
p
−
1
)
/
4
Π
j
=
1
p
Γ
[
(
n
+
1
−
j
)
/
2
]
.
{\displaystyle \Gamma _{p}(n/2)=\pi ^{p(p-1)/4}\Pi _{j=1}^{p}\Gamma \left[(n+1-j)/2\right].}
上述定義可推廣至任一實數
n
>
p
−
1
{\displaystyle n>p-1}
[2]
特徵函數 [ 编辑 ]
威沙特分佈的特徵函數 為
Θ
↦
|
I
−
2
i
Θ
V
|
−
n
/
2
.
{\displaystyle \Theta \mapsto \left|{\mathbf {I} }-2i\,{\mathbf {\Theta } }{\mathbf {V} }\right|^{-n/2}.}
也就是說
Θ
↦
E
{
e
x
p
[
i
⋅
t
r
a
c
e
(
W
Θ
)
]
}
=
|
I
−
2
i
Θ
V
|
−
n
/
2
{\displaystyle \Theta \mapsto {\mathcal {E}}\left\{\mathrm {exp} \left[i\cdot \mathrm {trace} ({\mathbf {W} }{\mathbf {\Theta } })\right]\right\}=\left|{\mathbf {I} }-2i{\mathbf {\Theta } }{\mathbf {V} }\right|^{-n/2}}
其中
E
(
⋅
)
{\displaystyle {\mathcal {E}}(\cdot )}
為期望值
(這裡的
Θ
{\displaystyle \Theta }
及
I
{\displaystyle {\mathbf {I} }}
皆為與
V
{\displaystyle {\mathbf {V} }}
維度相同的矩陣。(
I
{\displaystyle {\mathbf {I} }}
為單位矩陣 ,而
i
{\displaystyle i}
為-1的平方根 ).[3]
理論架構 [ 编辑 ]
若
W
{\displaystyle \scriptstyle {\mathbf {W} }}
為一自由度為m ,共變異矩陣為
V
{\displaystyle \scriptstyle {\mathbf {V} }}
的威沙特分佈,記為—
W
∼
W
p
(
V
,
m
)
{\displaystyle \scriptstyle {\mathbf {W} }\sim {\mathbf {W} }_{p}({\mathbf {V} },m)}
—其中
C
{\displaystyle \scriptstyle {\mathbf {C} }}
為一
q
×
p
{\displaystyle q\times p}
的q 秩矩陣,則[4]
C
W
C
′
∼
W
q
(
C
V
C
′
,
m
)
.
{\displaystyle {\mathbf {C} }{\mathbf {W} }{\mathbf {C} '}\sim {\mathbf {W} }_{q}\left({\mathbf {C} }{\mathbf {V} }{\mathbf {C} '},m\right).}
推論1 [ 编辑 ]
若
z
{\displaystyle {\mathbf {z} }}
為一非負
p
×
1
{\displaystyle p\times 1}
常數向量,則[4]
z
′
W
z
∼
σ
z
2
χ
m
2
{\displaystyle {\mathbf {z} '}{\mathbf {W} }{\mathbf {z} }\sim \sigma _{z}^{2}\chi _{m}^{2}}
.
則在此情形下,
χ
m
2
{\displaystyle \chi _{m}^{2}}
為一卡方分佈 且
σ
z
2
=
z
′
V
z
{\displaystyle \sigma _{z}^{2}={\mathbf {z} '}{\mathbf {V} }{\mathbf {z} }}
(因
V
{\displaystyle {\mathbf {V} }}
為正定,所以
σ
z
2
{\displaystyle \sigma _{z}^{2}}
為一正常數)。
推論2 [ 编辑 ]
在
z
′
=
(
0
,
…
,
0
,
1
,
0
,
…
,
0
)
{\displaystyle {\mathbf {z} '}=(0,\ldots ,0,1,0,\ldots ,0)}
的情形下(亦即第j個元素為1其他為0),推論1可導出
w
j
j
∼
σ
j
j
χ
m
2
{\displaystyle w_{jj}\sim \sigma _{jj}\chi _{m}^{2}}
為矩陣的每一個對對角元素的邊際分佈。
統計學家George Seber 曾論證威沙特分佈並非多變量卡方分佈,這是因為非對角元素的邊際分佈並非卡方分佈,Seber傾向於將某某多變量 分佈此一遣詞用於所有元素的邊際分佈皆相同的情形。[5]
多變量常態分佈的估計 [ 编辑 ]
由於威沙特分佈可視為一多變量常態分佈其共變異矩陣 的最大概似估計量 (MLE)的的分佈,其衍自MLE的計算可為令人驚喜地簡約而優雅。[6] 基於頻譜理論 ,可將一純量視為一
1
×
1
{\displaystyle 1\times 1}
矩陣的跡(trace)。請參考共變異矩陣的估計 。
分佈抽樣 [ 编辑 ]
以下的演算法取材自 Smith & Hocking (1972)。[7] 一個來自自由度為n 及共變異矩陣為
V
{\displaystyle \mathbf {V} }
的威沙特分佈的
p
×
p
{\displaystyle p\times p}
(其中
n
≥
p
{\displaystyle n\geq p}
)隨機樣本可以如下方式抽樣而得:
生成一隨機
p
×
p
{\displaystyle p\times p}
下三角矩陣
A
{\displaystyle {\textbf {A}}}
使得:
a
i
i
=
(
χ
n
−
i
+
1
2
)
1
/
2
{\displaystyle a_{ii}=(\chi _{n-i+1}^{2})^{1/2}}
,意即
a
i
i
{\displaystyle a_{ii}}
為一
χ
n
−
i
+
1
2
{\displaystyle \chi _{n-i+1}^{2}}
卡方分佈隨機樣本的平方根。
a
i
j
{\displaystyle a_{ij}}
其中
j
<
i
{\displaystyle j<i}
,為一
N
1
(
0
,
1
)
{\displaystyle N_{1}(0,1)}
常態分佈 的隨機樣本。[8]
計算
V
=
L
L
T
{\displaystyle {\textbf {V}}={\textbf {L}}{\textbf {L}}^{T}}
的Cholesky分解 。
計算
X
=
L
A
A
T
L
T
{\displaystyle {\textbf {X}}={\textbf {L}}{\textbf {A}}{\textbf {A}}^{T}{\textbf {L}}^{T}}
。此時,
X
{\displaystyle {\textbf {X}}}
為一
W
p
(
V
,
n
)
{\displaystyle W_{p}({\textbf {V}},n)}
的隨機樣本。
若
V
=
I
{\displaystyle {\textbf {V}}={\textbf {I}}}
,則因
V
=
I
I
T
{\displaystyle {\textbf {V}}={\textbf {I}}{\textbf {I}}^{T}}
,可以直接以
X
=
A
A
T
{\displaystyle {\textbf {X}}={\textbf {A}}{\textbf {A}}^{T}}
進行抽樣。
參考條目 [ 编辑 ]
參考資料 [ 编辑 ]
^ Wishart, J. The generalised product moment distribution in samples from a normal multivariate population. Biometrika . 1928, 20A (1–2): 32–52. JFM 54.0565.02 . JSTOR 2331939 . doi:10.1093/biomet/20A.1-2.32 .
^ Uhlig, H. On Singular Wishart and Singular Multivariate Beta Distributions. The Annals of Statistics. 1994, 22 : 395–405. doi:10.1214/aos/1176325375 .
^ Anderson, T. W. An Introduction to Multivariate Statistical Analysis 3rd. Hoboken, N. J.: Wiley Interscience . 2003: 259. ISBN 0-471-36091-0 .
^ 4.0 4.1 Rao, C. R. Linear Statistical Inference and its Applications. Wiley. 1965: 535.
^ Seber, George A. F. Multivariate Observations. Wiley . 2004. ISBN 978-0471691211 .
^ Chatfield, C.; Collins, A. J. Introduction to Multivariate Analysis . London: Chapman and Hall. 1980: 103 –108. ISBN 0-412-16030-7 .
^ Smith, W. B.; Hocking, R. R. Algorithm AS 53: Wishart Variate Generator. Journal of the Royal Statistical Society, Series C . 1972, 21 (3): 341–345. JSTOR 2346290 .
^ Anderson, T. W. An Introduction to Multivariate Statistical Analysis 3rd. Hoboken, N. J.: Wiley Interscience . 2003: 257. ISBN 0-471-36091-0 .
Gelman, Andrew. Bayesian Data Analysis 2nd. Boca Raton, Fla.: Chapman & Hall. 2003: 582 [3 June 2015] . ISBN 158488388X .
Zanella, A.; Chiani, M.; Win, M.Z. On the marginal distribution of the eigenvalues of wishart matrices. IEEE Transactions on Communications. April 2009, 57 (4): 1050–1060. doi:10.1109/TCOMM.2009.04.070143 .
Bishop, C. M. Pattern Recognition and Machine Learning . Springer. 2006: 693 .
Pearson, Karl ; Jeffery, G. B. ; Elderton, Ethel M. On the Distribution of the First Product Moment-Coefficient, in Samples Drawn from an Indefinitely Large Normal Population. Biometrika (Biometrika Trust). December 1929, 21 : 164–201. JSTOR 2332556 . doi:10.2307/2332556 .
Craig, Cecil C. On the Frequency Function of xy . Ann. Math. Statist. 1936, 7 : 1–15. doi:10.1214/aoms/1177732541 .
Peddada and Richards, Shyamal Das; Richards, Donald St. P. Proof of a Conjecture of M. L. Eaton on the Characteristic Function of the Wishart Distribution,. Annals of Probability . 1991, 19 (2): 868–874. doi:10.1214/aop/1176990455 .
Gindikin, S.G. Invariant generalized functions in homogeneous domains,. Funct. Anal. Appl. 1975, 9 (1): 50–52. doi:10.1007/BF01078179 .
Dwyer, Paul S. Some Applications of Matrix Derivatives in Multivariate Analysis. J. Amer. Statist. Assoc. 1967, 62 (318): 607–625. JSTOR 2283988 .
有限支集 离散单变量 无限支集 离散单变量 紧支集 连续单变量 半无限区间支集 连续单变量 无限区间支集 连续单变量 可变类型支集 连续单变量 混合连续离散单变量 多元(联合) 定向 退化 和奇异 族