| 此條目需要 精通或熟悉相關主題的編者參與及協助編輯。 (2018年7月12日) 請邀請適合的人士改善本條目。更多的細節與詳情請參見討論頁。 |
估計理論是統計學和信號處理中的一個分支,主要是通過測量或經驗數據來估計概率分佈參數的數值。這些參數描述了實質情況或實際對象,它們能夠回答估計函數提出的問題。
例如,估計投票人總體中,給特定候選人投票的人的比例。這個比例是一個不可觀測的參數,因為投票人總體很大;估計值建立在投票者的一個小的隨機採樣上。
又如,雷達的目的是物體(飛機、船等)的定位。這種定位是通過分析收到的回聲(回波)來實現的,定位提出的問題是「飛機在哪裏?」為了回答這個問題,必須估計飛機到雷達之間的距離。如果雷達的絕對位置是已知的,那麼飛機的絕對位置也是可以確定的。
在估計理論中,通常假定信息隱藏在包含雜訊的信號中。噪聲增加了不確定性,如果沒有不確定性,那麼也就沒有必要估計了。
有非常多的領域使用參數估計理論。這些領域包括(當然不局限於以下列出的領域):
測量參數包含噪聲或者其他不確定性。通過統計概率,可以求得最優化的解,用來從數據中提取儘可能多的信息。
估計理論的全部目的都是獲取一個估計函數,最好是一個可以實現的估計函數。估計函數輸入測量數據,輸出相應參數的估計。
我們通常希望估計函數能最優,一個最優的估計意味着所有的信息都被提取出來了;如果還有信息沒有提取出來,那就意味着它不是最優的。
一般來說,求估計函數需要三步:
- 為了實現一個預測單個或者多個參數的所期望的估計器,首先需要確定系統的模型。這個模型需要將需要建模的過程以及不確定性和和噪聲融合到一起,這個模型將描述參數應用領域的物理場景。
- 在確定模型之後,需要確定估計器的限制條件。這些限制條件可以通過如Cramér-Rao不等式這樣的方法找到。
- 下一步,需要開發一個估計器或者應用一個已知的對於模型有效的估計器。這個估計器需要根據限制條件進行測試以確定它是否是最優估計器,如果是的話,它就是最好的估計器。
- 最後,在估計器上運行試驗或者仿真以測試性能。
當實現一個估計器之後,實際的數據有可能證明推導出估計器的模型是不正確的,這樣的話就需要重複上面的過程重新尋找估計器。不能實現的估計器需要拋棄,然後開始一個新的過程。總的來說,估計器根據實際測量的數據預測物理模型的參數。
對於給定模型,估計器需要若干統計 "成分"才能實現。第一,統計樣本從長度為 N 的隨機向量(Random Variable,RV)中採樣獲得,觀測值構成向量:
![{\displaystyle \mathbf {x} ={\begin{bmatrix}x[0]\\x[1]\\\vdots \\x[N-1]\end{bmatrix}}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3e73cc498b4c467a2b8efe9650edf8930df68d7f)
第二,有 M 個參數:
![{\displaystyle {\boldsymbol {\theta }}={\begin{bmatrix}\theta _{1}\\\theta _{2}\\\vdots \\\theta _{M}\end{bmatrix}},}](https://wikimedia.org/api/rest_v1/media/math/render/svg/6b7cad00bbddbee6afe48a156ea7cc2f87e690e0)
它們的值需要被估計。第三,用於生成連續數據的概率密度函數(Probability density function,PDF)或離散數據的概率質量函數(Probability mass function,PMF)以參數值為條件(這些概率函數潛在存在),即條件概率為:
![{\displaystyle p(\mathbf {x} |{\boldsymbol {\theta }}).\,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/cde10898898af45036b9313e4e55f13a626f6d77)
參數自身可能也存在概率分佈(如貝葉斯統計),此時就需要定義貝葉斯概率:
![{\displaystyle \pi ({\boldsymbol {\theta }}).\,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f30ed5642305867ca2b0db777819b098c8b6255b)
模型形成後,目標是估計參數,估計的參數通常表示為
,其中
表示估計值。
常用的估計器包括最小均方誤差(Minimum mean squared error,MMSE)估計器,它利用了估計參數和參數實際值之間的誤差:
![{\displaystyle \mathbf {e} ={\hat {\boldsymbol {\theta }}}-{\boldsymbol {\theta }}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d1fcb666c9b3544329735fb093caec9da7d623de)
作為優化的基礎。該誤差項平方的期望對MMSE估計器來說是最小的。
以下是一些相關的估計函數以及相關的主題
考慮由
個獨立採樣點構成的離散信號
,它由常數
和零均值、方差為
的加性高斯白噪聲
(即
)構成。方差已知,未知參數為
。
信號的模型為:
![{\displaystyle x[n]=A+w[n]\quad n=0,1,\dots ,N-1}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e1d88a9335e74132ddc42f3f9845e4b3a6eeb0a1)
參數
的兩個可能的估計器是:
![{\displaystyle {\hat {A}}_{1}=x[0]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/7efe6653cd0810309227e87ae4e1506100c0ef98)
,即採樣平均(Sample mean)
通過計算兩個估計器的期望可以發現,它們的均值均為
:
![{\displaystyle \mathrm {E} \left[{\hat {A}}_{1}\right]=\mathrm {E} \left[x[0]\right]=A}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e8eea7a9306f8e8ad9ec4eba1e66d6c3b680a791)
和
![{\displaystyle \mathrm {E} \left[{\hat {A}}_{2}\right]=\mathrm {E} \left[{\frac {1}{N}}\sum _{n=0}^{N-1}x[n]\right]={\frac {1}{N}}\left[\sum _{n=0}^{N-1}\mathrm {E} \left[x[n]\right]\right]={\frac {1}{N}}\left[NA\right]=A}](https://wikimedia.org/api/rest_v1/media/math/render/svg/38009589e38e8b364cbf62318a2c067de3d5c02f)
兩個估計器的均值沒有差異,然而它們的方差不同:
![{\displaystyle \mathrm {var} \left({\hat {A}}_{1}\right)=\mathrm {var} \left(x[0]\right)=\sigma ^{2}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d5bfcf819ea5feb58537ac1b60805a06aa6ef62d)
和
![{\displaystyle \mathrm {var} \left({\hat {A}}_{2}\right)=\mathrm {var} \left({\frac {1}{N}}\sum _{n=0}^{N-1}x[n]\right)={\frac {1}{N^{2}}}\left[\sum _{n=0}^{N-1}\mathrm {var} (x[n])\right]={\frac {1}{N^{2}}}\left[N\sigma ^{2}\right]={\frac {\sigma ^{2}}{N}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a0235ae36ae0f2173a50fb57996b485702d8a37a)
當
時,
,所以似乎採樣平均
是一個更好的估計器。
使用最大似然估計繼續上面的例子,噪聲在採樣點
上的概率密度函數(pdf)為:
![{\displaystyle p(w[n])={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}w[n]^{2}\right)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/6afa77b39956d597a829a9d79c9e00382d3599f9)
此時
的概率為(
服從分佈
):
![{\displaystyle p(x[n];A)={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}(x[n]-A)^{2}\right)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/6dadba5522e55e1280ff3d724a17b3fb6be9d629)
由於相互獨立,
的概率為:
![{\displaystyle p(\mathbf {x} ;A)=\prod _{n=0}^{N-1}p(x[n];A)={\frac {1}{\left(\sigma {\sqrt {2\pi }}\right)^{N}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}\right)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3f2ece3340c919b3f79fd607bf9dad576368a439)
對上式取自然對數:
![{\displaystyle \ln p(\mathbf {x} ;A)=-N\ln \left(\sigma {\sqrt {2\pi }}\right)-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/cfd2fb56c98155b49d5e330ea4db342ee0b6de2e)
於是最大似然估計器為:
![{\displaystyle {\hat {A}}=\arg \max \ln p(\mathbf {x} ;A)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5f9645b5ea7db9045f33f53fbc7e78952c192fe9)
計算對數-最大似然函數的一階導數:
![{\displaystyle {\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}(x[n]-A)\right]={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/8a674d68209284a5a9468459f08aa06057c5c01d)
令其為0:
![{\displaystyle 0={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]=\sum _{n=0}^{N-1}x[n]-NA}](https://wikimedia.org/api/rest_v1/media/math/render/svg/541b7836252bb44ad16ad11bf3d1a5a77057cf29)
得到最大似然估計器:
![{\displaystyle {\hat {A}}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3c08685bf87326e0644e61bb668cb63f20555181)
它是一個簡單的採樣平均。從這個例子中可以發現,被獨立同分佈的加性高斯白噪聲污染的、由未知常數構成的
點信號的最大似然估計其就是採樣平均。
為了找到採樣平均估計器的Cramér-Rao下限(CRLB),需要找到Fisher information數
![{\displaystyle {\mathcal {I}}(A)=\mathrm {E} \left(\left[{\frac {\partial }{\partial \theta }}\ln p(\mathbf {x} ;A)\right]^{2}\right)=-\mathrm {E} \left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\ln p(\mathbf {x} ;A)\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/44e595795eec438eca51a4c171e19d78699f62e8)
從上面得到
![{\displaystyle {\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/4a63946819cd04e4f699945d43d31f4c3cfdfb4b)
取二階導數
![{\displaystyle {\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}(-N)={\frac {-N}{\sigma ^{2}}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/2b465485d523bec9a8a4bb272a31eac46a9283b8)
發現負的期望值是無關緊要的(trivial),因為它現在是一個確定的常數
最後,將Fisher information代入
![{\displaystyle \mathrm {var} \left({\hat {A}}\right)\geq {\frac {1}{\mathcal {I}}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/1a22a370f01f2274365748e0d869b6d85752d107)
得到
![{\displaystyle \mathrm {var} \left({\hat {A}}\right)\geq {\frac {\sigma ^{2}}{N}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/17f1f76e9bd4354883d19cc99192a432ec6e58b3)
將這個值與前面確定的採樣平均的變化比較顯示對於所有的
和
來說採樣平均都是等於Cramér-Rao下限。
採樣平均除了是最大似然估計器之外還是最小變化無偏估計器(MVUE)。
這個直流增益 + WGN的例子是Kay的統計信號處理基礎中一個例子的再現。