結構相似性

维基百科,自由的百科全书
跳转至: 导航搜索

結構相似性指標[1](英文:structural similarity index,SSIM index)是一種用以衡量兩張數位影像相似程度的指標。當兩張影像其中一張為無失真影像,另一張為失真後的影像,二者的結構相似性可以看成是失真影像的影像品質衡量指標。相較於傳統所使用的影像品質衡量指標,像是峰值信噪比(英文:PSNR),結構相似性在影像品質的衡量上更能符合人眼對影像品質的判斷[2][3]

基本觀念[编辑]

結構相似性的基本觀念為自然影像是高度結構化的[1],亦即在自然影像中相鄰像素之間有很強的關聯性,而這樣的關聯性承載了場景中物體的結構資訊。人類視覺系統在觀看影像時已經很習慣抽取這樣的結構性資訊。因此,在設計影像品質衡量指標用以衡量影像失真程度時,結構性失真的衡量是很重要的一環。

定義[编辑]

給定兩個信號\mathbf{x}\mathbf{y},兩者的結構相似性定義為:

\text{SSIM}(\mathbf{x},\mathbf{y})=[l(\mathbf{x},\mathbf{y})]^\alpha[c(\mathbf{x},\mathbf{y})]^\beta[s(\mathbf{x},\mathbf{y})]^\gamma

l(\mathbf{x},\mathbf{y})=\frac{2\mu_x\mu_y+C_1}{\mu_x^2+\mu_y^2+C_1}c(\mathbf{x},\mathbf{y})=\frac{2\sigma_x\sigma_y+C_2}{\sigma_x^2+\sigma_y^2+C_2}s(\mathbf{x},\mathbf{y})=\frac{\sigma_{xy}+C_3}{\sigma_x\sigma_y+C_3}

其中,l(\mathbf{x},\mathbf{y})比較\mathbf{x}\mathbf{y}的亮度(luminance),c(\mathbf{x},\mathbf{y})比較\mathbf{x}\mathbf{y}對比度s(\mathbf{x},\mathbf{y})比較\mathbf{x}\mathbf{y}的結構(structure),\alpha>0\beta>0\gamma>0,為調整l(\mathbf{x},\mathbf{y})c(\mathbf{x},\mathbf{y})s(\mathbf{x},\mathbf{y})相對重要性的參數,\mu_x\mu_y\sigma_x\sigma_y分別為\mathbf{x}\mathbf{y}平均值標準差\sigma_{xy}\mathbf{x}\mathbf{y}共變異數C_1C_2C_3皆為常數,用以維持l(\mathbf{x},\mathbf{y})c(\mathbf{x},\mathbf{y})s(\mathbf{x},\mathbf{y})的穩定。

結構相似性指標的值越大,代表兩個信號的相似性越高。


試想,若使用全等的兩張圖片去做SSIM運算,也就是說\mu_x=\mu_y\sigma_x=\sigma_y,如此一來


\text{SSIM}(\mathbf{x},\mathbf{x})=\frac{2\mu_x^2+C_1}{\mu_x^2+\mu_x^2+C_1} \times \frac{2\sigma_x^2+C_2}{\sigma_x^2+\sigma_x^2+C_2} \times \frac{\sigma_{xx}+C_3}{\sigma_x\sigma_x+C_3}=1

性質[编辑]

結構相似性指標具有下列性質:

結構相似性指標是對稱的,亦即
\text{SSIM}(\mathbf{x},\mathbf{y})=\text{SSIM}(\mathbf{y},\mathbf{x})
  • 有上下界
結構相似性指標的範圍為−1到1。當衡量的兩個信號完全相同時,結構相似性指標的值為1。

使用[编辑]

實際使用時,簡化起見,一般會將參數設為\alpha=\beta=\gamma=1C_3=C_2/2,得到:

\text{SSIM}(\mathbf{x},\mathbf{y})=\frac{(2\mu_x\mu_y+C_1)(2\sigma_{xy}+C_2)}{(\mu_x^2+\mu_y^2+C_1)(\sigma_x^2+\sigma_y^2+C_2)}

在計算兩張影像的結構相似性指標時,會開一個局部性的視窗,一般為N×N的小區塊,計算出視窗內信號的結構相似性指標,每次以像素為單位移動視窗,直到整張影像每個位置的局部結構相似性指標都計算完畢。將全部的局部結構相似性指標平均起來即為兩張影像的結構相似性指標。

應用[编辑]

結構相似性指標因其簡單而有效,近年來廣泛被使用在影像與視訊處理的相關應用上,像是影像壓縮[4]影像浮水印[5]無線視訊串流[6]核磁共振成像[7]等等。

限制[编辑]

結構相似性指標有其限制,對於影像出現位移縮放旋轉(皆屬於非結構性的失真)的情況無法有效的運作。為解決此問題,另已發展出在小波域進行運算的結構相似性指標,稱作複小波結構相似性指標[8](英文:complex wavelet SSIMCW-SSIM)。

外部連結[编辑]

參考資料[编辑]

  1. ^ 1.0 1.1 Zhou Wang, Alan C. Bovik, Hamid R. Sheikh, and Eero P. Simoncelli, "Image quality assessment: from error visibility to structural similairty," IEEE Transactions on Image Processing, vol. 13, no. 4, pp. 600−612, Apr. 2004.
  2. ^ Zhou Wang and Alan C. Bovik, "Mean squared error: Love it or leave it? - A new look at signal fidelity measures," IEEE Signal Processing Magazine, vol. 26, no. 1, pp 98−117, Jan. 2009.
  3. ^ H.R. Sheikh, M.F. Sabir, and A.C. Bovik, "A statistical evaluation of recent full reference image quality assessment algorithms," IEEE Transactions on Image Processing, vol.15, no.11, pp.3440−3451, Nov. 2006.
  4. ^ T. Richter, K. J. Kim, "A MS-SSIM optimal JPEG 2000 encoder," in Proc. Data Compression Conf., pp.401−410, Mar. 2009.
  5. ^ A. M. Alattar, E. T. Lin, and M. U. Celik, "Digital watermarking of low bit-rate advanced simple profile MPEG-4 compressed video," IEEE Trans. Circuits Syst. Video Technol., vol. 13, no. 8, pp. 787−800, Aug. 2003.
  6. ^ V. Vukadinovi and G. Karlsson, "Trade-offs in bit-rate allocation for wireless video streaming," in Proc. ACM Int. Symp. Modeling, Analysis, and Simulation of Wireless and Mobile Systems, Quebec, Canada, 2005, pp. 349−353
  7. ^ S. A. Reinsberg, S. J. Doran, E. M. Charles-Edwards, and M. O. Leach, "A complete distortion correction for MR images: II. Rectification of static-field inhomogeneities by similarity-based profile mapping," Phys. Med. Biol., vol. 50, no. 11, pp. 2651−2661, June 2005.
  8. ^ Z. Wang and E. P. Simoncelli, "Translation insensitive image similarity in complex wavelet domain," in Proc. IEEE Int. Conf. Acoustics, Speech, Signal Processing, pp. 573−576, Mar. 2005.