影像去背

影像去背（英語：Image Matting），是指藉由計算前景的顏色和透明度，將前景從影像中擷取出來的技術，可用於替換背景、影像合成、視覺特效，在電影工業中被廣泛地使用。影像中的每個像素會有代表其前景透明度的值，稱作阿法值（英語：Alpha），一張影像中所有阿法值的集合稱作阿法遮罩（英語：Alpha Matte），將影像被遮罩所涵蓋的部分取出即可完成前景的分離。

影像去背的主要工作就是求得精確的阿法遮罩，而影像常有無法人工標示的部分，例如：人的髮絲或是動態模糊的部分，一種簡單的解決方法是先人工標定出影像的「Trimap」，再由演算法計算出阿法遮罩以完成影像去背。

名詞定義

阿法遮罩（Alpha Matte）

阿法遮罩，是代表對於影像前景透明度的遮罩，大小和影像相同，遮罩中每個像素的值為相應的影像像素的阿法值（英語：Alpha）。阿法值為1代表該像素屬於前景，0則代表該像素屬於背景。阿法值也可能介於0,1之間，表示對應到的影像像素為半透明，例如煙霧、動態模糊。

Trimap

一張影像的「Trimap」，是指將影像中的每個像素劃分為三種區域：前景（英語： Foreground）、背景（英語：Background）和待確認（英語：Unknown）。演算法會將標定好的前景和背景當成已知，再藉由顏色等資訊將待確認區域中的像素標為前景或背景。

去背問題

常見去背問題可分為單色去背（英語：Constant-color Matting）、差異去背（英語：Difference Matting）和自然影像去背（英語：Natural Image Matting）三種。

單色去背

影像的背景為已知且為單一顏色，通常為較容易處理的藍色或綠色。一般在拍攝電影，需要替換背景時，會在藍幕或綠幕前拍攝，就是為了要將去背簡化為最容易的單色去背，讓後製的工作更容易且有效率。

差異去背

影像的背景為已知但不是單色，可以先將相機固定，拍攝完已知的背景後，再拍攝加入人物的影像，把兩影像相減後即可得到粗略的前景，故稱之為差異去背。相減的方法雖然簡單，但得出的前景再邊界部分容易出錯，可再藉由演算法進行優化。

自然影像去背

影像的前景背景沒有限制，是最一般化也最困難的去背問題。通常會由人工將影像標定為前景、背景和待確認三種區域，演算法再由已知的前景、背景顏色，去推算待確認區域中的每個像素屬於前景或是背景。

演算法

可大致分為兩類：取樣法（英語：Sampling-based）和傳播法（英語：Propagation-based）。

取樣法會對影像的局部區域取樣，從已知資訊計算出該區域的阿法遮罩。常見的方法有貝式去背景法（英語：Bayesian Matting）。

傳播法是指藉由分析整張影像的特性，像是顏色、梯度等，來直接求得整張影像遮罩的方法。常見的方法有帕松去背景法（英語：Poisson Matting）、羅氏去背景法（英語：Robust Matting）等。

貝氏去背景法（英語：Bayesian Matting）

以貝氏機率模型計算最大後驗概率，對前景、背景及阿法值同步進行優化，使用有向高斯共變異數（Oriented Gaussian Covariances）能有效的推估顏色的分佈。貝氏去背的優點是機率模型簡單又符合直覺，去背效果良好。其限制是需要良好的「Trimap」，當影像的前後景關係變得複雜時，貝氏去背的效果會顯著下降。

帕松去背景法（英語：Poisson Matting）

帕松去背分為兩步，一是從影像中算出遮罩近似的梯度場，二是藉由解帕松等式（Poisson Equation），從遮罩的梯度場求得遮罩。當前景和背景顏色接近時，帕松去背容易出錯，此時能夠以更多的使用者輸入，用區域的帕松去背來進行優化。

穩健性去背景法（英語：Robust Matting）

通常在有品質好的「Trimap」的情況下，取樣法可以得到較好的遮罩；但在前後景關係複雜，「Trimap」品質不佳時，取樣法的效果會迅速衰減。穩健性去背景法會先進行取樣，得到遮罩後再進行優化，進而結合取樣法和傳播法的好處。

其他技術

在實作上，可以藉由增加觀測資訊，讓去背景變得更加容易。

紅外線的使用

在拍攝時，同時使用一般鏡頭和紅外線鏡頭，藉由紅外線照片所得到的資訊，將同時拍攝的一般照片當中的人與背景分離。

閃光去背

在拍攝時，拍下使用閃光燈和沒有使用閃光燈各一張，閃光燈會明顯改變前景的亮度，但對背景的影響較小，藉由分析有無閃光的兩張照片，來完成影像去背。分析照片時能使用上述演算法，如貝氏閃光去背（Joint Bayesian Flash Matting）。