影像融合

影像融合（英語：Image Fusion）是指將不同感測器獲得的同一場景圖像，或者同一感測器以不同工作模式或在不同成像時間下獲得的同一場景圖像，運用融合技術合併成一幅綜合了之前多幅影像優點、內容更為豐富的影像。影像融合技術產生於20世紀70年代末，是綜合了感測器、影像處理、計算機和人工智慧理論的交叉型研究領域，並由於小波轉換的崛起，使影像融合在近三十年裡得到了快速的發展。影像融合的應用極為廣泛，從軍事領域、遙測領域、醫學應用領域一直到數位成像領域。在軍事領域可用來獲取戰場情勢；在遙測領域可作天氣預報、災情探勘與監測；在醫學領域則是平常在醫院看見的各種精密儀器，例如: 電腦斷層攝影（Computed Tomography, CT）、磁共振造影（Magnetic Resonance Imaging, MRI）、正子電腦斷層掃描（Position Emission Computed Tomography, PET）。而數位成像則是日常生活中人手一機的數位相機，甚至智慧型手機的攝像功能。

影像融合的目的

利用多個感測器之間互補的特性，影像融合技術可以將二個或二個影像的感測器在不同或是相同時間下所獲得的影像資訊合為一個影像，如此一來，可進用單一個影像來傳遞所有的資訊與消息。

影像融合的演進

1979年，在美國的Daily等人首次提出雷達影像與陸地資源衛星的多光譜影像進行融合處理，並用其來解釋地質現象。^[1]
1981年，Laner及Todd等人實施Landsat-RBV影像和Landsat-MSS影像的融合實驗。^[2]
1987年，Welch及Ehlers等人把不同解析度的Landsat-TM多光譜遙測影像與SPOT衛星的高解析度影像融合在一起。^[3]
由於軍事及遙測等應用的需求大增，從而使影像融合技術有了大幅的發展與推進。
在1983年，Burt等人提出Laplace(拉普拉斯)金字塔分解算法後，大家開始嘗試將原影像透過多尺度分解並在頻域裡進行影像融合的流程。^[4]
1989年，Toet等人根據人類視覺影像對比度信號靈敏度的優點，提出對比度金字塔的融合演算法。^[5] ^[6]
1993年，Burt等人為了要降低對比度金字塔的融合演算法的雜訊比，因而提出梯度金字塔分解圖像的影像融合法。^[7]
1995年，Li, Zhou及Chellappa等人利用對比度金字塔的融合演算法來做孔徑雷射與前視紅外線影像的融合。^[8]
2000年，美國波音公司航空電子飛行實驗室採用對比度金字塔演算融合的方法，成功地多源影像進行處理，其結果顯示出可快速確立目標位置並對目標進行辨識。
90年代，隨著小波理論不斷地興起，因其具有時頻定位特性，使得小波理論在影像融合領域裡受到極大的重視與採用，並開啟了影像融合在多尺度分解應用的大門。
近幾年來，更因Ridgelet^[9]、Curvelet^[10]、Bandlet^[11]以及Contourlet^[12]等變換的問世，使之在影像融合中有廣大的應用。

影像融合的分類

針對不同的應用場合、不同的影像來源以及對影像融合目的的不同，可作以下的分類:訊號特徵層次、影像來源及融合方法。

訊號特徵層次

依照訊息特徵層次的不同，由低到高可分為像素級影像融合、特徵級影像融合和決策級影像融合。

像素級影像融合

在嚴格配准的條件下，根據某個融合規則直接對各輻射影像的像素進行訊號的融合。在影像融合的三個層次中，像素級影像融合是最低層次的融合技術，它保留了盡可能多的場景信息，精確度比較高，可用來提高訊號的靈敏度與信噪比，以利於目標觀測和特徵提取。但是對原圖像之間的配對精確度要求也比較高。所以，在像素級影像融合前，必須將待融合的各影像進行精確的配對。且像素級影像融合的數據量大，處理速度較慢，準確性較差。

特徵級影像融合

從各個影像中找出特徵資訊（e.g. 邊緣、形狀、輪廓、角、紋理、相似亮度區域等資訊），並對其進行綜合分析和處理。特徵級影像融合屬於中間層次上的資訊融合。在融合過程中，首先對各個影像進行特徵提取，然後對影像在特徵域中進行融合，最後在一張總的特徵圖上合併這些特徵。特徵影像融合保留了影像中足夠的重要資訊，又可以對資訊進行壓縮，有利於實際狀況處理，並且由於所提取的特徵直接與決策分析有關，因而融合結果能最大限度地給出決策分析所需要的特徵資訊，從而提高系統的目標檢測能力，更利於系統的判別。但是相對於像素級影像融合，特徵級影像融合的資訊失真較多。

決策級影像融合

從各個影像中獲取決策，依一定的準則及各個決策的可信度，將他們合併成一個全局性的最優決策。決策級影像融合是最高層次的資訊融合，其結果為指揮控制決策提供依據。在這一層次的融合過程中，首先根據每個影像分別建立對同一目標的初步判決和結論，然後對來自各個影像進行相關處理，最後進行決策級的融合處理，從而獲得最终的聯合判決。決策級影像融合具有良好的準確性和容錯性，但其預處理代價較高，資訊損失也最多。

影像來源

根據影像來源的不同，影像融合可分為：相同感測器影像融合、異類感測器影像融合、遙測影像融合。

相同感測器影像融合

對同一種感測器在不同工作模式下或不同成像時間獲得的影像進行融合，包括多聚焦影像融合、多曝光影像融合、時間序列影像融合等。其中，多聚焦影像就是由同種光學感測器採用不同工作模式（即不同的聚焦點）而獲得的影像，時間序列影像則是由同種感測器在同一工作模式下於不同時刻對目標成像而得到的一系列影像。

異類感測器影像融合

即對由多個成像原理不同的獨立的感測器獲得的影像進行融合，包括红外線影像與可見光影像的融合、CT影像與MRI影像的融合…等等。例如，红外線影像是採用红外線探測器獲取目標的红外線熱輻射資訊，又被稱為「熱影像」，而可見光影像是採用光學感測器紀錄目標的光譜反射信號。下，紅外線影像可以確定目標的存在及相應位置，而可見光影像則能夠描述場景的背景資訊。所以，紅外線影像與可見光影像的融合可以將紅外線影像中的熱目標與可見光影像中的背景資訊結合起來，從而提高系統目標的偵測能力和對環境的釋義能力。

遙測影像融合

即對由衛星或飛機成像感測器獲得的影像進行融合。主要包括全色波段影像與多光譜影像的融合及SAR影像與多光譜影像的融合。例如：IKONOS衛星的多光譜影像與全色波段影像的融合、Landsat TM的多光譜影像和SPOT的全色波段影像的融合，其目的都是利用全色波段影像中的空間細節資訊和多光譜影像中豐富的光譜資訊，融合得到具有高空間解析度的多光譜影像，在保留光譜資訊的同時，提高影像的空間解析度。

融合方法

像素級影像融合依照融合方法可分成兩大類:基於空間域的影像融合和基於變換領域的影像融合。

基於空間域的影像融合

直接在圖像像素的灰階上進行融合。常用的算法包括：加權平均融合算法、主成分分析融合算法、IHS空間融合算法、偽彩色融合算法…等等。

基於變換域的影像融合

首先對各個影像分別進行影像變換，再討變換後的係數按一定的准則進行融合，最後對融合后的變換係數進行逆變換得到最終的融合影像。常用的算法包括：基於傅立葉變換的影像融合方法、基於多尺度分解的影像融合演算法…等。

影像融合之結構圖

小波轉換的影像融合

小波轉換(Wavelet Transform)能將影像分解到不同尺度的多個頻帶上，符合人眼視覺的多通道分解規律，而且分解後的資訊無冗餘，具有極佳的壓縮特性，因此，可將小波轉換應用在影像融合此技術裡。換句話說，小波轉換影像融合即是利用小波函數將融合之影像進行分解與重建動作。

過程與步驟

小波轉換的影像融合技術是在各個維度的各個子帶上分別進行，其融合過程可分為以下步驟:

選擇適當的小波函數
對原圖像作小波轉換，在低頻部份，得到原影像的相似圖形，而在高頻部份得到各個維度、方向上的細節圖形
通常，在低頻部份的圖形採用加權平均的融合技術；而高頻部份則依一定的融合方法，在各自的維度與方向上進行融合，一般而言，會選擇包含更多明顯的高頻小波係數作為融合後的小波係數
對融合後的低頻及高頻部份圖形作反小波轉換，得到的圖形即為小波轉換影像融合的結果

小波轉換的影像融合演算法的性能受該演算法的融合方法而定，在表達影像的細節特徵時，不同的融合方法會有不同的效果。

常見的小波轉換影像融合的方法

選擇係數絕對值最大的融合法

高頻小波係數的絕討值能夠在一定程度上反映影像的灰階變化程度，即影像有明顯的細節特徵。也就是說，絕紂值較大的高頻小波係數代表影像在該位置灰階變化較劇烈，對應到較強的邊緣、紋理等明顯的細節特徵，這種較劇烈的灰階變化和較顯著的細節特徵會給人眼帶來比較強烈的刺激和感受，因此選擇係數絕對值較大的高頻小波係數作為融合後的高頻小波係數，有利於提高影像融合的視覺效果，將多個影像中的顯著的細節資訊呈現在融合結果中，可以增加融合的品質質量、提高融合影像的對比度。

假設原影像A、B經過J層小波轉換後，得到係數{cA,d $A_{j}^{e}$ }、{cB,d $B_{j}^{e}$ }，融合的影像F對應的係數為{cF,d $F_{j}^{e}$ }。其中，cX(X=A,B,F)表示影像X在第J層的低頻係數，d $X_{j}^{e}$ (X=A,B,F)表示影像X在第j( $1\leq j\leq J$ )層e(e=LH,HL,HH)方向上的高頻小波係數。
低頻子帶的加權平均融合規則為: $cF(m,n)={\frac {1}{2}}[cA(m,n)+cB(m,n)]$ ，其中(m,n)表示低頻子帶係數的位置
高頻子帶的選取係數絕對值最大的融合規則為: $dF_{j}^{e}(m,n)={\begin{cases}dA_{j}^{e}(m,n),&|dA_{j}^{e}(m,n)|\geqslant |dB_{j}^{e}(m,n)|\\dB_{j}^{e}(m,n),&|dA_{j}^{e}(m,n)|<|dB_{j}^{e}(m,n)|\end{cases}}$

選擇對比度絕對值最大的融合法

根據人類視覺系統的研究，發現人眼在看黑白影像時，主要是對影像上的局部灰階對比度比較敏感。影像的局部灰階對比度不僅反映了影像的清晰程度，還與影像的目標特徵有關。蒲恬等人將小波轉換的影像融合演算法與人類視覺系統的上述特徵相互結合，提出了一種小波對比度的影像融合演算法[2]，該演算法由於利用了人類的視覺特性，因此能夠產生具有較好視覺效果的融合結果。

定義小波的對比度: $CtrX_{j}^{e}(m,n)={\frac {dX_{j}^{e}(m,n)}{cX_{j}^{e}(m,n)}}$ ，其中 $cX_{j}$ 表示影像X(X=A,B)在第j層上的低頻近似分量，相當於局部背景亮度； $dA_{j}^{e}$ 表示影像在第e層方向上位置(m,n)處的局部對比度資訊，及高頻細節相對於低頻背景的強度。具體的融合規則:
在低頻子帶用加權平均的方法進行融合，即 $cF(m,n)={\frac {1}{2}}[cA(m,n)+cB(m,n)]$
高頻子帶使用選取對比度絕對最大值的融合方法，即 $dF_{j}^{e}(m,n)={\begin{cases}dA_{j}^{e}(m,n),&|dA_{j}^{e}(m,n)|\geqslant |dB_{j}^{e}(m,n)|\\dB_{j}^{e}(m,n),&|dA_{j}^{e}(m,n)|<|dB_{j}^{e}(m,n)|\end{cases}}$
此演算法同時考慮到高頻成分(細節資訊)與低頻成分(背景亮度)對人類視覺的影響，更適合人眼的生理視覺特點，因此有較好的融合效果。

匹配度的融合法

Liu等人提出了匹配度的影像融合演算法，該算法的高頻融合標準是由特性和匹配度共同決定，在兩個影像的顯著資訊較為匹配和不太匹配的兩種情形下，分別採用不同的融合方式進行融合。此影像融合方式可在某種程度上避免由直接選擇的融合標準引起方塊效應(Deblocking)。

影像融合的應用

影像融合研究的迅速發展，使得影像融合的技術廣泛地運用在生活的周遭。並隨著感測器技術和什算機數據處理能提高，影像融合技術已經越來越廣泛地應用在軍事、遙測、醫學成像、數位成像等領域。

軍事領域

隨著影像偵測能力的提升，感測器的種類日新月異。來自戰場上影像情報愈來愈多，需要在大量不同類型的影像情報中快速、准確地綜合、提取關於戰場情勢的有用訊息，從而形成強而有力的情報。因此，以多感測器影像融合為核心內容的戰場態勢感知技術成為現代戰爭中最具有影響力的軍事技術，這在美、英等技術發展國家已受到高度重視並取得了相當的進展。

遙測領域

通過對同一場景的大量多源遙測影像的融合處理能夠更準確、全面地認識和了解該場景的環境和自然資源情況。多元遙測影像技術目前已廣泛用於大地測量、植物分類、冰雪監測、天氣預報、災情監測等方面。

醫學應用領域

隨著影像設備的發展和各類醫學成像模式的出現，多模醫學影像融合技術成為醫學成像的重要技術，並逐漸應用於診斷和治療中。由於不同影像設備的成像原理不同，它們所呈現的醫學影像反映出人體不同的特徵。例如：電腦斷層攝影（Computed Tomography, CT）影像密度解析度高，能清晰顯示骨質等硬組織結構；磁共振造影（Magnetic Resonance Imaging, MRI）影像軟組織解析度高，可顯示血管等軟組織結構信息；正子電腦斷層掃描（Position Emission Computed Tomography, PET）的影像主要是用來顯示人體器官和腫瘤組織的生理和病理的功能及代謝情況。多模醫學影像融合技術可將多種模式的醫學影像信息結合，賓現優勢互補，彌補因單一模式醫學影像成像機原理不同造成的信息缺失，有助於對疾病準確且快速地診斷和治療。

數位成像領域

由於光學成像系統聚焦範圍有限，同一場景中位於不同距離的物體不能同時清晰成像，因此需利用多聚焦影像融合技術將源於同一場景、聚焦目標各不相同的影像進行融合處理，以使不同成像距離的物體清晰呈現於一個影像中，從而提高數位相機的成像質量。

此外，影像融合技術還可在工業生產中用於產品檢驗、材料檢測，在安全檢查中用於隱匿武器檢測。隨著影像融合技術研究的不斷發展與進步，這項嶄新的技術必定能應用到更多的領域。

參考文獻

註腳

^ Daily M I, Farr T, Elachi C. Geologic intepertation from Composited radar and Iandast imagery [J]. Photogrammetric Engineering and Remote Sensing. 1979, 45 (8): 1109- 1116.
^ Laner D T, Todd W J. Land cover mapping with merged Landsat RBV and MSS stereoscopic images [A]. Proceedings of the ASP Fall Technical Conference, 1981: 680-689.
^ WeIeh R, Ehlers M. Merging multiresolution SPOT HRV and Landsat TM data [J] . Photogrammetric Engineering and Remote Sensing. 1987, 53 (3):301-303.
^ Burl P J, Adelson E H. The Laplacian pyramid as a compact image code [J]. IEEE Transaction on communications, 1983 , 31 (4): 532-540.
^ Toet A. Hierarchical image fusion [J]. Machine Vision and Applications, 1990, 3 (1): 1-11.
^ Toel A, Ruyven L V. Velaton J. Merging thermal and visual images by a contrast pyramid [J] . Optical Engineering, 1989,28 (7): 789-792.
^ Burt P J, Kolczynski R J. Enhanced image capture through fusion [A] . 4th International Conference On Computer Vision [C], 1993: 173-182.
^ Li H, Zhou Y T, Chellappa R. SAR/IR sensor image fusion and real - time implementation [A] . Proceedings of International Conference on Signals, Systems and Computers [C] . IEEE. 1995: 1121-1125.
^ Candès E J. Ridgelets: Theory and Applications [D] , Stanford: Stanford University, 1998.
^ Candès E J, Donoho D L. Curvelets: A surprisingly effective nonadaptive representation for objects with edges [R] . Stanford: Department of Statistics, Stanford University, 1999.
^ Pennec E L, Mallat S. Sparse geometric image representations with bandelets [J] . IEEE Transactions on Image Processing, 2005, 14 (4): 423- 438.
^ Do M N, Vetterli M. “ Contourlets” , in Beyond Wavelets [M] . San Diego: Academic Press, 2002.

其他參考資料

才溪, Multiscale Image Fusion PUBLIC HOUSE OF ELECTRONICS INDUSTRY
廖文宏(wen-Hung Liao),小波多層次解析之影像融合應用 (Image Fusion application of Multi-level Wavelet)

[1] Daily M I, Farr T, Elachi C. Geologic intepertation from Composited radar and Iandast imagery [J]. Photogrammetric Engineering and Remote Sensing. 1979, 45 (8): 1109- 1116.

[2] Laner D T, Todd W J. Land cover mapping with merged Landsat RBV and MSS stereoscopic images [A]. Proceedings of the ASP Fall Technical Conference, 1981: 680-689.

[3] WeIeh R, Ehlers M. Merging multiresolution SPOT HRV and Landsat TM data [J] . Photogrammetric Engineering and Remote Sensing. 1987, 53 (3):301-303.

[4] Burl P J, Adelson E H. The Laplacian pyramid as a compact image code [J]. IEEE Transaction on communications, 1983 , 31 (4): 532-540.

[5] Toet A. Hierarchical image fusion [J]. Machine Vision and Applications, 1990, 3 (1): 1-11.

[6] Toel A, Ruyven L V. Velaton J. Merging thermal and visual images by a contrast pyramid [J] . Optical Engineering, 1989,28 (7): 789-792.

[7] Burt P J, Kolczynski R J. Enhanced image capture through fusion [A] . 4th International Conference On Computer Vision [C], 1993: 173-182.

[8] Li H, Zhou Y T, Chellappa R. SAR/IR sensor image fusion and real - time implementation [A] . Proceedings of International Conference on Signals, Systems and Computers [C] . IEEE. 1995: 1121-1125.

[9] Candès E J. Ridgelets: Theory and Applications [D] , Stanford: Stanford University, 1998.

[10] Candès E J, Donoho D L. Curvelets: A surprisingly effective nonadaptive representation for objects with edges [R] . Stanford: Department of Statistics, Stanford University, 1999.

[11] Pennec E L, Mallat S. Sparse geometric image representations with bandelets [J] . IEEE Transactions on Image Processing, 2005, 14 (4): 423- 438.

[12] Do M N, Vetterli M. “ Contourlets” , in Beyond Wavelets [M] . San Diego: Academic Press, 2002.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]