矩陣範數

矩陣範數（matrix norm）是數學上向量範數對矩陣的一個自然推廣。

矩陣範數的特性

以下 $K$ 代表實數或複數域。現在考慮 $K^{m \times n}$ 空間，亦即所有 $m$ 行與 $n$ 列的矩陣。

$K^{m \times n}$ 上的矩陣範數滿足向量範數的所有特性，即若 $\|A\|$ 是矩陣 $A$ 的範數，那麼：

• $\|A\|\ge 0$，且等號成立若且唯若 $A=0$ 。

• $\|\alpha A\|=|\alpha| \|A\|$，對於所有 $\alpha$ 屬於 $K$ 和所有矩陣 $A$ 屬於 $K^{m \times n}$ 成立。

• $\|A+B\| \le \|A\|+\|B\|$，對於所有矩陣 $A$ 和 $B$ 屬於 $K^{m \times n}.$

此外，一些定義在n乘n矩陣上的矩陣範數（但並非所有這類的範數）滿足一個或多個以下與「矩陣比純粹一個向量有更多東西的事實」有關的條件：

• $\|AB\| \le \|A\|\|B\|$
• $\|A\|=\|A^*\|$，$A^*$ 是 $A$ 的共轭转置（實矩陣就是普通轉置）

一個滿足第一個附加特性的矩陣範數被稱為服从乘法範数（sub-multiplicative norm）。附上矩陣範數並包含所有 n×n 矩陣的集合，是巴拿赫代数的一個例子。

（在一些書上，術語“矩陣範數”只指服从乘法範數。）

诱导範数

如果 K^m 及 Kⁿ 上向量範數已知（K 是實數或複數域），可在 $m \times n$ 矩阵空间上按照下述原则定义相应的“诱导範数”或算子範数：

$\begin{align} \|A\| &= \max\{\|Ax\| : x\in K^n \mbox{ with }\|x\|\le 1\} \\ &= \max\{\|Ax\| : x\in K^n \mbox{ with }\|x\| = 1\} \\ &= \max\left\{\frac{\|Ax\|}{\|x\|} : x\in K^n \mbox{ with }x\ne 0\right\}. \end{align}$

若 m = n 且在定义域和值域上使用相同的範数，则诱导的算子範数是服从乘矩阵範数。

舉例說明, 与向量的 p-範数对应的算子範数是：

$\left \| A \right \| _p = \max \limits _{x \ne 0} \frac{\left \| A x\right \| _p}{\left \| x\right \| _p}.$

在 $p=1$ 且 $p=\infty$ 的情況下，其範數可以以下方式計算：

$\begin{align} & \left \| A \right \| _1 = \max \limits _{1 \leq j \leq n} \sum _{i=1} ^m | a_{ij} | \\ & \left \| A \right \| _\infty = \max \limits _{1 \leq i \leq m} \sum _{j=1} ^n | a_{ij} | . \end{align}$

這些與矩陣的 Schatten p-範数不同, 也可以用 $\left \| A \right \| _p .$ 來表示。

若滿足 p = 2（欧几里德範数）且 m = n（方陣）此兩特殊情況時，诱导的矩阵範数就是“谱範数”。矩陣 A 的谱範数是 A 最大的奇異值或半正定矩阵 A^*A 的最大特徵值的平方根：

$\left \| A \right \| _2=\sqrt{\lambda_{\text{max}}(A^* A)}$

其中 A^* 代表 A 的共轭转置 。

任何矩陣範數滿足此不等式

$\left \| A \right \| \ge \rho(A),$

其中 ρ(A) 是 A 的谱半径。事實上，可以证明 ρ(A) 是 A 的所有诱导範数的下界。

此外，我們有

$\lim_{r\rarr\infty}\|A^r\|^{1/r}=\rho(A).$

矩阵元範数

這些向量範數将矩阵视为 $m \times n$ 向量，并使用类似的向量範數。

舉例說明，使用向量的 p-範数，我們得到：

$\Vert A \Vert_{p} = \Big( \sum_{i=1}^m \sum_{j=1}^n |a_{ij}|^p \Big)^{1/p}. \,$

注：不要把矩阵元 p-範数与诱导 p-範数混淆。

弗罗贝尼乌斯範数

对 p = 2，这称为弗罗贝尼乌斯範数（Frobenius norm）或希尔伯特-施密特範数（ Hilbert–Schmidt norm），不过后面这个术语通常只用于希尔伯特空间。这个範数可用不同的方式定义：

$\|A\|_F=\sqrt{\sum_{i=1}^m\sum_{j=1}^n |a_{ij}|^2}=\sqrt{\operatorname{trace}(A^{{}^*} A)}=\sqrt{\sum_{i=1}^{\min\{m,\,n\}} \sigma_{i}^2}$

这里 A^* 表示 A 的共轭转置，σ_i 是 A 的奇异值，并使用了迹函数。弗罗贝尼乌斯範数与 Kⁿ 上欧几里得範数非常类似，来自所有矩阵的空间上一个内积。

弗罗贝尼乌斯范範数是服从乘法的且在数值线性代数中非常有用。这个範数通常比诱导範数容易计算。

极大範範数

极大範範数是 p=∞ 的元素範数，

$\|A\|_{max}=\max\{|a_{ij}|\}.$

这个範数不服从乘法。

Schatten 範数

Schaten 範数出现于当 p-範数应用于一个矩阵的奇异值向量时。如果奇异值记做 σ_i， 则 Schatten p-範数定义为

$\|A\|_p = \Big( \sum_{i=1}^{\min\{m,\,n\}} \sigma_i^p \Big)^{1/p}. \,$

这个範数与诱导、元素 p-範数使用了同样的记号，但它们是不同的。

所有 Schatten 範数服从乘法。它们也都是酉不变的，这就是说 ||A|| = ||UAV|| 对所有矩阵 A 与所有酉矩阵 U 和 V。

最常见的情形是 p = 1, 2, ∞。p = 2 得出弗罗贝尼乌斯範数，前面已经介绍过了。p = ∞ 得出谱範数，这是由向量 2-範数诱导的矩阵範数（见下）。最后， p = 1 得出迹範数，定义为

$\|A\|_{\text{tr}} =\operatorname{trace}(\sqrt{A^*A})=\sum_{i=1}^{\min\{m,\,n\}} \sigma_{i}.$

一致範数

一个 $K^{m \times n}$ 上矩阵範数 $\| \cdot \|_{ab}$ 称为与 $K^n$ 上向量範数 $\| \cdot \|_{a}$ 以及 $K^m$ 上向量範数 $\| \cdot \|_{b}$ 一致，如果

$\|Ax\|_b \leq \|A\|_{ab} \|x\|_a$

对所有 $A \in K^{m \times n}, x \in K^n$。根据定义，所有诱导範数是一致範数。

範数的等价

对任何两个向量範数 ||·||_α and ||·||_β，我们有

$r\left\|A\right\|_\alpha\leq\left\|A\right\|_\beta\leq s\left\|A\right\|_\alpha$

对某个正数 r 与 s，$K^{m \times n}$ 中所有矩阵 A 成立。换句话说，它们是等价的範数；它们在 $K^{m \times n}$ 上诱导了相同的拓扑。

此外，当 $A\in \mathbb{R}^{n\times n}$，则对任何向量範数 ||·||，存在惟一一个正数 k 使得 k||A|| 是一个（服从乘法）矩阵範数。

一个矩阵範数 ||·||_α 称为“极小的”，如果不存在其它矩阵範数 ||·||_β 满足 ||·||_β≤||·||_α。

範数等价的例子

对矩阵 $A\in\mathbb{R}^{m\times n}$ 如下不等式成立：

• $\|A\|_2\le\|A\|_F\le\sqrt{n}\|A\|_2$
• $\|A\|_{\text{max}} \le \|A\|_2 \le \sqrt{mn}\|A\|_{\text{max}}$
• $\frac{1}{\sqrt{n}}\|A\|_\infty\le\|A\|_2\le\sqrt{m}\|A\|_\infty$
• $\frac{1}{\sqrt{m}}\|A\|_1\le\|A\|_2\le\sqrt{n}\|A\|_1$

这里，||·||_p 表示由向量 p-範数诱导的矩阵範数。

向量範数之间另一个有用的不等式是

$\|A\|_2\le\sqrt{\|A\|_1\|A\|_\infty}.$

參考資料

1. Douglas W. Harder, Matrix Norms and Condition Numbers [1]
2. James W. Demmel, Applied Numerical Linear Algebra, section 1.7, published by SIAM, 1997.
3. Carl D. Meyer, Matrix Analysis and Applied Linear Algebra, published by SIAM, 2000. [2]