6.3 奇异值分解

6.3.1

$\\$ 略。$\\$

6.3.2 $\quad$ 矩阵$A$的 QR 分解$A=QR$,且$R$有奇异值分解$R=U\varSigma V^\mathrm{T}$，求$A$的奇异值分解。

$\\$ 解：$\\$ 显然矩阵$QU$也是正交矩阵，于是$A$的奇异值分解是$A=QU\varSigma V^\mathrm{T}.\\$

6.3.3 $\quad$ 设$A$的奇异值分解为$A=U\varSigma V^\mathrm{T}$,求矩阵$\begin{bmatrix} O&A^\mathrm{T}\\ A&O \end{bmatrix}$的谱分解。

$\\$ 解：$\\$ 注意$A$不一定是方阵且可能不满秩。 $\\$ 设$\operatorname{rank}(A)=r$，则$U=\begin{bmatrix} \bm{u}_1&\cdots&\bm{u}_r&\bm{u}_{r+1}&\cdots&\bm{u}_{n} \end{bmatrix},V=\begin{bmatrix} \bm{v}_1&\cdots&\bm{v}_r&\bm{v}_{r+1}&\cdots&\bm{v}_{n} \end{bmatrix}$。 $A$的简化奇异值分解为$A=\sigma_1\bm{u}_1\bm{v}_1^{\mathrm{T}}+\cdots+\sigma_r\bm{u}_r\bm{v}_r^{\mathrm{T}}$，其中$\bm{u}_1\cdots\bm{u}_r$正交，$\bm{v}_1\cdots\bm{v}_r$正交。$\\$ 先考虑$1\leq i \leq r$的情况，此时$A\bm{v}_i=\sigma_i\bm{u}_i, A^{\mathrm{T}}\bm{u}_i=\sigma_i\bm{v}_i$，于是$$\begin{bmatrix} O&A^{\mathrm{T}}\\ A&O \end{bmatrix} \begin{bmatrix} \bm{v}_i\\ \bm{u}_i \end{bmatrix} = \begin{bmatrix} A^{\mathrm{T}}\bm{u}_i\\ A\bm{v}_i \end{bmatrix} = \sigma_i\begin{bmatrix} \bm{v}_i\\ \bm{u}_i \end{bmatrix}$$ $$\begin{bmatrix} O&A^{\mathrm{T}}\\ A&O \end{bmatrix} \begin{bmatrix} \bm{v}_i\\ -\bm{u}_i \end{bmatrix} = \begin{bmatrix} -A^{\mathrm{T}}\bm{u}_i\\ A\bm{v}_i \end{bmatrix} = -\sigma_i\begin{bmatrix} \bm{v}_i\\ -\bm{u}_i \end{bmatrix}$$ 所以$\sigma_i$是特征值，对应的特征向量是$\begin{bmatrix} \bm{v}_i\\ \bm{u}_i \end{bmatrix}$，$-\sigma_i$也是特征值，对应的特征向量是$\begin{bmatrix} \bm{v}_i\\ -\bm{u}_i \end{bmatrix}$。这里有$2r$个特征值。$\\$ 再考虑$r \lt i \leq n$，显然此时$A\bm{v}_i=A^{\mathrm{T}}\bm{u}_i=\bm{0}$，于是$$\begin{bmatrix} O&A^{\mathrm{T}}\\ A&O \end{bmatrix} \begin{bmatrix} \bm{0}\\ \bm{u}_i \end{bmatrix} = \begin{bmatrix} A^{\mathrm{T}}\bm{u}_i\\ \bm{0} \end{bmatrix} = \bm{0}$$ $$\begin{bmatrix} O&A^{\mathrm{T}}\\ A&O \end{bmatrix} \begin{bmatrix} \bm{v}_i\\ \bm{0} \end{bmatrix} = \begin{bmatrix} \bm{0}\\ A\bm{v}_i \end{bmatrix} = \bm{0}$$ 所以$0$是特征值，对应的特征向量是$\begin{bmatrix} \bm{0}\\ \bm{u}_i \end{bmatrix}$和$\begin{bmatrix} \bm{v}_i\\ \bm{0} \end{bmatrix}$。这里有$2(n-r)$个特征值。$\\$ 设$U_1=\begin{bmatrix} \bm{u}_1&\cdots&\bm{u}_r \end{bmatrix},U_2=\begin{bmatrix} \bm{u}_{r+1}&\cdots&\bm{u}_n \end{bmatrix},V_1=\begin{bmatrix} \bm{v}_1&\cdots&\bm{v}_r \end{bmatrix},V_2=\begin{bmatrix} \bm{v}_{r+1}&\cdots&\bm{v}_n \end{bmatrix}$，则$U=\begin{bmatrix} U_1&U_2 \end{bmatrix},V=\begin{bmatrix} V_1&V_2 \end{bmatrix}$，所以谱分解为$$\begin{bmatrix} O&A^{\mathrm{T}}\\ A&O \end{bmatrix} = \begin{bmatrix} V_1&V_1&O&V_2\\ U_1&-U_1&U_2&O \end{bmatrix} \begin{bmatrix} \sigma_1\\ &\ddots\\ &&\sigma_r\\ &&&-\sigma_1\\ &&&&\ddots\\ &&&&&-\sigma_r\\ &&&&&&0\\ &&&&&&&\ddots\\ &&&&&&&&0 \end{bmatrix} \begin{bmatrix} V_1^{\mathrm{T}}&U_1^{\mathrm{T}}\\ V_1^{\mathrm{T}}&-U_1^{\mathrm{T}}\\ O&U_2^{\mathrm{T}}\\ V_2^{\mathrm{T}}&O\\ \end{bmatrix}$$

6.3.4 $\quad$ 设矩阵$A=\begin{bmatrix}1&0\\-1&1\end{bmatrix}$，考虑单位圆$C=\set{\bm{v}\in\mathbb{R}^2 \vert \Vert \bm{v} \Vert=1}$及其在$A$对应的线性变换$\bm{A}$下的像$A(C)=\set{A\bm{v}\in\mathbb{R}^2 \vert \Vert \bm{v} \Vert=1}.\\$

1.设$\bm{w}\in A(C)$,证明$\bm{w}^\mathrm{T}(AA^\mathrm{T})^{-1}\bm{w}=1.\\$ 证明：$\\$ 设$\bm{w}=A\bm{v},\Vert \bm{v} \Vert = 1$，则$\bm{w}^\mathrm{T}(AA^\mathrm{T})^{-1}\bm{w}=\bm{v}^\mathrm{T}A^{\mathrm{T}}A^{-\mathrm{T}}A^{-1}A\bm{v}=\bm{v}^{\mathrm{T}}\bm{v}=1.\\$ 2.求$A$的奇异值分解$A=U\varSigma V^\mathrm{T}.\\$ 解：$\\$ $$A=\begin{bmatrix} \cfrac{1-\sqrt{5}}{\sqrt{10-2\sqrt{5}}}&\cfrac{1+\sqrt{5}}{\sqrt{10+2\sqrt{5}}}\\ \cfrac{2}{\sqrt{10-2\sqrt{5}}}&\cfrac{2}{\sqrt{10+2\sqrt{5}}} \end{bmatrix} \begin{bmatrix} \cfrac{\sqrt{5}+1}{2}&\\ &\cfrac{\sqrt{5}-1}{2}\\ \end{bmatrix} \begin{bmatrix} \cfrac{-1-\sqrt{5}}{\sqrt{10+2\sqrt{5}}}&\cfrac{2}{\sqrt{10+2\sqrt{5}}}\\ \cfrac{-1+\sqrt{5}}{\sqrt{10+2\sqrt{5}}}&\cfrac{2}{\sqrt{10-2\sqrt{5}}}\\ \end{bmatrix}$$ 3. 注意$V,U$ 为二阶正交矩阵，对应的线性变换是旋转或反射，而 $\varSigma$ 是对角矩阵，对应伸缩变换。从几何上看，曲线$V^{\mathrm{T}}(C),\varSigma V^{\mathrm{T}}(C),U\varSigma V^{\mathrm{T}}(C)$ 分别是什么形状？ $\\$ 解：$\\$ 圆，椭圆，椭圆。$\\$

6.3.5 $\quad$ 设矩阵$A$的奇异值分解是$A=U\varSigma V^\mathrm{T}.\\$ 1. 证明$AA^\mathrm{T}=U(\varSigma\varSigma^\mathrm{T})U^\mathrm{T},A^\mathrm{T}A=V(\varSigma^\mathrm{T}\varSigma)V^\mathrm{T}$分别是这两个对称矩阵的谱分解，并得到$AA^\mathrm{T}$和$A^TA$的非零特征值相同。$\\$ 2. 对任意$A$的奇异值$\sigma\neq0$,设$\bm{v}$和$\bm{w}$分别是$A^\mathrm{T}A$和$AA^\mathrm{T}$的属于$\sigma^2$的特征向量，证明$A\bm{v}$ 和$A^\mathrm{T}\bm{w}$分别是$AA^\mathrm{T}$和$A^\mathrm{T}A$的属于$\sigma^2$的特征向量. $\\$

1.$\\$ 略。$\\$ 2. 证明：$\\$ $A^{\mathrm{T}}A\bm{v}=\sigma^2\bm{v} \implies AA^{\mathrm{T}}A\bm{v}=\sigma^2A\bm{v} \implies A\bm{v}$是$AA^{\mathrm{T}}$属于$\sigma^2$的特征向量。$\\$ $AA^{\mathrm{T}}\bm{w}=\sigma^2\bm{w} \implies A^{\mathrm{T}}AA^{\mathrm{T}}\bm{w}=\sigma^2A^{\mathrm{T}}\bm{w} \implies A^{\mathrm{T}}\bm{w}$是$A^{\mathrm{T}}A$属于$\sigma^2$的特征向量。$\\$

6.3.6 (极分解) $\quad$ 对$n$阶方阵$A$,存在正交矩阵$Q$和对称半正定矩阵$S$,使得$A=QS.\\$

分解式$A=QS$称为$A$的极分解. 容易看到，$A=S_1Q_1$，即方阵分解为对称半正定矩阵和正交 矩阵的乘积，也存在。$\\$ 证明：$\\$ $A=U\varSigma V^{\mathrm{T}}=UV^{\mathrm{T}}V \varSigma V^{\mathrm{T}}$。显然$Q=UV^{\mathrm{T}}$是正交矩阵，$S=V \varSigma V^{\mathrm{T}}$是半正定的对称矩阵，所以$A$存在极分解$A=QS$。同理，$A=U\varSigma V^{\mathrm{T}}=U \varSigma U^{\mathrm{T}}UV^{\mathrm{T}}$，其中$S_1=U \varSigma U^{\mathrm{T}}$是对称半正定矩阵，$Q_1=UV^{\mathrm{T}}$是正交矩阵，所以分解$A=S_1Q_1$也存在。$\\$

6.3.7 $\quad$ 证明矩阵的广义逆唯一。

$\\$ 证明：$\\$ 由广义逆的性质，有$AA^{+}A=A,A^{+}AA^{+}=A^{+}$，$AA^{+}$和$A^{+}A$均为对称矩阵。设$A$有两个不同的广义逆$X_1,X_2$，则 $$\begin{align*} X_1&=X_1AX_1=X_1AX_2AX_1=(X_1A)^{\mathrm{T}}(X_2A)^{\mathrm{T}}X_1=(X_2AX_1A)^{\mathrm{T}}X_1=(X_2A)^{\mathrm{T}}X_1\\ &=X_2AX_1=X_2AX_2AX_1=X_2(AX_2)^{\mathrm{T}}(AX_1)^{\mathrm{T}}=X_2(AX_1AX_2)^{\mathrm{T}}=X_2(AX_2)^{\mathrm{T}}\\ &=X_2AX_2\\ &=X_2 \end{align*}$$ 即$X_1=X_2$，于是矩阵的广义逆唯一。$\\$

6.3.8 (谱范数的性质)$\quad$ 证明命题 6.3.7. 矩阵的谱范数满足：$\\$ 1. $\Vert A \Vert \geq 0$，且$\Vert A \Vert=0$当且仅当$A=O;\\$ 2. $\Vert kA \Vert = \vert k \vert \Vert A \Vert ;\\$ 3. $\Vert A+B \Vert \leq \Vert A \Vert + \Vert B \Vert ;\\$ 4. $\Vert AB \Vert \leq \Vert A \Vert \Vert B \Vert ;\\$ 5. 如果$U,V$是正交矩阵，则$\Vert UAV^{\mathrm{T}} \Vert = \Vert A \Vert.$

$\\$ 1.证明：$\\$ $\Vert A \Vert = \displaystyle\max_{\bm{x}\neq\bm{0}} \cfrac{\Vert A\bm{x} \Vert}{\Vert \bm{x} \Vert} \geq 0$，而$\Vert A \Vert = 0 \iff \forall\bm{x}\neq 0,\quad \Vert A\bm{x} \Vert=0 \iff \mathcal{N}(A)=\mathbb{R}^n \iff A=O. \\$ 2.证明：$\\$ $\Vert kA \Vert = \displaystyle\max_{\bm{x}\neq\bm{0}} \cfrac{\Vert kA\bm{x} \Vert}{\Vert \bm{x} \Vert} = \vert k \vert \Vert A \Vert. \\$ 3.证明：$\\$ 由谱范数定义， $$\begin{align*} \Vert A+B \Vert&=\displaystyle\max_{\bm{x}\neq\bm{0}} \cfrac{\Vert A\bm{x}+B\bm{x} \Vert}{\Vert \bm{x} \Vert}\\ &\leq \displaystyle\max_{\bm{x}\neq\bm{0}} \cfrac{\Vert A\bm{x} \Vert+\Vert B\bm{x} \Vert}{\Vert \bm{x} \Vert}\quad\text{(由三角不等式)}\\ &\leq \displaystyle\max_{\bm{x}\neq\bm{0}} \cfrac{\Vert A\bm{x} \Vert}{\bm{x}}+\displaystyle\max_{\bm{x}\neq\bm{0}} \cfrac{\Vert B\bm{x} \Vert}{\bm{x}}\quad\text{(因为最大值不一定同时取到)}\\ &=\Vert A \Vert+\Vert B \Vert. \end{align*}$$ 即$\Vert A+B \Vert \leq \Vert A \Vert+\Vert B \Vert.\\$ 4.证明：$\\$ 由谱范数定义， $$\begin{align*} \Vert AB \Vert &= \displaystyle\max_{\bm{x}\neq\bm{0}} \cfrac{\Vert AB\bm{x} \Vert}{\Vert \bm{x} \Vert}\\ &=\displaystyle\max_{B\bm{x}\neq\bm{0}} \cfrac{\Vert AB\bm{x} \Vert}{\Vert B\bm{x} \Vert}\cfrac{\Vert B\bm{x} \Vert}{\Vert \bm{x} \Vert}\\ &\leq \displaystyle\max_{\bm{y}\in\mathcal{R}(B),\bm{y}\neq\bm{0}} \cfrac{\Vert A\bm{y} \Vert}{\Vert \bm{y} \Vert}\displaystyle\max_{\bm{x}\neq\bm{0}} \cfrac{\Vert B\bm{x} \Vert}{\Vert \bm{x} \Vert}\quad\text{(因为最大值不一定同时取到)}\\ &\leq \displaystyle\max_{\bm{y}\neq\bm{0}} \cfrac{\Vert A\bm{y} \Vert}{\Vert \bm{y} \Vert}\displaystyle\max_{\bm{x}\neq\bm{0}} \cfrac{\Vert B\bm{x} \Vert}{\Vert \bm{x} \Vert}\quad\text{(因为$\bm{y}$的取值范围变大了)}\\ &=\Vert A \Vert \Vert B \Vert. \end{align*}$$ 即$\Vert AB \Vert \leq \Vert A \Vert \Vert B \Vert.\\$ 5. 证明：$\\$ 正交矩阵不改变向量的长度，于是 $$\Vert UA \Vert = \max_{\bm{x}\neq\bm{0}} \cfrac{\Vert UA\bm{x} \Vert}{\Vert \bm{x} \Vert} = \max_{\bm{x}\neq\bm{0}} \cfrac{\Vert A\bm{x} \Vert}{\Vert \bm{x} \Vert} = \Vert A \Vert$$ $$\Vert AV^{\mathrm{T}} \Vert = \max_{\bm{x}\neq\bm{0}} \cfrac{\Vert AV^{\mathrm{T}}\bm{x} \Vert}{\Vert \bm{x} \Vert} = \max_{\bm{x}\neq\bm{0}} \cfrac{\Vert AV^{\mathrm{T}}\bm{x} \Vert}{\Vert V^{\mathrm{T}}\bm{x} \Vert} = \max_{\bm{y}\neq\bm{0}} \cfrac{\Vert A\bm{y} \Vert}{\Vert \bm{y} \Vert} = \Vert A \Vert$$ 所以$\Vert UAV^{\mathrm{T}} \Vert=\Vert AV^{\mathrm{T}} \Vert=\Vert UA \Vert=\Vert A \Vert.\\$

6.3.9 $\quad$ 证明矩阵任意特征值的绝对值不大于其最大的奇异值。

$\\$ 证明：$\\$ $\sigma_{max}=\displaystyle\max_{\bm{x}\neq\bm{0}}\cfrac{\Vert A\bm{x} \Vert}{\Vert \bm{x} \Vert}$，而对任意特征值$\lambda$都有$\Vert A\bm{v} \Vert=\Vert \lambda\bm{v} \Vert=\vert\lambda\vert\Vert \bm{v} \Vert \implies \vert\lambda\vert=\cfrac{\Vert A\bm{v} \Vert}{\Vert \bm{v} \Vert}$，其中$\bm{v}$是是对应的特征向量。即$\vert\lambda\vert \leq \sigma_{max}.\\$

6.3.10$\quad$证明或者举出反例。$\\$ 1. $n$阶方阵$A$为正交矩阵当且仅当它的$n$个奇异值都是1。$\\$ 2. $n$阶方阵的$n$个奇异值的乘积等于所有特征值的乘积。$\\$ 3.设$n$阶方阵$A$和$A+I_n$的奇异值分解分别为$A=U\varSigma V^{\mathrm{T}},A+I_n=U(\varSigma+I_n)V^{\mathrm{T}}.$证明$A$是对称矩阵。$\\$ 4. 如果$n$阶方阵$A$的$n$个奇异值就是它的$n$个特征值，则$A$是对称矩阵。$\\$

1.证明:$\\$ $A$为正交矩阵$\iff A^{\mathrm{T}}A=AA^{\mathrm{T}}=I_n\iff n$个奇异值都是1。$\\$ 2.$\\$ 显然不正确，奇异值乘积不小于0，而特征值的乘积可以为任意实数。$\\$ 3.证明:$\\$ $A+I_n=U(\varSigma+I_n)V^{\mathrm{T}}=U\varSigma V^{\mathrm{T}}+UV^{\mathrm{T}} \implies UV^{\mathrm{T}}=I_n \implies U=V \implies A=U\varSigma U^{\mathrm{T}} \implies A$是对称矩阵。$\\$ 4.证明:$\\$ 要证$A$是对称矩阵，只需要证$A-A^{\mathrm{T}}=O$。由Frobenius范数性质可得$\operatorname{trace}(A^{\mathrm{T}}A)=O \iff A=O.$所以 $$\begin{align*} \operatorname{trace}((A-A^{\mathrm{T}})^{\mathrm{T}}(A-A^{\mathrm{T}}))&=\operatorname{trace}(AA^{\mathrm{T}}+A^{\mathrm{T}}A-A^2-(A^{\mathrm{T}})^2)\\ &= \operatorname{trace}(AA^{\mathrm{T}})+\operatorname{trace}(A^{\mathrm{T}}A)-\operatorname{trace}(A^2)-\operatorname{trace}((A^{\mathrm{T}})^2)\\ &=2\operatorname{trace}(A^{\mathrm{T}}A)-2\operatorname{trace}(A^2)\\ &=2\sum_{i=1}^n \sigma_i^2 - 2\sum_{i=1}^n \lambda_i^2\\ &=0 \end{align*}$$ 于是$A-A^{\mathrm{T}}=O \implies A$是对称矩阵。$\\$

6.3.11 (Frobenius范数的性质) $\quad$ 证明命题 6.3.15. $\quad$ 矩阵的Frobenius范数满足：$\\$ 1. $\Vert A \Vert_{\mathrm{F}} \geq 0$，且$\Vert A \Vert_{\mathrm{F}}=0$当且仅当$A=O;\\$ 2. $\Vert kA \Vert_{\mathrm{F}} = \vert k \vert \Vert A \Vert_{\mathrm{F}} ;\\$ 3. $\Vert A+B \Vert_{\mathrm{F}} \leq \Vert A \Vert_{\mathrm{F}} + \Vert B \Vert_{\mathrm{F}} ;\\$ 4. $\Vert AB \Vert_{\mathrm{F}} \leq \Vert A \Vert \Vert B \Vert_{\mathrm{F}},\Vert AB \Vert_{\mathrm{F}} \leq \Vert A \Vert_{\mathrm{F}} \Vert B \Vert ;\\$ 5. 如果$U,V$是正交矩阵，则$\Vert UAV^{\mathrm{T}} \Vert_{\mathrm{F}} = \Vert A \Vert_{\mathrm{F}}.\\$

1. 证明：$\\$ 由Frobenius范数定义$\Vert A \Vert_{\mathrm{F}}=\sqrt{\operatorname{trace}(A^{\mathrm{T}}A)}=\sqrt{\displaystyle\sum_{i=1}^{m}\displaystyle\sum_{j=1}^{n}\vert a_{ij} \vert^2}$立得。$\\$ 2. 证明：$\\$ $\Vert kA \Vert_{\mathrm{F}}=\sqrt{k^2\operatorname{trace}(A^{\mathrm{T}}A)}=\vert k \vert \sqrt{\operatorname{trace}(A^{\mathrm{T}}A)}=\vert k \vert \Vert A \Vert_{\mathrm{F}}.\\$ 3. 证明：$\\$ 由三角不等式，$\Vert A+B \Vert_{\mathrm{F}}=\sqrt{\displaystyle\sum_{i=1}^{m}\displaystyle\sum_{j=1}^{n}\vert a_{ij}+b_{ij} \vert^2} \leq \sqrt{\displaystyle\sum_{i=1}^{m}\vert a_{ij} \vert^2}+\sqrt{\displaystyle\sum_{j=1}^{n}\vert b_{ij} \vert^2}=\Vert A \Vert_{\mathrm{F}} + \Vert B \Vert_{\mathrm{F}}.\\$ 4. 证明：$\\$ $\Vert A \Vert = \max\cfrac{\Vert A\bm{x} \Vert}{\Vert \bm{x} \Vert} \implies \Vert A \Vert \geq \cfrac{\Vert A\bm{x} \Vert}{\Vert \bm{x} \Vert} \implies \Vert A\bm{x} \Vert \leq \Vert A \Vert \Vert \bm{x} \Vert.\\$ 设$B=\begin{bmatrix} \bm{b}_1&\bm{b}_2&\cdots&\bm{b}_n \end{bmatrix}$，则$AB=\begin{bmatrix} A\bm{b}_1&A\bm{b}_2&\cdots&A\bm{b}_n \end{bmatrix}$，由Frobenius范数定义有$\Vert AB \Vert_{\mathrm{F}}^2=\displaystyle\sum_{i=1}^n \Vert A\bm{b}_i \Vert^2 \leq \Vert A \Vert^2 \displaystyle\sum_{i=1}^n \Vert \bm{b}_i \Vert^2 = \Vert A \Vert^2 \Vert B \Vert_{\mathrm{F}}^2.$即$\Vert AB \Vert_{\mathrm{F}} \leq \Vert A \Vert \Vert B \Vert_{\mathrm{F}}.\\$ 同理，设$A=\begin{bmatrix} \bm{a}_1^{\mathrm{T}}\\ \bm{a}_2^{\mathrm{T}}\\ \vdots\\ \bm{a}_n^{\mathrm{T}} \end{bmatrix}$可得$\Vert AB \Vert_{\mathrm{F}} \leq \Vert A \Vert_{\mathrm{F}} \Vert B \Vert.\\$ 5. 证明：$\\$ $$\Vert UA \Vert_{\mathrm{F}} = \sqrt{\operatorname{trace}(A^{\mathrm{T}}U^{\mathrm{T}}UA)}=\sqrt{\operatorname{trace}(A^{\mathrm{T}}A)}=\Vert A \Vert_{\mathrm{F}}$$ $$\Vert AV^{\mathrm{T}} \Vert_{\mathrm{F}} = \sqrt{\operatorname{trace}(VA^{\mathrm{T}}AV^{\mathrm{T}})}=\sqrt{\operatorname{trace}(V^{\mathrm{T}}VA^{\mathrm{T}}A)}=\sqrt{\operatorname{trace}(A^{\mathrm{T}}A)}=\Vert A \Vert_{\mathrm{F}}$$ 于是$\Vert UAV^{\mathrm{T}} \Vert_{\mathrm{F}}=\Vert UA \Vert_{\mathrm{F}}=\Vert A \Vert_{\mathrm{F}}.\\$

6.3.12 $\quad$ 证明命题 6.3.16. $\quad$对任意矩阵$A$，其Frobenius范数平方$\Vert A \Vert_{\mathrm{F}}^2$等于$A$所有奇异值的平方和。因此$\Vert A \Vert_{\mathrm{F}} \geq \Vert A \Vert$

$\\$ 证明：$\\$ $$\Vert A \Vert_{\mathrm{F}}^2=\operatorname{trace}(A^{\mathrm{T}}A)=\sum_{i=1}^n \sigma_i^2 \geq \sigma_{\max}^2=\Vert A \Vert^2.$$

6.3.13 (樊畿迹定理) $\quad$ 对任意$n$阶对称矩阵$A\in\mathbb{R}^{n\times n}$ ，假设特征值为$\lambda_1\geqslant\lambda_2\geqslant...\geqslant\lambda_n$，对应特征向量为$\bm{u}_1,\bm{u}_2,\cdots,\bm{u}_n$，则${\displaystyle\max_{\substack{n\times m \text{矩阵} Q:\\Q^{\mathrm{T}}Q=I}}}\operatorname{trace}(Q^{\mathrm{T}}AQ)=\displaystyle\sum_{i=1}^{m}\lambda_i$，且$Q=\begin{bmatrix}\bm{u}_1&\bm{u}_2&\cdots&\bm{u}_m\end{bmatrix}$时取得最大值。

$\\$ 证明：$\\$ 设$Q=\begin{bmatrix} \bm{q}_1&\bm{q}_2&\cdots&\bm{q}_m \end{bmatrix}$，且列向量两两正交。则$\operatorname{trace}(Q^{\mathrm{T}}AQ)=\bm{q}_1^{\mathrm{T}}A\bm{q}_1+\bm{q}_2^{\mathrm{T}}A\bm{q}_2+\cdots+\bm{q}_m^{\mathrm{T}}A\bm{q}_m.$ $\\$ 注意到$\bm{q}_i^{\mathrm{T}}A\bm{q}_i=\cfrac{\bm{q}_i^{\mathrm{T}}A\bm{q}_i}{\bm{q}_i^{\mathrm{T}}\bm{q}_i}$是$\bm{q}_i$关于$A$的Rayleigh商。于是$\displaystyle\max_{\bm{q}_i^{\mathrm{T}}\bm{q}_i=1} \bm{q}_i^{\mathrm{T}}A\bm{q}_i=\lambda_1, \displaystyle\max_{k\leq i \leq m} \bm{q}_i^{\mathrm{T}}A\bm{q}_i=\lambda_k$，当且仅当$\bm{q}_i$为对应特征值时取得最大值。$\\$ 所以${\displaystyle\max_{\substack{n\times m \text{矩阵} Q:\\Q^{\mathrm{T}}Q=I}}}\operatorname{trace}(Q^{\mathrm{T}}AQ)=\displaystyle\sum_{i=1}^{m}\lambda_i$，当且仅当$Q=\begin{bmatrix}\bm{u}_1&\bm{u}_2&\cdots&\bm{u}_m\end{bmatrix}$时取得最大值。$\\$

6.3.14

$\\$ 略。唯一需要注意的是不要浪费时间去算第四问$B$的最佳秩1逼近。这里直接给出$B$的奇异值分解，供读者观摩。$\\$ 显然$B=\begin{bmatrix} -2 & -1 & 1 & 2 \\ -9 & -1 & -1 & 11 \end{bmatrix}$，于是$B$的奇异值分解为 $$\begin{bmatrix} -2 & -1 & 1 & 2 \\ -9 & -1 & -1 & 11 \end{bmatrix} =U\varSigma V^{\mathrm{T}}$$ 其中 $$U= \begin{bmatrix} \sqrt{-\sqrt{\frac{9409}{44036}}+\frac{1}{2}} & -\sqrt{\sqrt{\frac{9409}{44036}}+\frac{1}{2}} \\ \sqrt{\sqrt{\frac{9409}{44036}}+\frac{1}{2}} & \sqrt{-\sqrt{\frac{9409}{44036}}+\frac{1}{2}} \end{bmatrix}$$ $$\varSigma= \begin{bmatrix} \sqrt{\sqrt{11009}+107} & 0 & 0 & 0 \\ 0 & \sqrt{-\sqrt{11009}+107} & 0 & 0 \end{bmatrix}$$ $$V^{\mathrm{T}}= \begin{bmatrix} -0.633 & 0.148 & \frac{-\sqrt{174}}{87} & \frac{103\sqrt{4785}}{9570} \\ -0.081 & 0.546 & \frac{11\sqrt{174}}{174} & \frac{-\sqrt{4785}}{9570} \\ -0.054 & -0.816 & \frac{7\sqrt{174}}{174} & \frac{31\sqrt{4785}}{9570} \\ \sqrt{\sqrt{\frac{176066361}{2131342400}}+\frac{133}{440}} & \sqrt{-\sqrt{\frac{176066361}{2131342400}}+\frac{133}{440}} & 0 & \frac{\sqrt{4785}}{110} \end{bmatrix}^{\mathrm{T}}$$ 用numpy进行奇异值分解后计算秩一逼近 $$B_1=\sigma_1\bm{u}_1\bm{v}_1^{\mathrm{T}}= \begin{bmatrix} -1.7910 & -0.2283 & -0.1528 & 2.1722 \\ -9.0413 & -1.1528 & -0.7716 & 10.9658 \end{bmatrix}$$ 可以看到秩一逼近已经很接近真实值了。 $\\$

6.3.15 $\quad$ 考虑子空间$\mathcal{M},\mathcal{N}$,其对应的正交投影矩阵为$P,Q.$我们想要研究矩阵 $$H=P\left(P+Q\right)^{+}Q+Q\left(P+Q\right)^{+}P.$$ $\\$ 1.计算$(P+Q)(P+Q)^{+}$的列空间和零空间，该矩阵是否为一个正交投影矩阵？$\\$ 2.计算$\left(P+Q\right)^{+}\left(P+Q\right)$的列空间和零空间，该矩阵是否为一个正交投影矩阵？和前一矩阵有何关联？$\\$ 3.证明$Q(P+Q)^{+}(P+Q)=Q,(P+Q)(P+Q)^{+}Q=Q.$ $\\$ 4.证明$H=2P(P+Q)^{+}Q=2Q(P+Q)^{+}P.$ $\\$ 5.假设$T$是 $\mathcal{M}\cap\mathcal{N}$上的正交投影矩阵，证明$HP=HQ=HT=H.$ $\\$ 6.证明$HT=T.$ $\\$ 于是$H=T$,由此即得$\mathcal{M}\cap\mathcal{N}$的正交投影矩阵的表达式。$\\$

1.解：$\\$ 设$P+Q=A$，由广义逆性质可知$AA^{+}=U_rU_r^{\mathrm{T}}$，其中$U_r$是$\mathcal{R}(A)$的一组标准正交基，于是$\mathcal{R}(AA^{+})=\mathcal{R}(A)=\mathcal{R}(P+Q)$。同理可得$\mathcal{N}(AA^+)=\mathcal{N}(P+Q)$。$\\$ 接下来我们将证明，$\mathcal{R}(P+Q)=\mathcal{M}+\mathcal{N}, \mathcal{N}(P+Q)=(\mathcal{M}+\mathcal{N})^{\perp}$。$\\$ 对$\forall \bm{x}\in \mathcal{N}(P+Q), (P+Q)\bm{x}=\bm{0} \implies P\bm{x}+Q\bm{x}=\bm{0} \implies P\bm{x}=-Q\bm{x}$。而$P$是$\mathcal{M}$的正交投影矩阵，$Q$是$\mathcal{N}$的正交投影矩阵，$P\bm{x}\in \mathcal{M}, Q\bm{x}\in \mathcal{N}$，这说明$\forall \bm{x} \in \mathcal{N}(P+Q), P\bm{x}\in \mathcal{M}\cap\mathcal{N}, Q\bm{x}\in \mathcal{M}\cap\mathcal{N}$。$\\$ 设$\mathcal{M}\cap\mathcal{N}$的正交投影矩阵是$T$，则$$PT=QT=T=T^{\mathrm{T}}=(PT)^{\mathrm{T}}=(QT)^{\mathrm{T}}=TP=TQ$$于是 $$\begin{align*} P\bm{x}=-Q\bm{x}&\implies TP\bm{x}=-TQ\bm{x}\\ &\implies T\bm{x}=-T\bm{x}\\ &\implies T\bm{x}=\bm{0}\\ &\implies TP\bm{x}=TQ\bm{x}=\bm{0} \end{align*}$$ 又因为$P\bm{x}\in\mathcal{M}\cap\mathcal{N},Q\bm{x}\in\mathcal{M}\cap\mathcal{N}$，且$T$是$\mathcal{M}\cap\mathcal{N}$的正交投影矩阵，所以$TP\bm{x}=P\bm{x}=\bm{0}, TQ\bm{x}=Q\bm{x}=\bm{0} \implies \mathcal{N}(P+Q)\subseteq\mathcal{N}(P)\cap\mathcal{N}(Q)$。显然$\mathcal{N}(P)\cap\mathcal{N}(Q)\subseteq\mathcal{N}(P+Q)$也成立，于是$\mathcal{N}(P+Q)=\mathcal{N}(P)\cap\mathcal{N}(Q)=\mathcal{M}^\perp \cap \mathcal{N}^\perp. \\$ 由De Morgan定律 (见练习3.3.8)，$\mathcal{M}^\perp \cap \mathcal{N}^\perp = (\mathcal{M}+\mathcal{N})^\perp$，即$\mathcal{N}(AA^{+})=\mathcal{N}(P+Q)=\mathcal{M}^\perp \cap \mathcal{N}^\perp =(\mathcal{M}+\mathcal{N})^{\perp}$。由正交补的性质可得，$\mathcal{R}(AA^{+})=\mathcal{R}(P+Q)=\mathcal{M}+\mathcal{N}.\\$ $(AA^{+})^2=(AA^{+})^{\mathrm{T}}=AA^{+}$，所以$AA^{+}$是正交投影矩阵。$\\$ 2.解：$\\$ 设$P+Q=A$，由于$A$是对称矩阵，由广义逆性质和前面讨论可知$AA^{+}$和$A^{+}A$有相同的零空间和列空间。即$\mathcal{R}(A^{+}A)=\mathcal{R}(P+Q)=\mathcal{M}+\mathcal{N}, \mathcal{N}(AA^{+})=\mathcal{N}(P+Q)=(\mathcal{M}+\mathcal{N})^{\perp}. \\$ $(A^{+}A)^2=(A^{+}A)^{\mathrm{T}}=A^{+}A$，所以$AA^{+}$是正交投影矩阵，且$A^{+}A=AA^{+}.\\$ 3.证明：$\\$ 由前面讨论可知，$AA^{+}=A^{+}A$是$\mathcal{M}+\mathcal{N}$上的正交投影矩阵，而$\mathcal{R}(Q)\subseteq\mathcal{M}+\mathcal{N}$，所以$AA^{+}Q=Q$，等号两侧取转置立得$QA^{+}A=Q.\\$ 4.证明：$\\$ 由第(3)小问结论 $$Q=Q(P+Q)^{+}(P+Q)=Q(P+Q)^{+}P+Q(P+Q)^{+}Q$$ $$Q=(P+Q)(P+Q)^{+}Q=P(P+Q)^{+}Q+Q(P+Q)^{+}Q$$ 于是$Q(P+Q)^{+}P=P(P+Q)^{+}Q\implies H=2P(P+Q)^{+}Q=2Q(P+Q)^{+}P.\\$ 5.证明：$\\$ $$HP=2Q(P+Q)^{+}P^2=2Q(P+Q)^{+}P=H.$$ $$HQ=2P(P+Q)^{+}Q^2=2P(P+Q)^{+}Q=H.$$ 由De Morgan定律 (见练习3.3.8)，$(\mathcal{M}\cap\mathcal{N})^{\perp}=\mathcal{M}^{\perp}+\mathcal{N}^{\perp}$。设$P_{(\mathcal{M}\cap\mathcal{N})^{\perp}}$表示$(\mathcal{M}\cap\mathcal{N})^\perp$上的正交投影矩阵，$P_{\mathcal{M}^{\perp}},P_{\mathcal{N}^{\perp}}$分别表示$\mathcal{M}^{\perp},\mathcal{N}^{\perp}$上的正交投影矩阵，则$$T=P_{\mathcal{M}\cap\mathcal{N}}=I-P_{(\mathcal{M}\cap\mathcal{N})^{\perp}}=I-P_{\mathcal{M}^\perp+\mathcal{N}^\perp}$$ 设$B=P_{\mathcal{M}^{\perp}}+P_{\mathcal{N}^{\perp}}=I-P+I-Q=2I-P-Q$。由第(2)问结论可得$P_{\mathcal{M}^\perp+\mathcal{N}^\perp}=BB^{+}$，即$BB^{+}$是$\mathcal{R}(B)=\mathcal{M}^{\perp}+\mathcal{N}^{\perp}$上的正交投影矩阵。因此 $$\begin{align*} HT&=H(I-P_{\mathcal{M}^\perp+\mathcal{N}^\perp})\\ &=H(I-BB^{+})\\ &=H-HBB^{+}\\ &=H-H(2I-P-Q)B^{+}\\ &=H-(2H-H-H)B^{+}\\ &=H \end{align*}$$ 6.证明：$\\$ 考虑矩阵$HT-T$的零空间。设$\bm{x}\in\mathbb{R}^n$，分两种情况讨论：$\\$ (a)若$\bm{x}\in (\mathcal{M}\cap\mathcal{N})^{\perp}$，$\\$ $(HT-T)\bm{x}=HT\bm{x}-T\bm{x}=\bm{0}-\bm{0}=\bm{0}$。所以$(\mathcal{M}\cap\mathcal{N})^{\perp} \subseteq \mathcal{N}(HT-T)$。$\\$ (b)若$\bm{x}\in(\mathcal{M}\cap\mathcal{N})$，$\\$ 则 $$\begin{align*} (HT-T)\bm{x}&=H\bm{x}-\bm{x}\\ &=P\left(P+Q\right)^{+}Q\bm{x}+Q\left(P+Q\right)^{+}P\bm{x}-\bm{x}\\ &=P\left(P+Q\right)^{+}\bm{x}+Q\left(P+Q\right)^{+}\bm{x}-\bm{x}\\ &=(P+Q)\left(P+Q\right)^{+}\bm{x}-\bm{x}\\ &=AA^{+}\bm{x}-\bm{x} \end{align*}$$ 注意到$AA^{+}$是$\mathcal{M}+\mathcal{N}$上的正交投影矩阵，而$\bm{x}\in(\mathcal{M}\cap\mathcal{N})\subseteq (\mathcal{M}+\mathcal{N})$，于是$AA^{+}\bm{x}-\bm{x}=\bm{x}-\bm{x}=\bm{0}$。即$(\mathcal{M}\cap\mathcal{N}) \subseteq \mathcal{N}(HT-T)$。$\\$ 这表明$\mathcal{N}(HT-T)=\mathbb{R}^n \iff HT-T=O \iff HT=T.$