6.3 奇异值分解

6.3.1
略。
6.3.2 矩阵$A$的 QR 分解$A=QR$,且$R$有奇异值分解$R=U\Sigma V^{\mathrm{T}}$，求$A$的奇异值分解。
解：
显然矩阵$QU$也是正交矩阵，于是$A$的奇异值分解是$A=QU\Sigma V^{\mathrm{T}}.$ 6.3.3 设$A$的奇异值分解为$A=U\Sigma V^{\mathrm{T}}$,求矩阵$\left[\begin{array}{cc}O& A^{\mathrm{T}}\\ A& O\end{array}\right]$的谱分解。
解：
注意$A$不一定是方阵且可能不满秩。
设$\mathrm{rank}(A)=r$，则$U=\left[\begin{array}{cccccc}{\mathbf{u}}_1& \cdots & {\mathbf{u}}_r& {\mathbf{u}}_{r+1}& \cdots & {\mathbf{u}}_n\end{array}\right],V=\left[\begin{array}{cccccc}{\mathbf{v}}_1& \cdots & {\mathbf{v}}_r& {\mathbf{v}}_{r+1}& \cdots & {\mathbf{v}}_n\end{array}\right]$。 $A$的简化奇异值分解为$A={\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^{\mathrm{T}}+\cdots +{\sigma }_r{\mathbf{u}}_r{\mathbf{v}}_r^{\mathrm{T}}$，其中${\mathbf{u}}_1\cdots {\mathbf{u}}_r$正交，${\mathbf{v}}_1\cdots {\mathbf{v}}_r$正交。
先考虑$1\le i\le r$的情况，此时$A{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i,A^{\mathrm{T}}{\mathbf{u}}_i={\sigma }_i{\mathbf{v}}_i$，于是$$\left[\begin{array}{cc}O& A^{\mathrm{T}}\\ A& O\end{array}\right]\left[\begin{array}{c}{\mathbf{v}}_i\\ {\mathbf{u}}_i\end{array}\right]=\left[\begin{array}{c}{A}^{\mathrm{T}}{\mathbf{u}}_i\\ A{\mathbf{v}}_i\end{array}\right]={\sigma }_i\left[\begin{array}{c}{\mathbf{v}}_i\\ {\mathbf{u}}_i\end{array}\right]$$ $$\left[\begin{array}{cc}O& A^{\mathrm{T}}\\ A& O\end{array}\right]\left[\begin{array}{c}{\mathbf{v}}_i\\ -{\mathbf{u}}_i\end{array}\right]=\left[\begin{array}{c}-A^{\mathrm{T}}{\mathbf{u}}_i\\ A{\mathbf{v}}_i\end{array}\right]=-{\sigma }_i\left[\begin{array}{c}{\mathbf{v}}_i\\ -{\mathbf{u}}_i\end{array}\right]$$ 所以${\sigma }_i$是特征值，对应的特征向量是$\left[\begin{array}{c}{\mathbf{v}}_i\\ {\mathbf{u}}_i\end{array}\right]$，$-{\sigma }_i$也是特征值，对应的特征向量是$\left[\begin{array}{c}{\mathbf{v}}_i\\ -{\mathbf{u}}_i\end{array}\right]$。这里有$2r$个特征值。
再考虑$r<i\le n$，显然此时$A{\mathbf{v}}_i=A^{\mathrm{T}}{\mathbf{u}}_i=0$，于是$$\left[\begin{array}{cc}O& A^{\mathrm{T}}\\ A& O\end{array}\right]\left[\begin{array}{c}0\\ {\mathbf{u}}_i\end{array}\right]=\left[\begin{array}{c}{A}^{\mathrm{T}}{\mathbf{u}}_i\\ 0\end{array}\right]=0$$ $$\left[\begin{array}{cc}O& A^{\mathrm{T}}\\ A& O\end{array}\right]\left[\begin{array}{c}{\mathbf{v}}_i\\ 0\end{array}\right]=\left[\begin{array}{c}0\\ A{\mathbf{v}}_i\end{array}\right]=0$$ 所以$0$是特征值，对应的特征向量是$\left[\begin{array}{c}0\\ {\mathbf{u}}_i\end{array}\right]$和$\left[\begin{array}{c}{\mathbf{v}}_i\\ 0\end{array}\right]$。这里有$2(n-r)$个特征值。
设$U_1=\left[\begin{array}{ccc}{\mathbf{u}}_1& \cdots & {\mathbf{u}}_r\end{array}\right],U_2=\left[\begin{array}{ccc}{\mathbf{u}}_{r+1}& \cdots & {\mathbf{u}}_n\end{array}\right],V_1=\left[\begin{array}{ccc}{\mathbf{v}}_1& \cdots & {\mathbf{v}}_r\end{array}\right],V_2=\left[\begin{array}{ccc}{\mathbf{v}}_{r+1}& \cdots & {\mathbf{v}}_n\end{array}\right]$，则$U=\left[\begin{array}{cc}{U}_1& U_2\end{array}\right],V=\left[\begin{array}{cc}{V}_1& V_2\end{array}\right]$，所以谱分解为$$\left[\begin{array}{cc}O& A^{\mathrm{T}}\\ A& O\end{array}\right]=\left[\begin{array}{cccc}{V}_1& V_1& O& V_2\\ U_1& -U_1& U_2& O\end{array}\right]\left[\begin{array}{ccccccccc}{\sigma }_1& & & & & & & & \\ & \ddots & & & & & & & \\ & & {\sigma }_r& & & & & & \\ & & & -{\sigma }_1& & & & & \\ & & & & \ddots & & & & \\ & & & & & -{\sigma }_r& & & \\ & & & & & & 0& & \\ & & & & & & & \ddots & \\ & & & & & & & & 0\end{array}\right]\left[\begin{array}{cc}{V}_1^{\mathrm{T}}& U_1^{\mathrm{T}}\\ V_1^{\mathrm{T}}& -U_1^{\mathrm{T}}\\ O& U_2^{\mathrm{T}}\\ V_2^{\mathrm{T}}& O\end{array}\right]$$ 6.3.4 设矩阵$A=\left[\begin{array}{cc}1& 0\\ -1& 1\end{array}\right]$，考虑单位圆$C=\{\mathbf{v}\in {\mathbb{R}}^2|\Vert \mathbf{v}\Vert =1\}$及其在$A$对应的线性变换$\mathbf{A}$下的像$A(C)=\{A\mathbf{v}\in {\mathbb{R}}^2|\Vert \mathbf{v}\Vert =1\}.$ 1.设$\mathbf{w}\in A(C)$,证明${\mathbf{w}}^{\mathrm{T}}(A{A}^{\mathrm{T}}{)}^{-1}\mathbf{w}=1.$ 证明：
设$\mathbf{w}=A\mathbf{v},\Vert \mathbf{v}\Vert =1$，则${\mathbf{w}}^{\mathrm{T}}(A{A}^{\mathrm{T}}{)}^{-1}\mathbf{w}={\mathbf{v}}^{\mathrm{T}}{A}^{\mathrm{T}}{A}^{-\mathrm{T}}{A}^{-1}A\mathbf{v}={\mathbf{v}}^{\mathrm{T}}\mathbf{v}=1.$ 2.求$A$的奇异值分解$A=U\Sigma V^{\mathrm{T}}.$ 解：
$$A=\left[\begin{array}{cc}\frac{1-\sqrt{5}}{\sqrt{10-2\sqrt{5}}}& \frac{1+\sqrt{5}}{\sqrt{10+2\sqrt{5}}}\\ \frac{2}{\sqrt{10-2\sqrt{5}}}& \frac{2}{\sqrt{10+2\sqrt{5}}}\end{array}\right]\left[\begin{array}{cc}\frac{\sqrt{5}+1}{2}& \\ & \frac{\sqrt{5}-1}{2}\end{array}\right]\left[\begin{array}{cc}\frac{-1-\sqrt{5}}{\sqrt{10+2\sqrt{5}}}& \frac{2}{\sqrt{10+2\sqrt{5}}}\\ \frac{-1+\sqrt{5}}{\sqrt{10+2\sqrt{5}}}& \frac{2}{\sqrt{10-2\sqrt{5}}}\end{array}\right]$$ 3. 注意$V,U$ 为二阶正交矩阵，对应的线性变换是旋转或反射，而 $\Sigma$ 是对角矩阵，对应伸缩变换。从几何上看，曲线$V^{\mathrm{T}}(C),\Sigma V^{\mathrm{T}}(C),U\Sigma V^{\mathrm{T}}(C)$ 分别是什么形状？
解：
圆，椭圆，椭圆。
6.3.5 设矩阵$A$的奇异值分解是$A=U\Sigma V^{\mathrm{T}}.$ 1. 证明$A{A}^{\mathrm{T}}=U(\Sigma {\Sigma }^{\mathrm{T}})U^{\mathrm{T}},A^{\mathrm{T}}A=V({\Sigma }^{\mathrm{T}}\Sigma )V^{\mathrm{T}}$分别是这两个对称矩阵的谱分解，并得到$A{A}^{\mathrm{T}}$和$A^{T}A$的非零特征值相同。
2. 对任意$A$的奇异值$\sigma \ne 0$,设$\mathbf{v}$和$\mathbf{w}$分别是$A^{\mathrm{T}}A$和$A{A}^{\mathrm{T}}$的属于${\sigma }^2$的特征向量，证明$A\mathbf{v}$ 和$A^{\mathrm{T}}\mathbf{w}$分别是$A{A}^{\mathrm{T}}$和$A^{\mathrm{T}}A$的属于${\sigma }^2$的特征向量.
1.
略。
2. 证明：
$A^{\mathrm{T}}A\mathbf{v}={\sigma }^2\mathbf{v}⟹A{A}^{\mathrm{T}}A\mathbf{v}={\sigma }^{2}A\mathbf{v}⟹A\mathbf{v}$是$A{A}^{\mathrm{T}}$属于${\sigma }^2$的特征向量。
$A{A}^{\mathrm{T}}\mathbf{w}={\sigma }^2\mathbf{w}⟹A^{\mathrm{T}}A{A}^{\mathrm{T}}\mathbf{w}={\sigma }^2{A}^{\mathrm{T}}\mathbf{w}⟹A^{\mathrm{T}}\mathbf{w}$是$A^{\mathrm{T}}A$属于${\sigma }^2$的特征向量。
6.3.6 (极分解) 对$n$阶方阵$A$,存在正交矩阵$Q$和对称半正定矩阵$S$,使得$A=QS.$ 分解式$A=QS$称为$A$的极分解. 容易看到，$A=S_1{Q}_1$，即方阵分解为对称半正定矩阵和正交 矩阵的乘积，也存在。
证明：
$A=U\Sigma V^{\mathrm{T}}=U{V}^{\mathrm{T}}V\Sigma V^{\mathrm{T}}$。显然$Q=U{V}^{\mathrm{T}}$是正交矩阵，$S=V\Sigma V^{\mathrm{T}}$是半正定的对称矩阵，所以$A$存在极分解$A=QS$。同理，$A=U\Sigma V^{\mathrm{T}}=U\Sigma U^{\mathrm{T}}U{V}^{\mathrm{T}}$，其中$S_1=U\Sigma U^{\mathrm{T}}$是对称半正定矩阵，$Q_1=U{V}^{\mathrm{T}}$是正交矩阵，所以分解$A=S_1{Q}_1$也存在。
6.3.7 证明矩阵的广义逆唯一。
证明：
由广义逆的性质，有$A{A}^{+}A=A,A^{+}A{A}^{+}=A^{+}$，$A{A}^{+}$和$A^{+}A$均为对称矩阵。设$A$有两个不同的广义逆$X_1,X_2$，则 $$\begin{array}{rl}{X}_1& =X_{1}A{X}_1=X_{1}A{X}_{2}A{X}_1=(X_{1}A{)}^{\mathrm{T}}(X_{2}A{)}^{\mathrm{T}}{X}_1=(X_{2}A{X}_{1}A{)}^{\mathrm{T}}{X}_1=(X_{2}A{)}^{\mathrm{T}}{X}_1\\ & =X_{2}A{X}_1=X_{2}A{X}_{2}A{X}_1=X_2(A{X}_2{)}^{\mathrm{T}}(A{X}_1{)}^{\mathrm{T}}=X_2(A{X}_{1}A{X}_2{)}^{\mathrm{T}}=X_2(A{X}_2{)}^{\mathrm{T}}\\ & =X_{2}A{X}_2\\ & =X_2\end{array}$$ 即$X_1=X_2$，于是矩阵的广义逆唯一。
6.3.8 (谱范数的性质) 证明命题 6.3.7. 矩阵的谱范数满足：
1. $\Vert A\Vert \ge 0$，且$\Vert A\Vert =0$当且仅当$A=O;$ 2. $\Vert kA\Vert =|k|\Vert A\Vert ;$ 3. $\Vert A+B\Vert \le \Vert A\Vert +\Vert B\Vert ;$ 4. $\Vert AB\Vert \le \Vert A\Vert \Vert B\Vert ;$ 5. 如果$U,V$是正交矩阵，则$\Vert UA{V}^{\mathrm{T}}\Vert =\Vert A\Vert .$
1.证明：
$\Vert A\Vert =\underset{\mathbf{x}\ne 0}{\max }\frac{\Vert A\mathbf{x}\Vert }{\Vert \mathbf{x}\Vert }\ge 0$，而$\Vert A\Vert =0⟺\forall \mathbf{x}\ne 0,\Vert A\mathbf{x}\Vert =0⟺\mathcal{N}(A)={\mathbb{R}}^n⟺A=O.$ 2.证明：
$\Vert kA\Vert =\underset{\mathbf{x}\ne 0}{\max }\frac{\Vert kA\mathbf{x}\Vert }{\Vert \mathbf{x}\Vert }=|k|\Vert A\Vert .$ 3.证明：
由谱范数定义， $$\begin{array}{rl}\Vert A+B\Vert & =\underset{\mathbf{x}\ne 0}{\max }\frac{\Vert A\mathbf{x}+B\mathbf{x}\Vert }{\Vert \mathbf{x}\Vert }\\ & \le \underset{\mathbf{x}\ne 0}{\max }\frac{\Vert A\mathbf{x}\Vert +\Vert B\mathbf{x}\Vert }{\Vert \mathbf{x}\Vert }\text{(由三角不等式)}\\ & \le \underset{\mathbf{x}\ne 0}{\max }\frac{\Vert A\mathbf{x}\Vert }{\mathbf{x}}+\underset{\mathbf{x}\ne 0}{\max }\frac{\Vert B\mathbf{x}\Vert }{\mathbf{x}}\text{(因为最大值不一定同时取到)}\\ & =\Vert A\Vert +\Vert B\Vert .\end{array}$$ 即$\Vert A+B\Vert \le \Vert A\Vert +\Vert B\Vert .$ 4.证明：
由谱范数定义， $$\begin{array}{rl}\Vert AB\Vert & =\underset{\mathbf{x}\ne 0}{\max }\frac{\Vert AB\mathbf{x}\Vert }{\Vert \mathbf{x}\Vert }\\ & =\underset{B\mathbf{x}\ne 0}{\max }\frac{\Vert AB\mathbf{x}\Vert }{\Vert B\mathbf{x}\Vert }\frac{\Vert B\mathbf{x}\Vert }{\Vert \mathbf{x}\Vert }\\ & \le \underset{\mathbf{y}\in \mathcal{R}(B),\mathbf{y}\ne 0}{\max }\frac{\Vert A\mathbf{y}\Vert }{\Vert \mathbf{y}\Vert }\underset{\mathbf{x}\ne 0}{\max }\frac{\Vert B\mathbf{x}\Vert }{\Vert \mathbf{x}\Vert }\text{(因为最大值不一定同时取到)}\\ & \le \underset{\mathbf{y}\ne 0}{\max }\frac{\Vert A\mathbf{y}\Vert }{\Vert \mathbf{y}\Vert }\underset{\mathbf{x}\ne 0}{\max }\frac{\Vert B\mathbf{x}\Vert }{\Vert \mathbf{x}\Vert }\text{(因为y的取值范围变大了)}\\ & =\Vert A\Vert \Vert B\Vert .\end{array}$$ 即$\Vert AB\Vert \le \Vert A\Vert \Vert B\Vert .$ 5. 证明：
正交矩阵不改变向量的长度，于是 $$\Vert UA\Vert =\underset{\mathbf{x}\ne 0}{\max }\frac{\Vert UA\mathbf{x}\Vert }{\Vert \mathbf{x}\Vert }=\underset{\mathbf{x}\ne 0}{\max }\frac{\Vert A\mathbf{x}\Vert }{\Vert \mathbf{x}\Vert }=\Vert A\Vert$$ $$\Vert A{V}^{\mathrm{T}}\Vert =\underset{\mathbf{x}\ne 0}{\max }\frac{\Vert A{V}^{\mathrm{T}}\mathbf{x}\Vert }{\Vert \mathbf{x}\Vert }=\underset{\mathbf{x}\ne 0}{\max }\frac{\Vert A{V}^{\mathrm{T}}\mathbf{x}\Vert }{\Vert V^{\mathrm{T}}\mathbf{x}\Vert }=\underset{\mathbf{y}\ne 0}{\max }\frac{\Vert A\mathbf{y}\Vert }{\Vert \mathbf{y}\Vert }=\Vert A\Vert$$ 所以$\Vert UA{V}^{\mathrm{T}}\Vert =\Vert A{V}^{\mathrm{T}}\Vert =\Vert UA\Vert =\Vert A\Vert .$ 6.3.9 证明矩阵任意特征值的绝对值不大于其最大的奇异值。
证明：
${\sigma }_{max}=\underset{\mathbf{x}\ne 0}{\max }\frac{\Vert A\mathbf{x}\Vert }{\Vert \mathbf{x}\Vert }$，而对任意特征值$\lambda$都有$\Vert A\mathbf{v}\Vert =\Vert \lambda \mathbf{v}\Vert =|\lambda |\Vert \mathbf{v}\Vert ⟹|\lambda |=\frac{\Vert A\mathbf{v}\Vert }{\Vert \mathbf{v}\Vert }$，其中$\mathbf{v}$是是对应的特征向量。即$|\lambda |\le {\sigma }_{max}.$ 6.3.10证明或者举出反例。
1. $n$阶方阵$A$为正交矩阵当且仅当它的$n$个奇异值都是1。
2. $n$阶方阵的$n$个奇异值的乘积等于所有特征值的乘积。
3.设$n$阶方阵$A$和$A+I_n$的奇异值分解分别为$A=U\Sigma V^{\mathrm{T}},A+I_n=U(\Sigma +I_n)V^{\mathrm{T}}.$证明$A$是对称矩阵。
4. 如果$n$阶方阵$A$的$n$个奇异值就是它的$n$个特征值，则$A$是对称矩阵。
1.证明:
$A$为正交矩阵$⟺A^{\mathrm{T}}A=A{A}^{\mathrm{T}}=I_n⟺n$个奇异值都是1。
2.
显然不正确，奇异值乘积不小于0，而特征值的乘积可以为任意实数。
3.证明:
$A+I_n=U(\Sigma +I_n)V^{\mathrm{T}}=U\Sigma V^{\mathrm{T}}+U{V}^{\mathrm{T}}⟹U{V}^{\mathrm{T}}=I_n⟹U=V⟹A=U\Sigma U^{\mathrm{T}}⟹A$是对称矩阵。
4.证明:
要证$A$是对称矩阵，只需要证$A-A^{\mathrm{T}}=O$。由Frobenius范数性质可得$\mathrm{trace}(A^{\mathrm{T}}A)=O⟺A=O.$所以 $$\begin{array}{rl}\mathrm{trace}((A-A^{\mathrm{T}}{)}^{\mathrm{T}}(A-A^{\mathrm{T}}))& =\mathrm{trace}(A{A}^{\mathrm{T}}+A^{\mathrm{T}}A-A^2-(A^{\mathrm{T}}{)}^2)\\ & =\mathrm{trace}(A{A}^{\mathrm{T}})+\mathrm{trace}(A^{\mathrm{T}}A)-\mathrm{trace}(A^2)-\mathrm{trace}((A^{\mathrm{T}}{)}^2)\\ & =2\mathrm{trace}(A^{\mathrm{T}}A)-2\mathrm{trace}(A^2)\\ & =2\sum _{i=1}^n{\sigma }_i^2-2\sum _{i=1}^n{\lambda }_i^2\\ & =0\end{array}$$ 于是$A-A^{\mathrm{T}}=O⟹A$是对称矩阵。
6.3.11 (Frobenius范数的性质) 证明命题 6.3.15. 矩阵的Frobenius范数满足：
1. $\Vert A{\Vert }_{\mathrm{F}}\ge 0$，且$\Vert A{\Vert }_{\mathrm{F}}=0$当且仅当$A=O;$ 2. $\Vert kA{\Vert }_{\mathrm{F}}=|k|\Vert A{\Vert }_{\mathrm{F}};$ 3. $\Vert A+B{\Vert }_{\mathrm{F}}\le \Vert A{\Vert }_{\mathrm{F}}+\Vert B{\Vert }_{\mathrm{F}};$ 4. $\Vert AB{\Vert }_{\mathrm{F}}\le \Vert A\Vert \Vert B{\Vert }_{\mathrm{F}},\Vert AB{\Vert }_{\mathrm{F}}\le \Vert A{\Vert }_{\mathrm{F}}\Vert B\Vert ;$ 5. 如果$U,V$是正交矩阵，则$\Vert UA{V}^{\mathrm{T}}{\Vert }_{\mathrm{F}}=\Vert A{\Vert }_{\mathrm{F}}.$ 1. 证明：
由Frobenius范数定义$\Vert A{\Vert }_{\mathrm{F}}=\sqrt{\mathrm{trace}(A^{\mathrm{T}}A)}=\sqrt{\sum _{i=1}^m\sum _{j=1}^n|a_{ij}{|}^2}$立得。
2. 证明：
$\Vert kA{\Vert }_{\mathrm{F}}=\sqrt{k^2\mathrm{trace}(A^{\mathrm{T}}A)}=|k|\sqrt{\mathrm{trace}(A^{\mathrm{T}}A)}=|k|\Vert A{\Vert }_{\mathrm{F}}.$ 3. 证明：
由三角不等式，$\Vert A+B{\Vert }_{\mathrm{F}}=\sqrt{\sum _{i=1}^m\sum _{j=1}^n|a_{ij}+b_{ij}{|}^2}\le \sqrt{\sum _{i=1}^m|a_{ij}{|}^2}+\sqrt{\sum _{j=1}^n|b_{ij}{|}^2}=\Vert A{\Vert }_{\mathrm{F}}+\Vert B{\Vert }_{\mathrm{F}}.$ 4. 证明：
$\Vert A\Vert =\max \frac{\Vert A\mathbf{x}\Vert }{\Vert \mathbf{x}\Vert }⟹\Vert A\Vert \ge \frac{\Vert A\mathbf{x}\Vert }{\Vert \mathbf{x}\Vert }⟹\Vert A\mathbf{x}\Vert \le \Vert A\Vert \Vert \mathbf{x}\Vert .$ 设$B=\left[\begin{array}{cccc}{\mathbf{b}}_1& {\mathbf{b}}_2& \cdots & {\mathbf{b}}_n\end{array}\right]$，则$AB=\left[\begin{array}{cccc}A{\mathbf{b}}_1& A{\mathbf{b}}_2& \cdots & A{\mathbf{b}}_n\end{array}\right]$，由Frobenius范数定义有$\Vert AB{\Vert }_{\mathrm{F}}^2=\sum _{i=1}^n\Vert A{\mathbf{b}}_i{\Vert }^2\le \Vert A{\Vert }^2\sum _{i=1}^n\Vert {\mathbf{b}}_i{\Vert }^2=\Vert A{\Vert }^2\Vert B{\Vert }_{\mathrm{F}}^2.$即$\Vert AB{\Vert }_{\mathrm{F}}\le \Vert A\Vert \Vert B{\Vert }_{\mathrm{F}}.$ 同理，设$A=\left[\begin{array}{c}{\mathbf{a}}_1^{\mathrm{T}}\\ {\mathbf{a}}_2^{\mathrm{T}}\\ ⋮\\ {\mathbf{a}}_n^{\mathrm{T}}\end{array}\right]$可得$\Vert AB{\Vert }_{\mathrm{F}}\le \Vert A{\Vert }_{\mathrm{F}}\Vert B\Vert .$ 5. 证明：
$$\Vert UA{\Vert }_{\mathrm{F}}=\sqrt{\mathrm{trace}(A^{\mathrm{T}}{U}^{\mathrm{T}}UA)}=\sqrt{\mathrm{trace}(A^{\mathrm{T}}A)}=\Vert A{\Vert }_{\mathrm{F}}$$ $$\Vert A{V}^{\mathrm{T}}{\Vert }_{\mathrm{F}}=\sqrt{\mathrm{trace}(V{A}^{\mathrm{T}}A{V}^{\mathrm{T}})}=\sqrt{\mathrm{trace}(V^{\mathrm{T}}V{A}^{\mathrm{T}}A)}=\sqrt{\mathrm{trace}(A^{\mathrm{T}}A)}=\Vert A{\Vert }_{\mathrm{F}}$$ 于是$\Vert UA{V}^{\mathrm{T}}{\Vert }_{\mathrm{F}}=\Vert UA{\Vert }_{\mathrm{F}}=\Vert A{\Vert }_{\mathrm{F}}.$ 6.3.12 证明命题 6.3.16. 对任意矩阵$A$，其Frobenius范数平方$\Vert A{\Vert }_{\mathrm{F}}^2$等于$A$所有奇异值的平方和。因此$\Vert A{\Vert }_{\mathrm{F}}\ge \Vert A\Vert$
证明：
$$\Vert A{\Vert }_{\mathrm{F}}^2=\mathrm{trace}(A^{\mathrm{T}}A)=\sum _{i=1}^n{\sigma }_i^2\ge {\sigma }_{\max }^2=\Vert A{\Vert }^2.$$ 6.3.13 (樊畿迹定理) 对任意$n$阶对称矩阵$A\in {\mathbb{R}}^{n\times n}$ ，假设特征值为${\lambda }_1⩾{\lambda }_2⩾...⩾{\lambda }_n$，对应特征向量为${\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_n$，则$\underset{\begin{array}{c}n\times m\text{矩阵}Q:\\ Q^{\mathrm{T}}Q=I\end{array}}{\max }\mathrm{trace}(Q^{\mathrm{T}}AQ)=\sum _{i=1}^m{\lambda }_i$，且$Q=\left[\begin{array}{cccc}{\mathbf{u}}_1& {\mathbf{u}}_2& \cdots & {\mathbf{u}}_m\end{array}\right]$时取得最大值。
证明：
设$Q=\left[\begin{array}{cccc}{\mathbf{q}}_1& {\mathbf{q}}_2& \cdots & {\mathbf{q}}_m\end{array}\right]$，且列向量两两正交。则$\mathrm{trace}(Q^{\mathrm{T}}AQ)={\mathbf{q}}_1^{\mathrm{T}}A{\mathbf{q}}_1+{\mathbf{q}}_2^{\mathrm{T}}A{\mathbf{q}}_2+\cdots +{\mathbf{q}}_m^{\mathrm{T}}A{\mathbf{q}}_m.$
注意到${\mathbf{q}}_i^{\mathrm{T}}A{\mathbf{q}}_i=\frac{{\mathbf{q}}_i^{\mathrm{T}}A{\mathbf{q}}_i}{{\mathbf{q}}_i^{\mathrm{T}}{\mathbf{q}}_i}$是${\mathbf{q}}_i$关于$A$的Rayleigh商。于是$\underset{{\mathbf{q}}_i^{\mathrm{T}}{\mathbf{q}}_i=1}{\max }{\mathbf{q}}_i^{\mathrm{T}}A{\mathbf{q}}_i={\lambda }_1,\underset{k\le i\le m}{\max }{\mathbf{q}}_i^{\mathrm{T}}A{\mathbf{q}}_i={\lambda }_k$，当且仅当${\mathbf{q}}_i$为对应特征值时取得最大值。
所以$\underset{\begin{array}{c}n\times m\text{矩阵}Q:\\ Q^{\mathrm{T}}Q=I\end{array}}{\max }\mathrm{trace}(Q^{\mathrm{T}}AQ)=\sum _{i=1}^m{\lambda }_i$，当且仅当$Q=\left[\begin{array}{cccc}{\mathbf{u}}_1& {\mathbf{u}}_2& \cdots & {\mathbf{u}}_m\end{array}\right]$时取得最大值。
6.3.14
略。唯一需要注意的是不要浪费时间去算第四问$B$的最佳秩1逼近。这里直接用numpy进行奇异值分解后计算秩一逼近 $$B_1={\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^{\mathrm{T}}=\left[\begin{array}{cccc}-1.7910& -0.2283& -0.1528& 2.1722\\ -9.0413& -1.1528& -0.7716& 10.9658\end{array}\right]$$ 可以看到秩一逼近已经很接近真实值了。
6.3.15 考虑子空间$\mathcal{M},\mathcal{N}$,其对应的正交投影矩阵为$P,Q.$我们想要研究矩阵 $$H=P{\left(P+Q\right)}^{+}Q+Q{\left(P+Q\right)}^{+}P.$$
1.计算$(P+Q)(P+Q{)}^{+}$的列空间和零空间，该矩阵是否为一个正交投影矩阵？
2.计算${\left(P+Q\right)}^{+}\left(P+Q\right)$的列空间和零空间，该矩阵是否为一个正交投影矩阵？和前一矩阵有何关联？
3.证明$Q(P+Q{)}^{+}(P+Q)=Q,(P+Q)(P+Q{)}^{+}Q=Q.$
4.证明$H=2P(P+Q{)}^{+}Q=2Q(P+Q{)}^{+}P.$
5.假设$T$是 $\mathcal{M}\cap \mathcal{N}$上的正交投影矩阵，证明$HP=HQ=HT=H.$
6.证明$HT=T.$
于是$H=T$,由此即得$\mathcal{M}\cap \mathcal{N}$的正交投影矩阵的表达式。
1.解：
设$P+Q=A$，由广义逆性质可知$A{A}^{+}=U_r{U}_r^{\mathrm{T}}$，其中$U_r$是$\mathcal{R}(A)$的一组标准正交基，于是$\mathcal{R}(A{A}^{+})=\mathcal{R}(A)=\mathcal{R}(P+Q)$。同理可得$\mathcal{N}(A{A}^{+})=\mathcal{N}(P+Q)$。
接下来我们将证明，$\mathcal{R}(P+Q)=\mathcal{M}+\mathcal{N},\mathcal{N}(P+Q)=(\mathcal{M}+\mathcal{N}{)}^{\perp }$。
对$\forall \mathbf{x}\in \mathcal{N}(P+Q),(P+Q)\mathbf{x}=0⟹P\mathbf{x}+Q\mathbf{x}=0⟹P\mathbf{x}=-Q\mathbf{x}$。而$P$是$\mathcal{M}$的正交投影矩阵，$Q$是$\mathcal{N}$的正交投影矩阵，$P\mathbf{x}\in \mathcal{M},Q\mathbf{x}\in \mathcal{N}$，这说明$\forall \mathbf{x}\in \mathcal{N}(P+Q),P\mathbf{x}\in \mathcal{M}\cap \mathcal{N},Q\mathbf{x}\in \mathcal{M}\cap \mathcal{N}$。
设$\mathcal{M}\cap \mathcal{N}$的正交投影矩阵是$T$，则$$PT=QT=T=T^{\mathrm{T}}=(PT{)}^{\mathrm{T}}=(QT{)}^{\mathrm{T}}=TP=TQ$$于是 $$\begin{array}{rl}P\mathbf{x}=-Q\mathbf{x}& ⟹TP\mathbf{x}=-TQ\mathbf{x}\\ & ⟹T\mathbf{x}=-T\mathbf{x}\\ & ⟹T\mathbf{x}=0\\ & ⟹TP\mathbf{x}=TQ\mathbf{x}=0\end{array}$$ 又因为$P\mathbf{x}\in \mathcal{M}\cap \mathcal{N},Q\mathbf{x}\in \mathcal{M}\cap \mathcal{N}$，且$T$是$\mathcal{M}\cap \mathcal{N}$的正交投影矩阵，所以$TP\mathbf{x}=P\mathbf{x}=0,TQ\mathbf{x}=Q\mathbf{x}=0⟹\mathcal{N}(P+Q)\subseteq \mathcal{N}(P)\cap \mathcal{N}(Q)$。显然$\mathcal{N}(P)\cap \mathcal{N}(Q)\subseteq \mathcal{N}(P+Q)$也成立，于是$\mathcal{N}(P+Q)=\mathcal{N}(P)\cap \mathcal{N}(Q)={\mathcal{M}}^{\perp }\cap {\mathcal{N}}^{\perp }.$ 由De Morgan定律 (见练习3.3.8)，${\mathcal{M}}^{\perp }\cap {\mathcal{N}}^{\perp }=(\mathcal{M}+\mathcal{N}{)}^{\perp }$，即$\mathcal{N}(A{A}^{+})=\mathcal{N}(P+Q)={\mathcal{M}}^{\perp }\cap {\mathcal{N}}^{\perp }=(\mathcal{M}+\mathcal{N}{)}^{\perp }$。由正交补的性质可得，$\mathcal{R}(A{A}^{+})=\mathcal{R}(P+Q)=\mathcal{M}+\mathcal{N}.$ $(A{A}^{+}{)}^2=(A{A}^{+}{)}^{\mathrm{T}}=A{A}^{+}$，所以$A{A}^{+}$是正交投影矩阵。
2.解：
设$P+Q=A$，由于$A$是对称矩阵，由广义逆性质和前面讨论可知$A{A}^{+}$和$A^{+}A$有相同的零空间和列空间。即$\mathcal{R}(A^{+}A)=\mathcal{R}(P+Q)=\mathcal{M}+\mathcal{N},\mathcal{N}(A{A}^{+})=\mathcal{N}(P+Q)=(\mathcal{M}+\mathcal{N}{)}^{\perp }.$ $(A^{+}A{)}^2=(A^{+}A{)}^{\mathrm{T}}=A^{+}A$，所以$A{A}^{+}$是正交投影矩阵，且$A^{+}A=A{A}^{+}.$ 3.证明：
由前面讨论可知，$A{A}^{+}=A^{+}A$是$\mathcal{M}+\mathcal{N}$上的正交投影矩阵，而$\mathcal{R}(Q)\subseteq \mathcal{M}+\mathcal{N}$，所以$A{A}^{+}Q=Q$，等号两侧取转置立得$Q{A}^{+}A=Q.$ 4.证明：
由第(3)小问结论 $$Q=Q(P+Q{)}^{+}(P+Q)=Q(P+Q{)}^{+}P+Q(P+Q{)}^{+}Q$$ $$Q=(P+Q)(P+Q{)}^{+}Q=P(P+Q{)}^{+}Q+Q(P+Q{)}^{+}Q$$ 于是$Q(P+Q{)}^{+}P=P(P+Q{)}^{+}Q⟹H=2P(P+Q{)}^{+}Q=2Q(P+Q{)}^{+}P.$ 5.证明：
$$HP=2Q(P+Q{)}^{+}{P}^2=2Q(P+Q{)}^{+}P=H.$$ $$HQ=2P(P+Q{)}^{+}{Q}^2=2P(P+Q{)}^{+}Q=H.$$ 由De Morgan定律 (见练习3.3.8)，$(\mathcal{M}\cap \mathcal{N}{)}^{\perp }={\mathcal{M}}^{\perp }+{\mathcal{N}}^{\perp }$。设$P_{(\mathcal{M}\cap \mathcal{N}{)}^{\perp }}$表示$(\mathcal{M}\cap \mathcal{N}{)}^{\perp }$上的正交投影矩阵，$P_{{\mathcal{M}}^{\perp }},P_{{\mathcal{N}}^{\perp }}$分别表示${\mathcal{M}}^{\perp },{\mathcal{N}}^{\perp }$上的正交投影矩阵，则$$T=P_{\mathcal{M}\cap \mathcal{N}}=I-P_{(\mathcal{M}\cap \mathcal{N}{)}^{\perp }}=I-P_{{\mathcal{M}}^{\perp }+{\mathcal{N}}^{\perp }}$$ 设$B=P_{{\mathcal{M}}^{\perp }}+P_{{\mathcal{N}}^{\perp }}=I-P+I-Q=2I-P-Q$。由第(2)问结论可得$P_{{\mathcal{M}}^{\perp }+{\mathcal{N}}^{\perp }}=B{B}^{+}$，即$B{B}^{+}$是$\mathcal{R}(B)={\mathcal{M}}^{\perp }+{\mathcal{N}}^{\perp }$上的正交投影矩阵。因此 $$\begin{array}{rl}HT& =H(I-P_{{\mathcal{M}}^{\perp }+{\mathcal{N}}^{\perp }})\\ & =H(I-B{B}^{+})\\ & =H-HB{B}^{+}\\ & =H-H(2I-P-Q)B^{+}\\ & =H-(2H-H-H)B^{+}\\ & =H\end{array}$$ 6.证明：
考虑矩阵$HT-T$的零空间。设$\mathbf{x}\in {\mathbb{R}}^n$，分两种情况讨论：
(a)若$\mathbf{x}\in (\mathcal{M}\cap \mathcal{N}{)}^{\perp }$，
$(HT-T)\mathbf{x}=HT\mathbf{x}-T\mathbf{x}=0-0=0$。所以$(\mathcal{M}\cap \mathcal{N}{)}^{\perp }\subseteq \mathcal{N}(HT-T)$。
(b)若$\mathbf{x}\in (\mathcal{M}\cap \mathcal{N})$，
则 $$\begin{array}{rl}(HT-T)\mathbf{x}& =H\mathbf{x}-\mathbf{x}\\ & =P{\left(P+Q\right)}^{+}Q\mathbf{x}+Q{\left(P+Q\right)}^{+}P\mathbf{x}-\mathbf{x}\\ & =P{\left(P+Q\right)}^{+}\mathbf{x}+Q{\left(P+Q\right)}^{+}\mathbf{x}-\mathbf{x}\\ & =(P+Q){\left(P+Q\right)}^{+}\mathbf{x}-\mathbf{x}\\ & =A{A}^{+}\mathbf{x}-\mathbf{x}\end{array}$$ 注意到$A{A}^{+}$是$\mathcal{M}+\mathcal{N}$上的正交投影矩阵，而$\mathbf{x}\in (\mathcal{M}\cap \mathcal{N})\subseteq (\mathcal{M}+\mathcal{N})$，于是$A{A}^{+}\mathbf{x}-\mathbf{x}=\mathbf{x}-\mathbf{x}=0$。即$(\mathcal{M}\cap \mathcal{N})\subseteq \mathcal{N}(HT-T)$。
这表明$\mathcal{N}(HT-T)={\mathbb{R}}^n⟺HT-T=O⟺HT=T.$