6.2 正定矩阵

6.2.1-3

$\\$ 略。$\\$

6.2.4 $\quad$ 设$A$对称正定，$B$是实矩阵。$\\$ 1. 证明，对任意整数，$A^k$也正定。$\\$ 2. 若存在正整数$r$，使得$A^rB=BA^r$，证明$AB=BA.\\$

1. 证明：$\\$ 显然$A$有谱分解$A=Q\varLambda Q^{\mathrm{T}}$，则$A^k=Q\varLambda^k Q^{\mathrm{T}}$。而$\varLambda \gt 0 \implies \varLambda^k \gt 0$，所以$A^k$也正定。$\\$ 2. 证明：$\\$ 因为$A$对称正定，所以存在正交矩阵$Q$，使$QAQ^{\mathrm{T}}=\varLambda=\begin{bmatrix} \lambda_1 I&&\\ &\ddots&\\ &&\lambda_n I \end{bmatrix}$，其中$\lambda_1,\lambda_2,\cdots,\lambda_n$均为正数且互不相等。于是 $$A^rB=BA^r\implies Q^{\mathrm{T}}\varLambda^rQB=BQ^{\mathrm{T}}\varLambda^rQ \implies \varLambda^r QBQ^{\mathrm{T}}=QBQ^{\mathrm{T}}\varLambda^r$$ 这说明$QBQ^{\mathrm{T}}$与$\varLambda^r$可交换。所以$QBQ^{\mathrm{T}}=\begin{bmatrix} B_{11}&&&\\ &B_{22}&&\\ &&\ddots&\\ &&&B_{nn} \end{bmatrix}$，显然其与$\varLambda$也可交换。于是 $$AB=Q^{\mathrm{T}}\varLambda QB=Q^{\mathrm{T}}\varLambda QBQ^{\mathrm{T}}Q=Q^{\mathrm{T}}QBQ^{\mathrm{T}}\varLambda Q=BQ^{\mathrm{T}}\varLambda Q=BA.$$

6.2.5 $\quad$ 对$n$阶实对称矩阵$A$，证明，当实数$t$充分大时，$tI_n+A$正定。

$\\$ 证明：$\\$ $$\bm{x}^{\mathrm{T}}(tI_n+A)\bm{x}=t\bm{x}^{\mathrm{T}}\bm{x}+\bm{x}^{\mathrm{T}}A\bm{x}=t\Vert \bm{x} \Vert + \bm{x}^{\mathrm{T}}A\bm{x}$$显然当$t$充分大时，$t\Vert \bm{x} \Vert + \bm{x}^{\mathrm{T}}A\bm{x} \gt 0$对任意$\bm{x}\neq \bm{0}$都成立，所以$tI_n+A$正定。$\\$

6.2.6 $\quad$ 对$n$阶实对称矩阵$A$，证明，存在正实数$c$，使得对任意$\bm{x}\in\mathbb{R}^n$，都有$\vert\bm{x}^{\mathrm{T}}A\bm{x}\vert\leq c \bm{x}^{\mathrm{T}}\bm{x}.\\$

证明：$\\$ $\vert\bm{x}^{\mathrm{T}}A\bm{x}\vert\leq c \bm{x}^{\mathrm{T}}\bm{x} \implies \cfrac{\vert\bm{x}^{\mathrm{T}}A\bm{x}\vert}{\bm{x}^{\mathrm{T}}\bm{x}} \leq c$。显然只需要$c \geq {\vert\lambda\vert}_{\max}$即可。$\\$

6.2.7 $\quad$ (Hadamard不等式) 给定$n$阶对称正定矩阵$A$，求证：

$\\$

1.对任意$\bm{y}$，$\det(\begin{bmatrix} A&\bm{y}\\ \bm{y}^{\mathrm{T}}&0 \end{bmatrix})\leq 0;\\$

证明：$\\$ 显然$A$可逆，于是$\begin{vmatrix} A&\bm{y}\\ \bm{y}^{\mathrm{T}}&0\\ \end{vmatrix} = \begin{vmatrix} A&\bm{0}\\ \bm{y}^{\mathrm{T}}&-\bm{y}^{\mathrm{T}}A^{-1}\bm{y} \end{vmatrix} = -(\bm{y}^{\mathrm{T}}A^{-1}\bm{y}) \det(A)$，而$A^{-1}$显然也正定，即对任意$\bm{y}$，$\bm{y}^{\mathrm{T}}A^{-1}\bm{y} \geq 0$，等号成立当且仅当$\bm{y}=\bm{0}$。而$\det(A) \gt 0$，所以对任意$\bm{y}$，$\det(\begin{bmatrix} A&\bm{y}\\ \bm{y}^{\mathrm{T}}&0 \end{bmatrix})\leq 0 \\$

2.记$A=\begin{bmatrix} a_{ij} \end{bmatrix}$，则$\det(A)\leq a_{nn}\det(A_{n-1})$，其中$A_{n-1}$是$A$的$n-1$阶顺序主子阵；$\\$

证明：$\\$ 显然$A_{n-1}$可逆，于是 $$\det(A)=\begin{vmatrix} A_{n-1}&\bm{a}\\ \bm{a}^{\mathrm{T}}&a_{nn}\\ \end{vmatrix} = \begin{vmatrix} A&\bm{0}\\ \bm{a}^{\mathrm{T}}&a_{nn}-\bm{a}^{\mathrm{T}}A_{n-1}^{-1}\bm{a} \end{vmatrix} = (a_{nn}-\bm{a}^{\mathrm{T}}A_{n-1}^{-1}\bm{a}) \det(A_{n-1})$$ 显然$\bm{a}^{\mathrm{T}}A_{n-1}^{-1}\bm{a} \geq 0$对任意$\bm{a}$成立，所以$\det(A)\leq a_{nn}\det(A_{n-1})$。$\\$

3.$\det(A) \leq a_{11}a_{22}\cdots a_{nn}.\\$

证明：$\\$ 由上面结论立得。$\\$

利用上述结论证明：如果实矩阵$T=\begin{bmatrix} t_{ij} \end{bmatrix}$可逆，那么$\det(T)^2\leq\overset{n}{\underset{i=1}{\prod}}(t^2_{1i}+t^2_{2i}+\cdots+t^2_{ni}).\\$

证明：$\\$ $\det(T)^2=\det(T^{\mathrm{T}}T)$，而矩阵$T^{\mathrm{T}}T$显然正定，且其第$i$行第$i$列的对角元为$t_{1i}^2+t_{2i}^2+\cdots+t_{ni}^2$。由上述结论得$\det(T)^2\leq\overset{n}{\underset{i=1}{\prod}}(t^2_{1i}+t^2_{2i}+\cdots+t^2_{ni}).\\$

6.2.8 $\quad$ 证明$A=\begin{bmatrix} \cfrac{1}{i+j} \end{bmatrix}_{n \times n}$正定。

$\\$ 证明：$\\$

法一：

$\\$ 注意到$$\cfrac{1}{i+j}=\int_0^1t^{i+j-1}dt$$ 设$\bm{x}=\begin{bmatrix} x_1\\ x_2\\ \vdots\\ x_n \end{bmatrix}$，则 $$\bm{x}^{\mathrm{T}}A\bm{x}=\sum_{\substack{1 \leq i \leq n\\1 \leq j \leq n}}\cfrac{x_ix_j}{i+j}=\int_0^1 t(\sum_{\substack{1 \leq i \leq n\\1 \leq j \leq n}}x_ix_jt^{i+j-2})=\int_0^1 t(x_1+x_2t+\cdots+x_nt^{n-1})^2 dt$$ 显然对任意$\bm{x}\neq\bm{0}$，$\bm{x}^{\mathrm{T}}A\bm{x} \gt 0$恒成立 $\implies$ $A$正定。$\\$

法二：

$\\$ 设$A_n=\begin{bmatrix} \cfrac{1}{i+j} \end{bmatrix}_{n \times n}$，于是 $$\begin{align*} \det(A_n)&=\begin{vmatrix} \cfrac{1}{1+1}&\cfrac{1}{1+2}&\cdots&\cfrac{1}{1+n}\\ \cfrac{1}{2+1}&\cfrac{1}{2+2}&\cdots&\cfrac{1}{2+n}\\ \vdots&\vdots&&\vdots\\ \cfrac{1}{n+1}&\cfrac{1}{n+2}&\cdots&\cfrac{1}{n+n}\\ \end{vmatrix}\\ &= \begin{vmatrix} \cfrac{n-1}{(1+1)(n+1)}&\cfrac{n-1}{(1+2)(n+2)}&\cdots&\cfrac{n-1}{(1+n)(n+n)}\\ \cfrac{n-2}{(2+1)(n+1)}&\cfrac{n-2}{(2+2)(n+2)}&\cdots&\cfrac{n-2}{(2+n)(n+n)}\\ \vdots&\vdots&&\vdots\\ \cfrac{1}{n+1}&\cfrac{1}{n+2}&\cdots&\cfrac{1}{n+n}\\ \end{vmatrix}\\ &= \prod_{1 \leq i \leq n}\cfrac{1}{n+i} \prod_{1 \leq i \lt n} (n-i) \begin{vmatrix} \cfrac{1}{1+1}&\cfrac{1}{1+2}&\cdots&\cfrac{1}{1+n}\\ \cfrac{1}{2+1}&\cfrac{1}{2+2}&\cdots&\cfrac{1}{2+n}\\ \vdots&\vdots&&\vdots\\ 1&1&\cdots&1\\ \end{vmatrix}\\ &= \prod_{1 \leq i \leq n}\cfrac{1}{n+i} \prod_{1 \leq i \lt n} (n-i) \begin{vmatrix} \cfrac{n-1}{(1+1)(1+n)}&\cfrac{n-2}{(1+2)(1+n)}&\cdots&\cfrac{1}{1+n}\\ \cfrac{n-1}{(2+1)(2+n)}&\cfrac{n-2}{(2+2)(2+n)}&\cdots&\cfrac{1}{2+n}\\ \vdots&\vdots&&\vdots\\ 0&0&\cdots&1\\ \end{vmatrix}\\ &= \cfrac{\displaystyle\prod_{1 \leq i \lt n} (n-i)}{\displaystyle\prod_{1 \leq i \leq n}(n+i)} \begin{vmatrix} \cfrac{n-1}{(1+1)(1+n)}&\cfrac{n-2}{(1+2)(1+n)}&\cdots&\cfrac{n-(n-1)}{(1+n-1)(1+n)}\\ \cfrac{n-1}{(2+1)(2+n)}&\cfrac{n-2}{(2+2)(2+n)}&\cdots&\cfrac{n-(n-1)}{(2+n-1)(2+n)}\\ \vdots&\vdots&&\vdots\\ \cfrac{n-1}{(n-1+1)(n-1+n)}&\cfrac{n-2}{(n-1+2)(n-1+n)}&\cdots&\cfrac{n-(n-1)}{(n-1+n-1)(n-1+n)}\\ \end{vmatrix}\\ &= \cfrac{\displaystyle\prod_{1 \leq i \lt n} (n-i)^2}{\displaystyle\prod_{1 \leq i \leq n}(n+i)\displaystyle\prod_{1 \leq i \lt n}(i+n)} \begin{vmatrix} \cfrac{1}{1+1}&\cfrac{1}{1+2}&\cdots&\cfrac{1}{1+n-1}\\ \cfrac{1}{2+1}&\cfrac{1}{2+2}&\cdots&\cfrac{1}{2+n-1}\\ \vdots&\vdots&&\vdots\\ \cfrac{1}{n-1+1}&\cfrac{1}{n-1+2}&\cdots&\cfrac{1}{n-1+n-1}\\ \end{vmatrix}\\ &=\cfrac{\displaystyle\prod_{1 \leq i \lt n} (n-i)^2}{(n+n) \displaystyle\prod_{1 \leq i \lt n}(n+i)\displaystyle\prod_{1 \leq i \lt n}(i+n)} A_{n-1} \end{align*}$$ 而$A_1=\frac{1}{2}$，于是$\det(A_n)=\displaystyle\prod_{1\leq i \lt j \leq n}(i-j)^2 \displaystyle\prod_{\substack{1\leq i \leq n\\1\leq j \leq n}}\cfrac{1}{(i+j)}$，显然任意顺序主子式都为正，所以$A$正定。$\\$

6.2.9 $\quad$ 证明Hilbert矩阵$H_n=\begin{bmatrix} \cfrac{1}{i+j-1} \end{bmatrix}_{n \times n}$正定。

$\\$ 证明：$\\$ 与6.2.8类似，也有两种方法。$\\$

法一：

$\\$ 注意到$\cfrac{1}{i+j-1}=\displaystyle\int_0^1t^{i+j-2}dt$， 设$\bm{x}=\begin{bmatrix} x_1\\ x_2\\ \vdots\\ x_n \end{bmatrix}$，则 $$\bm{x}^{\mathrm{T}}A\bm{x}=\sum_{\substack{1 \leq i \leq n\\1 \leq j \leq n}}\cfrac{x_ix_j}{i+j-1}=\int_0^1 (\sum_{\substack{1 \leq i \leq n\\1 \leq j \leq n}}x_ix_jt^{i+j-2})=\int_0^1 (x_1+x_2t+\cdots+x_nt^{n-1})^2 dt$$ 显然对任意$\bm{x}\neq\bm{0}$，$\bm{x}^{\mathrm{T}}A\bm{x} \gt 0$恒成立 $\implies$ $A$正定。$\\$

法二：

$\\$ 法二与6.2.8中法二几乎完全一致，故从略。$\\$

6.2.10 $\quad$ 设$A,B$是实对称矩阵，如果$A-B$正定，则记作$A\succ B$。求证：$\\$ 1.$A\succ B,B\succ C$可以推出 $A\succ C.\\$ 2.$A\succ B$和$B\succ A$不可能同时成立。$\\$ 3.对任意实对称矩阵$A$,都存在实数$k_1,k_2$使得$k_1I_n\succ A\succ k_2I_n.\\$

1. 证明：$\\$ $A-B$正定$\implies$ 对任意$\bm{x}\neq\bm{0}, \bm{x}^{\mathrm{T}}(A-B)\bm{x}$。$\\$ $B-C$正定$\implies$ 对任意$\bm{x}\neq\bm{0}, \bm{x}^{\mathrm{T}}(B-C)\bm{x}$。$\\$ 两式相加立得$\bm{x}^{\mathrm{T}}(A-C)\bm{x}$，所以$A-C$正定，即$A \succ C.\\$ 2. 证明：$\\$ 假设同时成立，则$\begin{cases} \bm{x}^{\mathrm{T}}(A-B)\bm{x} \gt 0\\ \bm{x}^{\mathrm{T}}(B-A)\bm{x} \gt 0 \end{cases}$，两式相加得$\bm{x}^{\mathrm{T}}(A-B+B-A)\bm{x}=0 \gt 0$，矛盾。所以$A\succ B$和$B\succ A$不可能同时成立。$\\$ 3. 证明：$\\$ 先证存在实数$k_1$使得$k_1I_n\succ A$，即$(k_1I_n-A)$正定。$\\$ 对任意非零向量$\bm{x}$，$\bm{x}^{\mathrm{T}}(k_1I_n-A)\bm{x}=k_1\bm{x}^{\mathrm{T}}\bm{x}-\bm{x}^{\mathrm{T}}A\bm{x}\geq k_1\bm{x}^{\mathrm{T}}\bm{x}-\lambda_{\max}\bm{x}^{\mathrm{T}}\bm{x}$。显然当$k_1$足够大时，上式大于0对任意非零向量$\bm{x}$均成立。于是存在实数$k_1$使得$k_1I_n\succ A$。$\\$ 同理可得存在足够小的实数$k_2$使得$A\succ k_2I_n$。$\\$

6.2.11 $\quad$ 举例说明，实对称矩阵$A$的所有顺序主子式都非负，但$A$并不半正定.

$\\$ 解：$\\$ $\begin{bmatrix} 0&0\\ 0&-1 \end{bmatrix}$所有顺序主子式都为0，但不半正定。$\\$

6.2.12 $\quad$ 证明命题 6.2.4. 对实对称矩阵$A$，以下叙述等价：$\\$ 1. $A$半正定。$\\$2. $A$的特征值都是非负数。$\\$3. 存在列满秩矩阵$T$，使得$A=TT^{\mathrm{T}}$。$\\$4. $A$存在$LDL^{\mathrm{T}}$分解，且$D$的对角元都是非负数。$\\$

证明：$\\$ 采用轮转证法。$\\$ $1 \implies 2 \quad$ 任取$A$的一个特征向量$\bm{x}$，则$\bm{x}^{\mathrm{T}}A\bm{x}=\lambda\bm{x}^{\mathrm{T}}\bm{x}\geq 0$，于是$\lambda\geq 0.\\$ $2 \implies 3 \quad$设$A=Q\varLambda Q^{\mathrm{T}}$，其中$\varLambda=\operatorname{diag}(\lambda_1,\cdots,\lambda_r,0,\cdots,0)$。因为$\varLambda$对角元非负，所以设$\varLambda=D^2$，则$A=(QD)(QD)^{\mathrm{T}}=\begin{bmatrix} \sqrt{\lambda_1}\bm{q}_1&\cdots&\sqrt{\lambda_r}\bm{q}_r&\bm{0}&\cdots&\bm{0} \end{bmatrix} \begin{bmatrix} \sqrt{\lambda_1}\bm{q}_1^{\mathrm{T}}\\ \vdots\\ \sqrt{\lambda_r}\bm{q}_r^{\mathrm{T}}\\ \bm{0}^{\mathrm{T}} \\ \vdots\\ \bm{0}^{\mathrm{T}} \end{bmatrix}$，设$T=\begin{bmatrix} \sqrt{\lambda_1}\bm{q}_1&\cdots&\sqrt{\lambda_r}\bm{q}_r \end{bmatrix}$，显然$T$列满秩且$A=TT^{\mathrm{T}}.\\$ $3 \implies 4 \quad$设$T^{\mathrm{T}}$的QR分解为$Q\widetilde{L}^{\mathrm{T}}$，其中$Q$是列正交矩阵，$\widetilde{L}$是下三角矩阵。于是 $A=TT^{\mathrm{T}}=\widetilde{L}Q^{\mathrm{T}}Q\widetilde{L}^{\mathrm{T}}=\widetilde{L}\widetilde{L}^{\mathrm{T}}$，令$\widetilde{L}=L\widetilde{D}$，其中$\widetilde{L}$是单位下三角阵，$\widetilde{D}$是对角阵则$A=\widetilde{L}\widetilde{L}^{\mathrm{T}}=L\widetilde{D}^2L^{\mathrm{T}}$，令$D=\widetilde{D}^2$立得。 $\\$ $4 \implies 1 \quad$ $\bm{x}^{\mathrm{T}}A\bm{x}=(L^{\mathrm{T}}\bm{x})^{\mathrm{T}}D(L^{\mathrm{T}}\bm{x})\geq 0.\\$

6.2.13 $\quad$ 证明，实对称矩阵半正定，当且仅当它的所有主子式都非负，其中主子式的定义见练习 4.3.22.

$\\$ 证明：$\\$

法一：

$\\$ 先证：实对称矩阵$A$半正定$\implies$ $A$所有主子式都非负。$\\$ 显然，$A$的某个$k$阶主子阵可表示为$P^{\mathrm{T}}AP, P=\begin{bmatrix} \bm{e}_{i_1}&\bm{e}_{i_2}&\cdots&\bm{e}_{i_k} \end{bmatrix}$，其中$i_1 \lt i_2 \lt \cdots \lt i_k$，$\bm{e}_i$是标准基。于是对任意$\bm{x}\neq\bm{0}$，都有$\bm{x}^{\mathrm{T}}P^{\mathrm{T}}AP\bm{x}=(P\bm{x})^{\mathrm{T}}A(P\bm{x})\geq 0 \implies$所有主子阵都半正定$\implies A$所有主子式都非负。$\\$ 再证：实对称矩阵$A$所有主子式都非负$\implies$ $A$半正定。$\\$ 用数学归纳法，按照阶数归纳。$\\$ 阶数$n=1$时显然成立。现假设阶数小于$n$时命题成立，考虑$n$阶实对称矩阵$A$。分两种情况讨论：$\\$ (a)若$\operatorname{rank}(A) \lt n$。$\\$设$\bm{x}_1,\cdots,\bm{x}_{n-r}$是$\mathcal{N}(A)$的一组基。逐一考虑标准基$\bm{e}_1,\cdots,\bm{e}_n$，若$\bm{e}_i$与$\bm{x}_1,\cdots,\bm{x}_{n-r}$线性无关，则将其加入基中。这样可以得到$\mathbb{R}^{n}$的一组基$(\bm{e}_{i_1},\cdots,\bm{e}_{i_r},\bm{x}_1,\cdots,\bm{x}_{n-r})$，其中$i_1 \lt i_2 \lt \cdots \lt i_k$。设$X=\begin{bmatrix} \bm{e}_{i_1}&\cdots&\bm{e}_{i_r}&\bm{x}_1&\cdots&\bm{x}_{n-r} \end{bmatrix}$，则$X^{\mathrm{T}}AX=\begin{bmatrix} C_{r \times r}&O\\ O&O \end{bmatrix}.\\$ 因为$C$是$A$的一个主子阵，且$A$所有主子式都非负，所以$C$所有主子式也都非负。根据归纳假设，$C$半正定，于是$X^{\mathrm{T}}AX$也半正定，而合同变换不改变正定性，所以$A$也半正定。$\\$ 这说明若阶数小于$n$时成立，矩阵阶数为$n$时也成立，于是$n \geq 1$时命题均成立。$\\$ (b)若$\operatorname{rank}(A)=n$。$\\$ 显然此时$\det(A) \gt 0$，这说明$A$只可能有0个或偶数个负数特征值。$\\$ 根据归纳假设，$A$的$n-1$阶顺序主子阵$A_{n-1}$半正定。假设$A$有偶数个负数特征值，任意取其中两个负特征值$\lambda_i,\lambda_j$，对应的特征向量是$\bm{x},\bm{y}$，注意$\bm{x}^{\mathrm{T}}\bm{y}=\bm{y}^{\mathrm{T}}\bm{x}=0.\\$ 设$\bm{u}=\alpha\bm{x}+\beta\bm{y}$，存在一组$\alpha,\beta$使得$\bm{u}$的最后一个元素是为0，但$\bm{u}\neq\bm{0}$。即$\bm{u}=\begin{bmatrix} \bm{u}_1\\ 0 \end{bmatrix},\bm{u}_1\neq\bm{0}$。于是 $$\begin{align*} \bm{u}^{\mathrm{T}}A\bm{u}&=\bm{u}_1^{\mathrm{T}}A_{n-1}\bm{u}_1 \\ &=(\alpha\bm{x}+\beta\bm{y})^{\mathrm{T}}A(\alpha\bm{x}+\beta\bm{y})\\ &= \alpha^2\lambda_i\bm{x}^{\mathrm{T}}\bm{x}+\alpha\beta\lambda_j\bm{x}^{\mathrm{T}}\bm{y}+\alpha\beta\lambda_i\bm{y}^{\mathrm{T}}\bm{x}+\beta^2\lambda_j\bm{y}^{\mathrm{T}}\bm{y}\\ &= \alpha^2\lambda_i\bm{x}^{\mathrm{T}}\bm{x}+\beta^2\lambda_j\bm{y}^{\mathrm{T}}\bm{y}\\ & \lt 0 \end{align*}$$ 即存在$\bm{u}_1$使得$\bm{u}_1^{\mathrm{T}}A_{n-1}\bm{u}_1 \lt 0$，这与归纳假设相矛盾。所以$A$没有负数特征值$\implies$ $A$半正定。$\\$ 这说明若阶数小于$n$时成立，矩阵阶数为$n$时也成立，于是$n \geq 1$时命题均成立。$\\$

法二：

$\\$ 先证：实对称矩阵$A$半正定$\implies$ $A$所有主子式都非负。$\\$ 考虑矩阵$A+\epsilon I$，其中$\epsilon$是任意小的正实数。于是对任意$\bm{x}\neq\bm{0}$，有$\bm{x}^{\mathrm{T}}(A+\epsilon I)\bm{x}=\bm{x}^{\mathrm{T}}A\bm{x}+\epsilon\bm{x}^{\mathrm{T}}\bm{x} \gt 0 \implies A+\epsilon I$正定$\implies A+\epsilon I$的任意$k$阶主子式$\det(A_k+\epsilon I) \gt 0$。而$\det(A_k+\epsilon I)$是关于$\epsilon$的连续函数，所以$\det(A_k)\geq 0$，即$A$所有主子式都非负。$\\$ 再证：实对称矩阵$A$所有主子式都非负$\implies$ $A$半正定。$\\$ 设$A_k$是$A$的任一$k$阶主子阵，$\det(A_k)\geq 0$。$\\$ 考虑矩阵$A+\epsilon I$，其中$\epsilon$是任意小的正实数。其任一$k$阶主子式为$\det(A_k+\epsilon I_k)$。设$\lambda$是$A_k$的特征值，则$\det(A_k-\lambda I_k)=0 \implies \det(A_k+\epsilon I_k - (\lambda+\epsilon)I_k)=0.$这说明若$\lambda$是$A_k$的特征值，则$\lambda+\epsilon$是$A_k+\epsilon I_k$的特征值。因为$\epsilon$是任意小的正实数，所以若$\lambda\neq 0$，$\lambda+\epsilon$不改变符号，若$\lambda=0$，$\lambda+\epsilon \gt 0$，于是$\det(A_k+\epsilon I_k) \gt 0 \implies A + \epsilon I$任意顺序主子阵为正$\implies A+\epsilon I$正定。$\\$ 所以对任意$\bm{x}\neq\bm{0}$，有$\bm{x}^{\mathrm{T}}(A+\epsilon I)\bm{x}=\bm{x}^{\mathrm{T}}A\bm{x}+\epsilon\bm{x}^{\mathrm{T}}\bm{x} \gt 0$，而$\bm{x}^{\mathrm{T}}A\bm{x}+\epsilon\bm{x}^{\mathrm{T}}\bm{x}$是关于$\epsilon$的连续函数，于是$\bm{x}^{\mathrm{T}}A\bm{x}\geq 0 \implies A$半正定。$\\$

6.2.14 $\quad$ 设$A$是实对称矩阵，证明：$\\$ 1.$A$半正定，当且仅当存在实对称矩阵$B$,使得$A=B^2.\\$ 2.若$A$半正定，则存在唯一的半正定实对称矩阵$B$,使得$A=B^2.\\$

1.证明：$\\$ $A$是实对称矩阵且半正定$\iff A=Q^{\mathrm{T}}\varLambda Q$，其中$\varLambda$是对角元均为非负数的对角阵$\iff$存在对角阵$D$，使得$A=Q^{\mathrm{T}} D^2 Q=Q^{\mathrm{T}}DQQ^{\mathrm{T}}DQ=B^2.\\$ 2.证明：$\\$ $A=Q^{\mathrm{T}}\varLambda Q$，其中$\varLambda$是对角元均为非负数的对角阵，$\varLambda=\operatorname{diag}(\lambda_1,\lambda2,\cdots,\lambda_n)$，显然存在唯一的分解$\varLambda=D^2$使得$D$也是对角元均为非负数的对角阵，即$D=\operatorname{diag}(\sqrt{\lambda_1},\sqrt{\lambda2},\cdots,\sqrt{\lambda_n})$。此时$A=Q^{\mathrm{T}} D^2 Q=Q^{\mathrm{T}}DQQ^{\mathrm{T}}DQ=B^2$，且$B=Q^{\mathrm{T}}DQ$是半正定矩阵。$\\$

6.2.15 $\quad$ 证明，若实对称矩阵对角占优，且对角元素全为正数，则该矩阵正定。

$\\$ 证明：$\\$

法一：

$\\$ 设$A$对角占优，则$\det(A)\neq 0$.$\\$ 考虑矩阵$A+tI_n$，其中$t$是充分大的正实数。显然$A+tI_n$也对角占优，且$\bm{x}^{\mathrm{T}}(A+tI_n)\bm{x}=\bm{x}^{\mathrm{T}}A\bm{x}+t\bm{x}^{\mathrm{T}}\bm{x} \gt 0$，于是$A+tI_n$正定。$\\$ 设$A_k$是$A$的$k$阶顺序主子阵，则对任意$k$，都有$\det(A_k+tI_k) \gt 0$。又因为$\det(A_k+tI_k)$是关于$t$的连续函数，且对任意$t\geq 0$，$\det(A_k+tI_k)\neq 0$，而$t$充分大时，$\det(A_k+tI_k) \gt 0$。所以$\det(A_k) \gt 0$对任意$k$均成立$\implies A$正定。$\\$

法二：

$\\$ 设$\bm{x}=\begin{bmatrix} x_1\\ x_2\\ \vdots\\ x_n \end{bmatrix}$，则 $$\begin{align*} \bm{x}^{\mathrm{T}}A\bm{x}&=\sum_{\substack{1\leq i \leq n\\ 1\leq j \leq n}}a_{ij}x_ix_j\\ &=\sum_{1\leq i \lt j \leq n}2a_{ij}x_ix_j+\sum_{1\leq i \leq n}a_{ii}x_i^2 \quad \text{(由对称性)}\\ & \gt \sum_{1\leq i \lt j \leq n}2a_{ij}x_ix_j+\sum_{1\leq i \leq n}x_i^2\sum_{i \neq j}\vert a_{ij} \vert \quad \text{(由对角占优)}\\ &=\sum_{1\leq i \lt j \leq n}2a_{ij}x_ix_j+\sum_{1\leq i \lt j \leq n}\vert a_{ij} \vert (x_i^2+x_j^2) \quad \text{(由对称性)}\\ &\geq \sum_{1\leq i \lt j \leq n}2a_{ij}x_ix_j+\sum_{1\leq i \lt j \leq n}2\vert a_{ij} \vert x_ix_j \quad \text{(由Cauchy不等式)}\\ &\geq 0 \end{align*}$$ 即$\bm{x}^{\mathrm{T}}A\bm{x} \gt 0$对任意$\bm{x}\neq\bm{0}$恒成立$\implies A$正定。$\\$

6.2.16 $\quad$ 证明或举出反例：

$\\$

1.如果$A$对称正定，则$A^{-1}$正定。$\\$

证明：$\\$ $A$对称正定则其特征值全是正数，而$A^{-1}$的特征值是$A$特征值的倒数，显然也全为正数，所以$A^{-1}$正定。$\\$

2.如果$A,B$对称正定，则$A+B$正定。$\\$

显然正确。$\\$

3.如果$A,B$对称半正定，则$A+B$半正定。$\\$

显然正确。$\\$

4.如果$A,B$对称不定，则$A+B$不定。$\\$

不正确。$\\$ 设$A=\begin{bmatrix} -1&1\\1&1\\ \end{bmatrix}$，其特征值是$\pm\sqrt{2}$，不定。 $B=\begin{bmatrix} 1&-1\\ -1&-2 \end{bmatrix}$，其特征值是$\cfrac{-1\pm\sqrt{13}}{2}$，不定。而$A+B=\begin{bmatrix} 0&0\\ 0&-1 \end{bmatrix}$，其特征值是$0$或$-1$，半负定。$\\$

5.如果$A$列满秩，$B$对称正定，则$A^{\mathrm{T}}BA$正定。$\\$

证明：$\\$ $A$列满秩，所以当$\bm{x}\neq\bm{0}$时，$A\bm{x}\neq\bm{0}$。而$B$对称正定，即对任意$\bm{x}\neq\bm{0}, \bm{x}^{\mathrm{T}}B\bm{x} \gt 0$。所以$\bm{x}^{\mathrm{T}}A^{\mathrm{T}}BA\bm{x}=(A\bm{x})^{\mathrm{T}}B(A\bm{x}) \gt 0 \implies A^{\mathrm{T}}BA$正定。$\\$

6.如果$S=A^{\mathrm{T}}A$且$A$有简化 QR 分解$A=QR$,则$S=R^{\mathrm{T}}R$是$S$的 Cholesky 分解。$\\$

证明：$\\$ $S=A^{\mathrm{T}}A=(QR)^{\mathrm{T}}(QR)=R^{\mathrm{T}}Q^{\mathrm{T}}QR=R^{\mathrm{T}}R$，其中$R$是上三角阵。$\\$

7.如果$A,B$对称正定，则$AB$的特征值都是正数。$\\$

设$AB$的特征值是$\lambda$，对应的特征向量是$\bm{x}$，则$AB\bm{x}=\lambda\bm{x}$。两边左乘$\bm{x}^{\mathrm{T}}B^{\mathrm{T}}$得$\bm{x}^{\mathrm{T}}B^{\mathrm{T}}AB\bm{x}=\lambda\bm{x}^{\mathrm{T}}B^{\mathrm{T}}\bm{x}\implies (B\bm{x})^{\mathrm{T}}A(B\bm{x})=\lambda\bm{x}^{\mathrm{T}}B^{\mathrm{T}}\bm{x}$，而$A,B$都正定，$(B\bm{x})^{\mathrm{T}}A(B\bm{x}) \gt 0,\bm{x}^{\mathrm{T}}B^{\mathrm{T}}\bm{x} \gt 0$，所以$\lambda \gt 0.\\$

6.2.17 $\quad$ 证明命题 6.2.7. 方阵的合同关系是等价关系。

$\\$ 证明：$\\$ 反身性：$A=I_n^{\mathrm{T}}AI_n$，因此$A$和$A$合同。$\\$ 对称性：若$A,B$合同，则存在可逆矩阵$X$，使得$X^{\mathrm{T}}AX=B$，显然同时也有$X^{-\mathrm{T}}BX^{-1}=A$。所以$B$和$A$也合同。$\\$ 传递性：若$A,B$合同，$B,C$合同，则存在可逆矩阵$X,Y$，使得$X^{\mathrm{T}}AX=B,Y^{\mathrm{T}}BY=C$。即$(XY)^{\mathrm{T}}A(XY)=C$，而$XY$是可逆矩阵，因此$A,C$也合同。$\\$ 所以方阵的合同关系是等价关系。$\\$

6.2.18 $\quad$ 考虑实对称矩阵$S=\begin{bmatrix}A&B\\B^\mathrm{T}&C\end{bmatrix}.$证明$S$正定当且仅当$A$及其 Schur 补都正定。

$\\$ 证明：$\\$ 注意到$$\begin{bmatrix} A&B\\ B^{\mathrm{T}}&C \end{bmatrix} = \begin{bmatrix} I&\\ B^{\mathrm{T}}A^{-1}&I \end{bmatrix} \begin{bmatrix} A&\\ &C-B^{\mathrm{T}}A^{-1}B \end{bmatrix} \begin{bmatrix} I&A^{-1}B\\ &I \end{bmatrix}$$ 于是$S$正定$\iff S$有$LDL^{\mathrm{T}}$分解$\iff$存在下三角阵$L_1,L_2$使得$A=L_1DL_1^{\mathrm{T}},C-B^{\mathrm{T}}A^{-1}B=L_2DL_2^{\mathrm{T}} \iff$ $A$及其Schur补都正定。$\\$

6.2.19 $\quad$ 设$A,B$是$n$阶实对称矩阵，$A$正定。证明,存在可逆矩阵$T$,使得$T^\mathrm{T}AT$和$T^\mathrm{T}BT$同时是对角矩阵。

$\\$ 证明：$\\$ $A$是正定的实对称矩阵，所以存在正交矩阵$Q_A$使得$Q_A^{\mathrm{T}}AQ_A=\varLambda_A$。设$\varLambda_A=D^2$，则$(Q_AD^{-1})^{\mathrm{T}}A(Q_AD^{-1})=I_n.\\$ 注意到$(Q_AD^{-1})^{\mathrm{T}}B(Q_AD^{-1})$也是实对称矩阵，存在谱分解$Q^{\mathrm{T}}(Q_AD^{-1})^{\mathrm{T}}B(Q_AD^{-1})Q=\varLambda$，而$Q^{\mathrm{T}}(Q_AD^{-1})^{\mathrm{T}}A(Q_AD^{-1})Q=Q^{\mathrm{T}}Q=I_n$。所以存在可逆矩阵$T=Q_AD^{-1}Q$使得$T^\mathrm{T}AT$和$T^\mathrm{T}BT$同时是对角矩阵。$\\$

6.2.20 $\quad$ 设$A,B$是$n$阶实对称矩阵，$A,B$半正定。证明，存在可逆矩阵$T$,使得$T^\mathrm{T}AT$和$T^\mathrm{T}BT$同时是对角矩阵。

$\\$ 证明：$\\$ $A,B$半正定$\implies$任意$\bm{x}\neq\bm{0},\bm{x}^{\mathrm{T}}A\bm{x}\geq 0, \bm{x}^{\mathrm{T}}B\bm{x}\geq 0$。分两种情况讨论：$\\$ (a)若$\mathcal{N}(A)\cap\mathcal{N}(B)=\set{\bm{0}}.\\$ 对任意$\bm{x}\neq\bm{0},\bm{x}^{\mathrm{T}}(A+B)\bm{x}=\bm{x}^{\mathrm{T}}A\bm{x}+\bm{x}^{\mathrm{T}}B\bm{x} \gt 0 \implies A+B$正定。显然$A+B$也是对称矩阵，由6.2.19，存在可逆矩阵$T$,使得$T^\mathrm{T}(A+B)T=\varLambda_1$和$T^\mathrm{T}AT=\varLambda_2$同时是对角矩阵。而$T^\mathrm{T}BT=T^\mathrm{T}(A+B)T-T^\mathrm{T}AT=\varLambda_1-\varLambda_2$也是对角矩阵。所以存在可逆矩阵$T$,使得$T^\mathrm{T}AT$和$T^\mathrm{T}BT$同时是对角矩阵。$\\$ (b)若$\mathcal{N}(A)\cap\mathcal{N}(B)\neq\set{\bm{0}}.\\$ 取$\mathcal{N}(A)\cap\mathcal{N}(B)$的一组正交基$(\bm{q}_1,\cdots,\bm{q}_s)$，并扩张为正交矩阵$Q$，则$Q^{\mathrm{T}}AQ=\begin{bmatrix} O&\\ &A_1 \end{bmatrix}, Q^{\mathrm{T}}BQ=\begin{bmatrix} O&\\ &B_1 \end{bmatrix}.\\$ 显然此时$\mathcal{N}(A_1)\cap\mathcal{N}(B_1)=\set{\bm{0}}$，问题即转化为(a)中情况。