5. 特征值的估计和广义逆矩阵

https://www.bilibili.com/read/cv4109469

5.0 考试重点+例子

重点内容

• 特征值的估计
• 谱半径的估计
• 求广义逆（A-，A+（极小最小二乘解），1-2广义逆，1-3广义逆（最小范数解），1-4广义逆（最小二乘解））

5.0.1 求广义逆$A^-$

设$A=\begin{bmatrix}1&-2&-1 \\ 0&-1&2\end{bmatrix}$

求$A$的所有减号逆

求线性方程组$Ax=b$的最小范数解，其中$b=(1,1)^T$

5.0.2 求最小范数求解,最小二乘解

5.0.3 求广义逆$A^+$

5.0.4 圆盘定理

求一些简单的

5.1 广义逆矩阵

有很多广义逆矩阵

$1.AA^+A=A,\\ 2.A^+AA^+=A^+,\\ 3.(AA^+)H=AA^+,\\ 4.(A^+A)^H=A^+A$

上面有四条性质

• 满足第一条性质就是$A^-$(广义逆)
• 满足第一条和第四条就是$A_l^-$自反广义逆
• 满足四条性质就是$A^+$伪逆矩阵

所以5.1 讲的就是三种广义逆的概念和性质

5.1.1 广义逆$A^-$

1) $A^-$定义

设$A$是数域$F$上的一个$s\times n$矩阵，则矩阵方程$AXA=A$

总是有解，如果$rank(A)=r$,并且存在可逆矩阵$P,Q$使得$A=P\begin{bmatrix}I_r&0\\ 0&0\end{bmatrix}Q$

则矩阵方程的通解为$X=Q^{-1}\begin{bmatrix}I_r&B \\ C&D\end{bmatrix}P^{-1}$

其中$B,C,D$分别是任意$r\times (s-r),(n-r)\times r,(n-r)\times (s-r)$矩阵

定义

设$A$是一个$s\times n$矩阵，矩阵方程$AXA=A$的通解称为$A$的广义逆矩阵，

简称为$A$的广义逆，我们用记号$A^-$表示$A$的广义逆

2) 广义逆矩阵计算⭐️

广义逆的另一种求解方式

任给$A$,有奇异值分解，$A=U\begin{bmatrix}\Delta&0 \\ 0&0\end{bmatrix}V^H$，其中$U$是酉矩阵，$\Delta$是对角矩阵

$AXA=U\begin{bmatrix}\Delta&0 \\ 0&0\end{bmatrix}V^H XU\begin{bmatrix}\Delta&0 \\ 0&0\end{bmatrix}V^H=U\begin{bmatrix}\Delta&0 \\ 0&0\end{bmatrix}V^H$

通解为$V\begin{bmatrix}\Delta^{-1} &B \\ C&D\end{bmatrix}U^H,B,C,D$任取

3) 广义逆矩阵性质

• $rank A\le rankA^{-1}$
• $A^{-1}A$与$AA^{-1}$是幂等矩阵，且$rankA=rankA^{-1}A-rankAA^{-1}$
• $(A^T)^{-1}=(A^{-1})^T,(A^{H})^-=(A^-)^H$
• 若$A\in C^{n\times n}_n$,则$A^-=A^{-1}$,且$A^{-1}$唯一
• $(\lambda A)^{-}=\frac{1}{\lambda}A^-,\lambda\ne 0$
• 设$S\in C^{m\times m}_m,T\in C^{n\times n}_n$,且$B=SAT$,则$B^-=(SAT)^-=T^{-1}A^{-}S^{-1}$

特殊的广义逆

设$A\in C^{m\times n}$,若存在矩阵$A^{-1}_L\in C^{n\times m}$或$A^{-1}_R C^{n\times m}$使得

$A^{-1}_LA=I_n$或$AA^{-1}_R=I_m$

称为$A_L^{-1}$或$A_R^{-1}$是$A$的左逆(或右逆)

注意点：若$A$有左逆，则$A$列满秩，若$A$有右逆，则$A$行满秩

若$m=n$，且$A$是满秩的，则$A^{-1}=A_L^{-1}=A_R^{-1}$

定理

设$A\in C^{m\times n}$,则

$A\in C^{m\times n}$的充要条件是$A^-A=I_n$

$A\in C^{m\times n}$的充要条件是$AA^-=I_m$

推论

• 如果$A$列满秩，则左逆存在，且跟$A$的广义逆相同
• 如果$A$行满秩，则右逆存在，且跟$A$的广义逆相同

5.1.2 自反广义逆

1) 自反广义逆概念

设$A\in C^{m\times n}$,使得$AA^-A=A,A^-AA^-=A^-$

成立的$A^-\in C^{n\times n}$称为$A$的自反广义逆，记作$A^-_r$

例子

设$X,Y \in C^{n\times m}$都是$A\in C^{m\times n}$的广义逆矩阵，则$Z=XAY$

是$A$的自反广义逆矩阵

证明

$AZA=AXAYA=AYA=A$

$ZAZ=(XAY)A(XAY)=XAXAY=XAY=Z$

---

充要条件

设$A^-\in C^{n\times m}$是$A\in C^{m\times n}$的广义逆矩阵，则$A^-$是$A$的自反广义逆矩阵的充要条件是$rankA=rankA^-$

---

2) 自反广义逆计算

求解自反广义逆矩阵

任给$A$,有奇异值分解，$A=U\begin{bmatrix}\Delta&0 \\ 0&0\end{bmatrix}V^H$，其中$U,V$是酉矩阵，$\Delta$是对角矩阵

则$A$的自反广义逆矩阵的一般解为

通解为$X=V\begin{bmatrix}\Delta^{-1} &B \\ D&D\Delta B\end{bmatrix}U^H,B\in C^{r\times (m-r)},D\in C^{(n-r)\times r}$任意

--

5.1.3 伪逆矩阵$A^+$⭐️

M-P矩阵(穆尔-彭罗斯广义逆矩阵)

1) 伪逆矩阵$A^+$概念

伪逆矩阵是逆矩阵的广义形式

奇异矩阵(行列式等于零的方阵)和非方阵没有逆矩阵，但是可以有伪逆矩阵

设$A\in C^{m\times n}$,若$A^+\in C^{n\times m}$,且$A^+$同时满足

$AA^+A=A,A^+AA^+=A^+,(AA^+)H=AA^+,(A^+A)^H=A^+A$

则称$A^+$是$A$的伪逆矩阵，上述条件称为Penrose-Moore方程

定理

$A$的伪逆矩阵$A^+$是唯一的。

推论

若$A\in C^{m\times n}_n$,则$A^+=A^{-1}$

例子

一般来说$(AB)^+\ne B^+A^+$，比如

$A=\begin{bmatrix}0&1 \end{bmatrix},B=\begin{bmatrix}1\\ 1 \end{bmatrix}$

显然$(AB)^+=1^+=1$

但是$(B^+A^+)=\begin{bmatrix}\frac{1}{2}&\frac{1}{2} \end{bmatrix}\begin{bmatrix}0\\ 1 \end{bmatrix}=\frac{1}{2}$

2) 伪逆矩阵的性质

• $(A^+)^+=A,(A^H)^+=(A^+)^H$

• $(AA^H)^+=(A^H)^+A^+=(A^+)^HA^+$

  $(A^HA)^+=A^=(A^H)^+=A^+(A^+)^H$

• $A^+=A^H(AA^H)=(A^HA)^+A^H$

3) 伪逆矩阵的意义

从线性方程组$AX=B$的解来对伪逆矩阵进一步的认知和了解

对于$n$元线性方程组$AX=B$其解有三种情况，解唯一，无穷解，其中$A_{m\times n},B_{m\times 1}$。解唯一不讨论

(1) 线性方程有无穷解时，必有$R(A)=R(AB)<n$,$A$行满秩。线性方程的个数小于等于变量的个数，因此有无穷解，但是要找到一个到原点最近距离的点则是唯一的，即最小范数解

(2) 线性方程组无解时，必有$R(A)\ne R(AB)$。因为$B$不在$A$的空间中，此时只能在$A$的列空间找到唯一一个$B$之间的欧式距离最小的$B^\prime,B^\prime=AX^0$,$X^0$可以使得范数$||AX-B||$最小化的解。

可以看出，欧式空间的范数在伪逆的求解中起到度量误差和度量长度的限制作用，伪逆矩阵是在满足几何约束的的条件下的最优解，这也是伪逆矩阵的意义所在。例如在最小能量系统中，可使用伪逆可求得问题的最优解。

5.1.4 伪逆矩阵求法⭐️

1) 求法1-奇异值求解

如果$A\in C^{m\times n}_r$,有奇异值分解,

$A=U\begin{bmatrix}\Delta&0 \\ 0&0\end{bmatrix}V^H$，其中$U,V$是酉矩阵，$\Delta$是对角矩阵

则$A$的伪广义逆矩阵的一般解为

通解为$A^{-}=V\begin{bmatrix}\Delta^{-1} &0 \\ 0&0\end{bmatrix}U^H$任意

2) 求法2满秩分解

设$A\in C^{m\times n},A=BC$是$A$的一个满秩分解，则

$X=C^H(CC^H)^{-1}(B^HB)^{-1}B^H$是$A$的伪逆矩阵

例子

3) 求法3-低阶矩阵求法(行满秩，列满秩)-直接求

满足$A^lA=E$，但不满足$AA^L=E$的矩阵$A^L$称为$A$的左逆矩阵

同理，$AA^R=E$，但是不满足$A^RA=E$的矩阵$A^R$称为$A$的右逆矩阵

推论

当$m\ge n$时，列满秩，矩阵$A_{m\times n}$,有左逆矩阵$A^L=(A^HA)^{-1}A^H$

当$n\ge m$时，行满秩，矩阵$A_{m\times n}$有右逆矩阵$A^R=A^H(A^HA)^{-1}$

当$n=m$,$A_{m\times n}$的秩为$r\le m=n$时，对$A$的奇异值分级$A=UDV^H$，$A$的伪逆矩阵$A^+=VD^+U^T$

换一种说法

• 若$A\in C^{m\times r}_r$,则$A^+=(A^HA)^{-1}A^H$,此时$A^+A=I_r$
• 若$A\in C^{r\times n}_r$,则$A^+=A^H(AA^H)^{-1}$,此时$AA^+=I_r$

5.2 广义逆矩阵在线性方程组的应用

5.2.1 相关概念

1) 相容概念

设$A\in C^{m\times n},b\in C^{m}$,非齐次线性方程组$Ax=b$有解时，称它是相容的，否则称它是不相容的

---

定理

设$A\in C^{m\times n},b\in C^m$则下面命题是等价的

• $Ax=b$是相容的
• $rankA=rank[A,b]$
• $b\in R(A)$,即$b$可以由$A$的列向量线性表示
• $b=AA^-b$,任取$A$的广义逆矩阵$A^-$

---

定理

设$A\in C^{m\times n},b\in C^m$，对于相容方程组，$Ax=b$

• 当$rankA=n$,方程组有唯一的解$A^+b$
• 当$rank A<n$,方程组解不唯一

设$A\in C^{m\times n},\beta\in C^{m}$,非齐次线性方程组$AX=\beta$有解的充要条件是存在$A$的广义逆矩阵$A^-$使得$\beta=AA^-\beta$

定理

设非齐次线性方程组$AX=\beta$有解，则它的一般解为$X=A^-\beta$,其中$A^-$是$A$的任意一个广义逆。

定理

设$A\in C^{m\times n},B\in C^{s\times t},D\in C^{m\times t}$,则矩阵方程$AXB=D$有解的充要条件是

存在$A$与$B$的广义逆矩阵$A^-$和$B^-$使得$AA^-DB^-B=D$成立

定理

设$A\in C^{m\times n},B\in C^{s\times t},D\in C^{m\times t}$,矩阵方程$AXB=D$有解的情况下，方程的通解为

$X=A^{-1}DB^{-1}+Y-A^-YBB^-$

其中$A^-,B^-$是$A,B$任意给定的广义逆，$Y$为任意$n\times s$矩阵

推论1

设$A\in C^{m\times n},D\in C^{m\times n}$,则矩阵方程$AX=D$有解的充要条件是存在$A$的广义逆矩阵$A^{-1}$使得

$AA^{-1}D=D$

成立，在有解的情况下，矩阵方程的通解为$X=A^-D+Y-A^{-1}AY$

推论二

设$A\in C^{m\times n},b\in C^m$,则非齐次线性方程组$AX=b$在有解的情况下，方程组的通解为

$X=A^-b+Y-A^{-1}AY=A^-b+(I_n-A^-A)Y$

5.2.2 最小范数解(最小模解)$A^-b$⭐️

参考链接

https://www.jianshu.com/p/609fa0cce409

称相容方程组$Ax=b$的所有解中模(2-范数)最小的解是$Ax=b$的最小模解

$x=A^+b$是相容线性方程组$Ax=b$的最小模解

另一本书的概念

设$A^-$是$m\times n$矩阵$A$的一个广义逆矩阵，并且$(A^-A)^H=A^-A$,那么对任给的$m$维列向量$B$,

只要方程组$AX=B$有解，则$X^*=A^-B$就是它的最小范数解

个人理解

$$\min ||X|| \\ s.t. Ax=b \\ A\in R^{m\times n},b\in R^m,x\in R^n$$

这个问题的解称为$Ax=b$的最小范数解，这是一个凸优化问题。

5.2.3 最小二乘解$X^+b$⭐️

1) 最小二乘解的概念

设$A\in C^{m\times n},b\in C^m$，非齐次线性方程组$Ax=b$无解时，

如果$x_0\in C^n$满足对任意$x\in C^n$都有$||Ax_0-b||_2\le ||Ax-b||_2$

则称$x_0$是方程组$Ax=b$的一个最小二乘解

矩阵分析引论上的内容--看不出真假

设$A^-$是$m\times n$矩阵$A$的一个广义逆矩阵，并且$(A^-A)^H=AA^-$,

那么对任给的$m$维列向量$B$,$X^*=A^+B$一定是$AX=B$的最小二乘解

定理

设$A\in C^{m\times n},b\in C^m$,对于不相容的方程组$Ax=b$

• 当$rank A=n,Ax=b$有唯一最小二乘解$A^+b$
• 当$rank A<n,Ax=b$的最小二乘解不唯一

定义

若$u$是不相容方程组$Ax=b$的最小二乘解，如果对于任一个最小二乘解$x_0,$都有不等式

$||u||_2\le ||x_0||_2$

则称$u$是最佳最小二乘解

2) 最小二乘法求非齐次线性方程组

最小二乘估计，旨在求解误差平方和最小的非零解。这里直接抛出线性最小二乘法的公式：

$$x=(A^HA)^{-1}A^Hb$$

该公式针对非齐次线性方程组，可直接对$A^HA$求逆，再右乘$A^Hb$得到$x$的最小二乘解。当然此处$A^HA$是否可逆取决于该方阵是否是满秩矩阵，即要求$A$满秩，如果不是满秩矩阵，说明约束不够，仍无法得到可靠的最小二乘近似

3) 最小二乘法求齐次线性方程组

然而，对于齐次线性方程组$Ax=0$的情况，由于$b=0$向量，我们无法直接通过线性最小二乘公式求解$x$的非零解。那么是否就无解了呢，当然不是，我们通常有两种做法：

方法一：对矩阵$A$做SVD分解，分解后$V$的最后一列向量即为$Ax=0$的最小二乘解

方法二: 求解$A^TA$的特征向量和特征值，最小特征值对应的特征向量即为$Ax=0$的最小二乘解

例子

5.3 特征值的估计

设$A=(a_{ij})_{m\times n}$为一给定的复数矩阵，则$A$可以表示成一个厄米特矩阵$B$与一个反厄米特矩阵$C$之和。

$$B=(b_{ij})_{m\times n}=\frac{A+A^H}{2} \\ C=(c_{ij})_{n\times n}=\frac{A-A^H}{2}$$

定理

若$n$阶复数矩阵$A=(a_{ij})$的特征值上集合(A的谱)为$\{\lambda_1,\lambda_2,\cdots,\lambda_n\}$,则又不等式

$\sum_{k=1}^n|\lambda_k|^2\le \sum_{i=1}^n\sum_{j=1}^n|a_{ij}|^2$

等号当且只当$A$为正规矩阵时成立

推论

存在酉矩阵$U$即上三角矩阵$T$,使得$U^HAU=T$

推论1

若$A,B,C$如前所设，则有

• $|\lambda_k|\le n\cdot \max_{1\le i,j\le n}|a_{ij}|$
• $|Re(\lambda_k)|\le n \cdot \max_{1\le i,j\le n}|b_{ij}|$
• $|Im(\lambda_k)|\le n\cdot \max_{1\le i,j\le n}|c_{ij}|$

$U^HAU=T,U^HA^HU=T^H$，可得

$U^HBU=\frac{1}{2}(T+T^H)$

$U^HCU=\frac{1}{2}(T-T^H)$

推论2

设$A=(a_{ij})$是$n$阶实矩阵，则

$$|Im(\lambda_k)\le \sqrt{\frac{n(n-1)}{2}}\max_{1\le i,j\le n}|c_{ij}|$$

5.4 圆盘定理

https://zhuanlan.zhihu.com/p/31463121

5.4.1 行，列盖尔圆盘

设$A=(a_{ij})$为任一$n$阶复数矩阵，则$A$的特征值都在复数平面上的$n$个圆盘

$|z-a_{ii}|\le R_i$的并集内，这里的

$R_i=|a_{i1}|+|a_{i2}|+\cdots+|a_{i,i-1}|+|a_{i,i+1}|+\cdots+|a_{in}|$。

例子

定理

$A$的全部特征子都在它的$n$个盖尔圆的并集中

若实矩阵$A$的n个盖儿圆相互独立，则$A$的特征值全为实数

若$A$的连通部分由k个盖儿圆构成，则此部分恰有$A$的k个特征值

、

---

5.4.2 定理二

5.5 谱半径的估计

首先我们知道谱半径$A=(a_{ij})_{m\times n}$是复数域上的$n$阶方阵，又$\lambda_1,\lambda_2,\cdots,\lambda_n$是$A$的全部特征值，则

$\rho(A)=\max_{1\le i\le n}|\lambda_i|$

定理

复数域上的任一$n$阶方阵$A=(a_{ij})$的谱半径$\rho(A)$都不超过$A$的范数$||A||$

$$\rho(A)\le ||A||$$

这里$||A||$为任一方阵范数。

推论

若$A$为$n$阶正规矩阵，则$\rho(A)=||A||_2$