2. 内积空间

2.0 考试重点+例题

https://www.bilibili.com/read/cv3995642

重点内容

• 内积空间的判定/证明

• 柯西-许瓦兹不等式

• 施密特正交化（求标准正交基）

• 正交变换的判定/证明

• 方程组的最小二乘解

• 复数矩阵的对角化

  一些其他概念/定义：对角行矩阵，实对称矩阵，实反对称矩阵，厄米特矩阵，反厄米特矩阵，正交矩阵，酉矩阵。

2.0.1 求矩阵的特征值和矩阵的迹

这个就不举例了

一个$n\times n$矩阵$A$中主对角线(从左上方至右下方的对角线)上各元素的总和被称为$A$的迹$trA=\sum_{i=1}^na_{ii}=\lambda_1+\cdots+\lambda_n$

2.0.2 矩阵的秩的关系

$r(A)+r(B)-n\le r(A|B)\le min(r(A),r(B))$

2.0.3 求最小二乘解

$$\alpha_1=\begin{bmatrix} 1\\ 2\\ 3\\ 4 \end{bmatrix},\alpha_2=\begin{bmatrix}5 \\ 6 \\ 1 \\ 1\end{bmatrix}, b=\begin{bmatrix}1 \\ 0\\ 0\\ 0\end{bmatrix}$$

求$b$到$L(\alpha_1,\alpha_2)$的最小距离

$$A^TAx=X^TB \\ \begin{bmatrix}1&2&3&4 \\ 5&6&1&1\end{bmatrix}\begin{bmatrix}1&5 \\ 2&6 \\ 3&1 \\ 4&1\end{bmatrix} \begin{bmatrix}x_1\\ x_2\end{bmatrix}=\begin{bmatrix}1&2&3&4 \\ 5&6&1&1\end{bmatrix}\begin{bmatrix}1 \\ 0\\ 0\\ 0\end{bmatrix} \\ \begin{bmatrix}30&24 \\ 24&63\end{bmatrix}\begin{bmatrix}x_1\\ x_2\end{bmatrix}=\begin{bmatrix}1\\ 5\end{bmatrix} \\ \to x_1=\frac{-19}{438},x_2=\frac{21}{219} \\ ||Ax-b||_2$$

2.0.4 酉矩阵的特征值

$|\lambda_i|^2=1,AA^H=E$

2.1 内积空间的相关概念

欧式空间与酉空间通称为内积空间

2.1.1 欧式空间⭐️

设$V$是实数域$R$上的$n$维空间，对于$V$中的任意两个向量$\alpha,\beta$按照某一确定法则对应着一个实数，这个实数称为$\alpha$与$\beta$的内积。记为$(\alpha,\beta)$,并且要求内积满足下列运算条件：

• $(\alpha,\beta)=(\beta,\alpha)$
• $(k\alpha,\beta)=k(\alpha,\beta)$
• $(\alpha+\beta,r)=(\alpha,r)+(\beta,r)$
• $(\alpha,\alpha)\ge 0$，当且仅当$\alpha=0$时$(\alpha,\alpha)=0$

这里$\alpha,\beta,r$是$V$中的任意向量，$k$为任意实数，这样我们称带有这样内积的$n$维线性空间$V$为欧式空间

例子

在$R^n$中，对于

$\alpha=(x_1,x_2,\cdots,x_n)^T,\beta=(y_1,y_2,\cdots,y_n)^T$

若规定$(\alpha,\beta)=\alpha^T\beta=x_1y_1+x_2y_2+\cdots+x_ny_n$

容易验证是$R^n$上的一个内积，从而$R^n$成为一个欧式空间

2.1.2 酉空间⭐️

设$V$是复数域$C$上的$n$维空间，对于$V$中的任意两个向量$\alpha,\beta$按照某一确定法则对应着一个实数，这个实数称为$\alpha$与$\beta$的内积。记为$(\alpha,\beta)$,并且要求内积满足下列运算条件：

• $(\alpha,\beta)=(\overline{\beta,\alpha})$
• $(k\alpha,\beta)=k(\alpha,\beta)$
• $(\alpha+\beta,r)=(\alpha,r)+(\beta,r)$
• $(\alpha,\alpha)\ge 0$，当且仅当$\alpha=0$时$(\alpha,\alpha)=0$

定义

设$V$是$n$维酉空间，$\{\alpha_i\}$为其一组基底，对于$V$中的任意两个向量$\alpha=\sum_{i=1}^nx_i\alpha_i,\beta=\sum_{j=1}^ny_j\alpha_j$

那么$\alpha$与$\beta$的内积为

$(\alpha,\beta)=(\sum_{i=1}^nx_i\alpha_i,\sum_{j=1}^ny_j\alpha_j)=\sum_{i,j=1}^n x_i\overline{y_j}(\alpha_i,\alpha_j)$

酉空间$C^n$的内积定义可以简写为

$$(X,Y)=XY^H$$

酉空间上内积的定义：X和Y的共轭转置相乘

2.1.3 厄米特矩阵⭐️

前期数学准备

设$A\in C^{n\times n}$,用$\overline{A}$表示以$A$中元素的共轭复数为元素组成的矩阵，记为$A^H=(\overline{A})^T$

称$A^H$为$A$的复共轭转置矩阵

性质如下

• $A^H=(\overline{A^T})$
• $(A+B)^H=A^H+B^H$
• $(kA)^H=\overline{k}A^H$
• $(AB)^H=B^HA^H$
• $(A^k)H=(A^H)^k$
• $(A^H)^H=A$
• $|\overline{A}|=|\overline{A}|$
• $(A^H)^{-1}=(A^{-1})^H$,如果$A$可逆

1) 厄米特矩阵和反厄米特矩阵

如果$A\in C^{n\times n}$,如果 $A^H=A$，那么我们称A为Hermite(厄米特)矩阵

如果$A^H=-A$,那么称$A$为反Hermite(厄米特)矩阵

Hermite矩阵如下图所示

$$\begin{bmatrix} a_1&b_{12}&\cdots&b_{1n} \\ \overline{b_{12}}&a_2&\cdots&b_{2n} \\ \vdots&\vdots&\ddots&\vdots \\ \overline{b_{1n}}&\overline{b_{2n}}&\cdots &a_n \end{bmatrix}$$

举例，判断下列矩阵是$H$-矩阵

$$1.\begin{bmatrix}4i&2+i&4+2i\\ -2+i&i&1\\ -4+2i&-1 &-2i\end{bmatrix} \\ 2. \begin{bmatrix}6&1+2i&3i\\ 1-2i&9&1-i\\ -3i&1+i&-7\end{bmatrix}$$

2) 厄米特矩阵相关性质

任意$A\in C^{n\times n}$都可以表示为一个$H-$矩阵和一个反$H-$阵之和

$A=\frac{A+A^H}{2}+\frac{A-A^H}{2}$

2.1.4 度量概念

设$V$为欧式空间，向量$\alpha\in V$的长度定义为非负数，$||\alpha||=\sqrt{(\alpha,\alpha)}$

例子

$\alpha=(1+2i,-i,3,2+\sqrt{2}i)$

$||\alpha||=\sqrt{5+1+9+6}=\sqrt{21}$

定义

设$V$为欧式空间，两个非零向量$(\alpha,\beta)$的夹角定义为

$<\alpha,\beta>=arcos\frac{(\alpha,\beta)}{||\alpha||||\beta||}$

于是有

$0\le<\alpha,\beta>\le \pi$

2.1.5 柯西许瓦兹不等式⭐️

设$V$是内积空间，$\alpha,\beta$是$V$中任两向量，则有

$$|(\alpha,\beta)|\le ||\alpha||||\beta||$$

等号当且仅当$\alpha,\beta$线性相关时成立

向量长度具有如下性质

• $||\alpha||\ge 0$,当且仅当$\alpha=0$时，$||\alpha||=0$
• $||k\alpha||=|k|||\alpha||,k\in C$
• $||\alpha+\beta||\le ||\alpha||+||\beta||$
• $|(\alpha,\beta)|\le ||\alpha||||\beta||$

2.2 正交基和子空间的正交关系

在空间$V$中，如果$(\alpha,\beta)=0$，则称$\alpha$与$\beta$正交，记为$\alpha\perp \beta$

长度为1的向量称为单位向量，对于任何一个非零的向量$\alpha$，向量$\frac{\alpha}{||\alpha||}$总是单位向量，称此过程为单位化

2.2.1 正交基相关概念

设$\{\alpha_i\}$为一组不含有零向量的向量组，如果$\{\alpha_i\}$内的任意两个向量彼此正交，则称其为正交向量组

如果一个正交向量组中任何一个向量组都是单位向量，则称此向量组为标准正交向量组

在$n$维内积空间中，由$n$个正交向量组组成的基底称为正交基底，

由$n$个标准的正交向量组成的基底称为标准正交基底

定理

向量组$\{\alpha_i\}$为正交向量组的充分必要条件是

$(\alpha_i,\alpha_j)=0,i\ne j$

向量组$\{\alpha_i\}$为标准正交向量组的充分必要条件是

$(\alpha_i,\alpha_j)=\delta_{ij}=\begin{cases}1&i=j\\ 0&i\ne j\end{cases}$

2.2.2 Schmidt正交化(2步)⭐️

千万别把Smith正交化和后面的Smith标准型搞混了

正交向量组合向量组的关系

正交的向量组是一个线性无关的向量组，反之，由一个线性无关的向量组出发，可以构造一个正交向量组。甚至是一个标准正交向量组

怎么构造呢？？？？---》这就是Schmidt正交化

Schmidt正交化与单位化过程：

设$\{\alpha_1,\alpha_2,\cdots,\alpha_r\}$为$n$维内积空间$V$中$r$个线性无关的向量，利用这$r$个线性无关的向量，利用这$r$个向量可以构造与之等价的一个标准正交向量组，而且$span\{\alpha_1,\alpha_2,\cdots,\alpha_r\}$的一个标准正交基

1) 正交化

$$\beta_1=\alpha_1 \\ \beta_2=\alpha_2-\frac{(\alpha_2,\beta_1)}{(\beta_1,\beta_1)}\beta_1 \\ \vdots \\ \beta_r=\alpha_r-\frac{(\alpha_r,\beta_1)}{(\beta_1,\beta_1)}\beta_1-\cdots-\frac{(\alpha_r,\beta_{r-1})}{(\beta_{r-1},\beta_{r-1})}\beta_{r-1}$$

2) 单位化

$\eta_1=\frac{\beta_1}{||\beta_1||},\eta_2=\frac{\beta_2}{||\beta_2||},\cdots,\eta_r=\frac{\beta_r}{||\beta_r|}$

显然，$\{\eta_1,\eta_2,\cdots,\eta_r\}$是一组标准的正交向量组

例子

2.3 正交(酉)变换⭐️

2.3.1 酉矩阵和正交矩阵

酉矩阵

设$A$为一个$n$阶复矩阵，如果满足$A^HA=AA^H=I$

则称$A$为酉矩阵，一般记作$A\in U^{n\times n}$

$A$是酉矩阵的充要条件是$A$的每个特征值$\lambda_i$的模$|\lambda_i|=1$

正交矩阵

设$A$为一个$n$阶实矩阵，如果其满足$A^TA=AA^T=I$

则称$A$为正交矩阵，一般记作$A\in E^{n\times n}$

例子

$$1. \begin{bmatrix}0&\frac{\sqrt{2}}{2}&\frac{\sqrt{2}}{2}\\ 1&0&0\\ 0&-\frac{\sqrt{2}}{2}&\frac{\sqrt{2}}{2}\end{bmatrix} \\ 2.\begin{bmatrix}-\frac{2}{3}&-\frac{1}{3}&\frac{2}{3}\\ \frac{2}{3}&-\frac{2}{3}&\frac{1}{3}\\ \frac{1}{3}&\frac{2}{3}&\frac{2}{3}\end{bmatrix} \\ 3. \begin{bmatrix}cos\theta&-sin\theta\\ sin\theta&cos\theta\end{bmatrix} \\ 4. \begin{bmatrix}-cos\theta&0&isin\theta\\ 0&1&0\\ i\sin\theta&0&-\cos\theta\end{bmatrix}$$

前三个都是正交矩阵

第四个为酉矩阵

总结

设$A\in E^{3\times 3}$，那么

$$T^{-1}AT=\begin{bmatrix}a&0&0\\ 0&\cos\theta&-\sin\theta\\ 0&\sin\theta&\cos\theta\end{bmatrix}$$

这里当$|A|=1$时，$a=1$，当$|A|=-1$时，$a=1$

性质

定理

设$A\in C^{n\times n}$，$A$是一个酉矩阵(正交矩阵)的充分必要条件为$A$的$n$个列(或行)向量组是标准正交向量组

2.3.2 酉相似

设给定$A,B$，若果存在一个酉矩阵$U\in C$,使得$U^{-1}AU=U^HAU=B$，我们称$A$和$B$酉相似。

如果$U$可以取为实数，那我们就说$A$和$B$实正交相似。

如果$A$与一个对角矩阵酉相似，我们称$A$可以酉对角化。

如果$A$与一个对角矩阵实正交相似，我们称$A$可以实正交对角化

2.3.3 正交变换的判定

设$T$是内积空间$V$的线性变换，若$T$能保持$V$中向量内积不变，即对任何$(\alpha,\beta)\in V$，都有

$$(T\alpha,T\beta)=(\alpha,\beta)$$

则线性变换$T$称为$V$的一个正交变换。(即变换后，内积不变)

2.4 正规矩阵

2.4.1 正规矩阵概念

设$A\in C^{n\times n}$,且$A^HA=AA^H$，那么我们称矩阵$A$为一个正规矩阵

设$A\in R^{n\times n}$,且$AA^T=A^TA$，那么我们称矩阵$A$为一个实正规矩阵

例子

$\begin{bmatrix}1&-1\\ 1&1\end{bmatrix}$为实正规矩阵

$H-$矩阵，反$H-$矩阵，正交矩阵，酉矩阵，对角矩阵都是正规矩阵

2.4.2 正规矩阵性质

• 设$A$是一个正规矩阵，则与$A$酉相似的矩阵一定是正规矩阵
• 设$A$是一个正规矩阵且又是三角矩阵，则$A$必为对角矩阵

---

设$A$是一个正规矩阵

• A是厄米特的充要条件是：$A$的特征值全为实数
• $A$是反厄米特矩阵的充要条件是:A的特征值为零或纯虚数
• A是酉矩阵的充要条件是$A$的特征值的模长为1

2.4.3 正规矩阵的结构定理

根据第三章的舒尔定理，可以证明

矩阵$A\in C^{n\times n}$,为正规矩阵的充要条件是:存在酉矩阵$Q$，使得$A$酉相似与对角形矩阵

$$Q^HAQ=Q^{-1}AQ=\begin{bmatrix}\lambda_1&&&\\ &\lambda_2&&\\ &&\ddots&\\ &&&\lambda_n\end{bmatrix}$$

其中$\lambda_1,\lambda_2,\cdots,\lambda_n$是$A$的特征值

推论，可以出判断题

• n阶正规矩阵有n个线性无关的特征向量(必要不充分)
• 可对角化的矩阵不一定可酉对角化
• 正规矩阵属于不同特征值的特征向量彼此正交

2.5 最小二乘⭐️

根据我们在本科学的知识点，求$Ax=b$

当$r(A)=r(A|b)$时，我们才有解？？

但是大多数实际情况，是无解的情况，

我们想求出一个最靠近答案的解？？

使得$||Ax-b||_2$最小

下面直接给答案

$A^TAx=A^TB$就是最小二乘解

、例子

$$\begin{cases} x_1+x_2=1 \\ x_1+x_3=2 \\ x_1+x_2+x_3=0 \\ x_1+2x_2-x_3=-1\end{cases}$$

解如下

$$A=\begin{bmatrix}1&1&0 \\ 1&0&1 \\ 1&1&1 \\ 1&2&-1\end{bmatrix},A^T= \begin{bmatrix}1&1&1&1 \\ 1&0&1&2 \\ 0&1&1&-1\end{bmatrix},B= \begin{bmatrix}1 \\ 2 \\ 0\\ -1\end{bmatrix} \\ so \quad A^TAX=\begin{bmatrix}4&4&1 \\ 4&6&-1 \\ 1&-1&3\end{bmatrix} \begin{bmatrix}x_1\\ x_2 \\x_3 \end{bmatrix}= \begin{bmatrix}2\\ -1 \\3\end{bmatrix}=A^TB \\ x_1=\frac{17}{6},x_2=-\frac{13}{6},x_3=-\frac{4}{6}$$

2.6 正交投影变换(书上没有-不用看)

2.6.1 幂等矩阵

设$A\in C^{n\times n}$，如果$A$满足$A^2=A$则称$A$是一个幂等矩阵

性质

• $A^T,A^H,I-A,I-A^T,I-A^H$都是幂等矩阵

• $A(I-A)=(I-A)A=0$

• $N(A)=R(I-A)$

• $Ax=x$的充分必要条件是$x\in R(A)$

• $C^n=R(A)\oplus N(A)$,$x=Ax+(x-Ax)$

  R(A)指的是A的值域,N(A)是其零空间

• $N(A)=R(I-A)$

  如果$x\in N(A)$,则有$Ax=0$

  可知$x-Ax=x-0=x$，整理为$(I-A)x=x$

  因此$x\in R(I-A)$，即可得$N(A)\subseteq R(I-A)$

幂等矩阵的结构定理

设$A$是一个秩为$r$的$n$阶矩阵，那么$A$为一个幂等矩阵的充分必要条件是存在$P\in C^{n\times n}_n$使得

$P^{-1}AP=\begin{bmatrix}I_r&0\\ 0&0\end{bmatrix}$

设$A$是一个$n$阶幂等矩阵，则有

$Tr(A)=rank(A)$

幂矩阵与投影变换

设$S,T$是$n$维酉空间$V$的两个子空间，且$V=S\oplus T$，则对于$V$中任一向量$\alpha$均可唯一的表示为

$\alpha=x+y,x\in S,y\in T$

则称$x$是$\alpha$沿$T$到$S$的投影，$y$是$\alpha$沿$S$到$T$的投影

由上式确定的线性变换$\tau:V\to S\subseteq V\\ \tau(\alpha)=x$

称为$V$沿$T$到$S$的投影变换

定理

设$A$是一个$n$阶幂等矩阵，则线性变换$\tau(\alpha)=A\alpha,\forall \alpha\in C^n$

是$C^n$沿着$N(A)$到$R(A)$的投影变换

提示：$C^n=R(A)\oplus N(A),\alpha=A\alpha+(\alpha-A\alpha)$,其中$A\alpha\in R(A),(\alpha-A\alpha)\in N(A)$

定理

设$\tau$是$n$维酉空间$V$上的线性变换，则下列命题等价

• $\tau$是$V$上的投影变换
• $\tau ^2=\tau$
• $\tau$的矩阵表示$A$满足$A^2=A$

2.6.2 概念

正交补

正交投影变换

设$A$是一个$n$阶幂等的$H-$矩阵，则线性变换

$\sigma(\alpha)=A\alpha,\forall \alpha \in C^n$

是$C^n$到$R(A)$的正交投影变换

正交投影是指像空间U和零空间W相互正交子空间的投影。

2.6.3 总结

为什么投影变换和正交投影变换的区别是幂等矩阵是否是Hermite矩阵？

投影变换的充要条件是A^2=A， 正交投影变换的充要条件是A^2=A，且A是Hermite矩阵。

2.7 厄米特二次型