矩阵

INFO

本文介绍一些矩阵基础。

向量形式下的方差计算

向量形式下的方差计算是通过将标量的平方和表示为向量的范数（norm）平方来实现的。这里的 $\parallel \cdot \parallel$ 表示的是向量的 欧几里得范数（也称为 L2范数）。让我们详细解释这一点。

1. 向量的欧几里得范数

欧几里得范数（通常用 $\parallel \cdot \parallel$ 表示）是指向量中各个元素平方和的平方根。对于一个 $m\times 1$ 的列向量 $\mathbf{x}$，其欧几里得范数定义为：

$$\parallel \mathbf{x}\parallel =\sqrt{\sum _{i=1}^m{x}_i^2}$$

2. 方差的向量形式表示

我们先回顾标量的方差定义：

$${\sigma }^2=\frac{1}{m}\sum _{i=1}^m(A_i-\overline{A}{)}^2$$

在这里，$A_i$ 是可达性向量 $A$ 的第 $i$ 个元素，$\overline{A}$ 是 $A$ 的平均值。

3. 转换为向量形式

当我们将方差的计算转换为向量形式时，可以将每个 $A_i-\overline{A}$ 看作是向量 $A$ 减去一个向量 $\overline{A}\mathbf{1}$，其中 $\mathbf{1}$ 是一个全为1的向量。于是：

$$A-\overline{A}\mathbf{1}=\left(\begin{array}{c}{A}_1-\overline{A}\\ A_2-\overline{A}\\ ⋮\\ A_m-\overline{A}\end{array}\right)$$

其欧几里得范数（L2范数）就是：

$$\parallel A-\overline{A}\mathbf{1}\parallel =\sqrt{\sum _{i=1}^m(A_i-\overline{A}{)}^2}$$

因此，方差可以表示为：

$${\sigma }^2=\frac{1}{m}\parallel A-\overline{A}\mathbf{1}{\parallel }^2$$

4. 最小化方差

为了最小化方差，我们需要最小化 $\parallel A-\overline{A}\mathbf{1}{\parallel }^2$。而在许多优化问题中，常常忽略 $\frac{1}{m}$ 这一常数因子，因此最终目标是最小化 $\parallel A-\overline{A}\mathbf{1}{\parallel }^2$。

总结

• $\parallel \cdot \parallel$ 表示 欧几里得范数，即向量的各元素平方和的平方根。
• 方差的向量形式 通过欧几里得范数的平方来表示向量中每个元素与平均值的偏差平方和。
• 最小化方差 即为最小化这一偏差的平方和，因此可以表示为最小化 $(PS-a{)}^2$，其中 $PS$ 是可达性向量，$a$ 是其平均值。

欧几里得范数

欧几里得范数（L2范数）的平方确实可以通过向量的转置与原向量的乘积来计算。

1. 欧几里得范数的定义

对于一个 $m\times 1$的列向量 $\mathbf{x}$，其欧几里得范数（L2范数）定义为：

$$\parallel \mathbf{x}\parallel =\sqrt{\sum _{i=1}^m{x}_i^2}$$

2. 欧几里得范数的平方

欧几里得范数的平方表示为：

$$\parallel \mathbf{x}{\parallel }^2=\sum _{i=1}^m{x}_i^2$$

3. 用转置和原向量的乘积表示范数的平方

将欧几里得范数的平方表示为向量的转置与原向量的乘积，可以如下进行：

$$\parallel \mathbf{x}{\parallel }^2={\mathbf{x}}^{\mathrm{\top }}\mathbf{x}$$

4. 详细计算步骤

假设 $\mathbf{x}$是一个 $m\times 1$的列向量：

$$\mathbf{x}=\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_m\end{array}\right)$$

其转置 ${\mathbf{x}}^{\mathrm{\top }}$是一个 $1\times m$的行向量：

$${\mathbf{x}}^{\mathrm{\top }}=\left(\begin{array}{cccc}{x}_1& x_2& \dots & x_m\end{array}\right)$$

计算 ${\mathbf{x}}^{\mathrm{\top }}\mathbf{x}$的结果是一个标量（1×1的矩阵）：

$${\mathbf{x}}^{\mathrm{\top }}\mathbf{x}=\left(\begin{array}{cccc}{x}_1& x_2& \dots & x_m\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_m\end{array}\right)=x_1^2+x_2^2+\cdots +x_m^2$$

这正好等于向量 $\mathbf{x}$的欧几里得范数的平方 $\parallel \mathbf{x}{\parallel }^2$。

5. 总结

• 欧几里得范数的平方 可以通过向量的转置与原向量的乘积来计算，即 $\parallel \mathbf{x}{\parallel }^2={\mathbf{x}}^{\mathrm{\top }}\mathbf{x}$。
• 欧几里得范数 是向量中各元素平方和的平方根，即 $\parallel \mathbf{x}\parallel =\sqrt{{\mathbf{x}}^{\mathrm{\top }}\mathbf{x}}$。

这种表示方式在许多数学和工程领域中非常有用，因为它将范数计算与矩阵操作（如转置和乘积）联系了起来。

矩阵分解

以下是正定矩阵、Cholesky分解、特征值分解（包括特征值、特征向量）、谱分解以及奇异值分解的总结与区分：

---

1. 正定矩阵

• 定义：
  一个实对称矩阵 $A$ 是正定的，如果对所有非零向量 $x$，满足 $x^{T}Ax>0$。

  • 性质：
    • 所有特征值均为正。
    • 可以进行Cholesky分解。

• 几何意义：正定矩阵常用作二次型中的系数矩阵，描述凸二次曲面的性质。

---

2. Cholesky分解

• 定义：
  对于正定矩阵 $A$，可以分解为下列形式：

  $$A=L{L}^T$$

  其中 $L$ 是一个下三角矩阵，$L^T$ 是其转置。

• 特点：

  • 仅适用于正定矩阵。
  • 高效，计算复杂度比通用分解方法低。
  • 常用于加速数值计算（如求解线性方程组）。

---

3. 特征值分解

• 定义：
  对于方阵 $A$，如果存在标量 $\lambda$ 和非零向量 $v$，使得：

  $$Av=\lambda v$$

  则 $\lambda$ 是 $A$ 的特征值，$v$ 是对应的特征向量。

• 特征值分解公式：
  如果 $A$ 是实对称矩阵，特征值分解为：

  $$A=Q\mathrm{\Lambda }{Q}^T$$

  其中 $Q$ 是正交矩阵（特征向量组成的矩阵），$\mathrm{\Lambda }$ 是对角矩阵（特征值组成的矩阵）。

• 应用：

  • 数据降维（如PCA）。
  • 矩阵幂运算或指数运算。
  • 分析系统稳定性（线性代数和动力系统）。

---

4. 谱分解

• 定义：
  谱分解是特征值分解的另一种表达，适用于任意对称矩阵。
  对 $A$ 的谱分解可以写为：

  $$A=\sum _{i=1}^n{\lambda }_i{v}_i{v}_i^T$$

  其中 ${\lambda }_i$ 是 $A$ 的特征值，$v_i$ 是归一化后的特征向量。

• 区别：

  • 谱分解是特征值分解的几何视角。
  • 强调矩阵是由其特征值和特征向量加权组合构成的。

---

5. 奇异值分解（SVD）

• 定义：
  对于任意矩阵 $A$（不要求方阵或对称），可以分解为：

  $$A=U\mathrm{\Sigma }{V}^T$$
  • $U$：$A{A}^T$ 的特征向量矩阵（列正交）。
  • $V$：$A^{T}A$ 的特征向量矩阵（列正交）。
  • $\mathrm{\Sigma }$：奇异值构成的对角矩阵（非负）。

• 特点：

  • 适用于任意矩阵。
  • 奇异值对应矩阵的尺度信息，反映矩阵的“结构性”。

• 应用：

  • 矩阵压缩（如图像处理）。
  • 低秩近似（数据降维）。
  • 求解不适定问题。

---

核心区分

方法	适用范围	特点	应用场景
正定矩阵	实对称正定矩阵	所有特征值正，可Cholesky分解。	二次优化、数值稳定性。
Cholesky分解	正定矩阵	快速分解为 $L{L}^T$，仅限正定矩阵。	数值计算、线性方程组求解。
特征值分解	实对称矩阵	表达为 $Q\mathrm{\Lambda }{Q}^T$，强调特征值和特征向量。	数据分析、矩阵运算。
谱分解	对称矩阵	结合几何解释，将矩阵分解为特征向量加权和。	凸优化、矩阵近似。
奇异值分解（SVD）	任意矩阵	分解为 $U\mathrm{\Sigma }{V}^T$，奇异值可量化矩阵性质。	图像处理、低秩近似、主成分分析（PCA）。

总结：

• Cholesky分解和正定矩阵关系紧密，仅适用于正定矩阵；
• 特征值分解与谱分解是针对实对称矩阵的特定分解方法；
• **奇异值分解（SVD）**适用于任意矩阵，具有更广泛的应用场景。

特征值与特征向量的总结

特征值和特征向量是线性代数中的核心概念，广泛应用于矩阵的分析、数据降维、主成分分析（PCA）、物理学中的振动分析等领域。理解它们的定义、求解过程及其背后的几何和代数含义，对于深入学习矩阵理论和应用非常重要。

---

1. 特征值和特征向量的定义

对于一个 $n\times n$ 的方阵 $A$，如果存在一个标量 $\lambda$ 和一个非零向量 $v$ 满足下式：

$$Av=\lambda v$$

则 $\lambda$ 称为矩阵 $A$ 的 特征值，而 $v$ 称为矩阵 $A$ 对应的 特征向量。

关键细节：

• 特征向量 $v$ 必须是 非零 向量。
• 特征值 $\lambda$ 是一个标量，表示矩阵 $A$ 在特征向量方向上的伸缩因子。

特征向量是矩阵在特定方向上保持不变的方向，而特征值描述的是这个方向上向量的拉伸或压缩的程度。

---

2. 特征方程的推导

从定义 $Av=\lambda v$ 开始，可以通过如下变形得到：

$$Av-\lambda v=0$$$$(A-\lambda I)v=0$$

其中 $I$ 是单位矩阵。为了保证方程有非零解 $v$，要求矩阵 $A-\lambda I$ 是 奇异的（即不可逆），否则方程只会有零解。

为什么会有零解？

• 如果 $A-\lambda I$ 可逆，则 $(A-\lambda I)v=0$ 只有零解，因为可逆矩阵的方程 $(A-\lambda I)v=0$ 只有 $v=0$ 这个解。
• 特征值的几何意义：只有当矩阵 $A-\lambda I$ 不可逆时，才能有非零解 $v$，这些解就是矩阵 $A$ 的特征向量。

---

3. 求解特征值和特征向量

特征值的求解：

1. 构造特征方程：
   对于矩阵 $A$，构造 $A-\lambda I$，并计算其行列式：

   $$det(A-\lambda I)=0$$

   这是 特征方程，其解即为矩阵 $A$ 的特征值 $\lambda$。

2. 求解特征多项式：
   通过求解特征方程 $det(A-\lambda I)=0$，可以得到矩阵 $A$ 的所有特征值 ${\lambda }_1,{\lambda }_2,\dots ,{\lambda }_n$。

特征向量的求解：

对于每一个特征值 $\lambda$，代入方程 $(A-\lambda I)v=0$，解这个线性方程组，得到对应的特征向量 $v$。

• 解线性方程组 $(A-\lambda I)v=0$ 通常可以使用高斯消元法或矩阵分解等方法得到特征向量 $v$。
• 由于特征向量有自由度，可以通过乘以常数得到不同的解，因此通常我们选择归一化特征向量。

---

4. 特征值和特征向量的几何与代数意义

几何解释：

• 特征值 $\lambda$：描述矩阵 $A$ 对特征向量 $v$ 的伸缩比例，表示 $A$ 在特征向量方向上作用后的变化倍数。
• 特征向量 $v$：表示矩阵 $A$ 不改变方向的向量，特征向量经过矩阵 $A$ 的变换后，依然指向同一方向，只是可能被拉伸或压缩。

代数解释：

• 通过解特征方程 $det(A-\lambda I)=0$，我们得到矩阵的特征值，这些特征值代表了矩阵对不同方向的伸缩。
• 对于每个特征值 $\lambda$，通过解线性方程 $(A-\lambda I)v=0$，我们得到对应的特征向量，这些特征向量是矩阵作用下保持方向不变的向量。

---

5. 示例

考虑矩阵 $A=\left[\begin{array}{cc}4& 1\\ 2& 3\end{array}\right]$。

1. 构造特征方程：

   $$A-\lambda I=\left[\begin{array}{cc}4-\lambda & 1\\ 2& 3-\lambda \end{array}\right]$$

   计算行列式：

   $$det(A-\lambda I)=(4-\lambda )(3-\lambda )-2\cdot 1={\lambda }^2-7\lambda +10$$

   特征方程为：

   $${\lambda }^2-7\lambda +10=0$$

2. 求解特征值： 解方程 ${\lambda }^2-7\lambda +10=0$，得到特征值：

   $${\lambda }_1=5,{\lambda }_2=2$$

3. 求解特征向量：

   • 对于 ${\lambda }_1=5$，代入 $(A-5I)v=0$：

     $$\left[\begin{array}{cc}-1& 1\\ 2& -2\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=0$$

     得到特征向量 $v_1=\left[\begin{array}{c}1\\ 1\end{array}\right]$。

   • 对于 ${\lambda }_2=2$，代入 $(A-2I)v=0$：

     $$\left[\begin{array}{cc}2& 1\\ 2& 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=0$$

     得到特征向量 $v_2=\left[\begin{array}{c}-1\\ 2\end{array}\right]$。

---

6. 总结

• 特征值 $\lambda$ 和 特征向量 $v$ 满足方程 $Av=\lambda v$。
• 特征方程 $det(A-\lambda I)=0$ 用来求解矩阵 $A$ 的特征值。
• 对于每个特征值 $\lambda$，通过解方程 $(A-\lambda I)v=0$ 求得对应的特征向量。
• 特征值描述了矩阵在特征向量方向上的伸缩比例，特征向量则描述了矩阵作用下保持不变的方向。

通过求解特征值和特征向量，我们可以更好地理解矩阵的性质，进而在多个应用中发挥作用。