线性代数复习

线性代数重要性质与定理总结

---

1. 基本概念与符号

• 矩阵表示

  • $ A \in \mathbb{R}^{m \times n} $：$ m $ 行 $ n $ 列的实矩阵。
  • 列向量：$ x \in \mathbb{R}^n $，默认按列排列；行向量为 $ x^T $。
  • 矩阵元素：$ A_{ij} $ 表示第 $ i $ 行第 $ j $ 列的元素。

• 矩阵分块

  • 列分块：$ A = [a^1 \ a^2 \ \cdots \ a^n] $，其中 $ a^j $ 为第 $ j $ 列。
  • 行分块：$ A = [a_1^T; \ a_2^T; \ \cdots; \ a_m^T] $，其中 $ a_i^T $ 为第 $ i $ 行。

---

2. 矩阵乘法

• 定义

  • $ C = AB $，其中 $ C_{ij} = \sum_{k=1}^n A_{ik} B_{kj} $。
  • 矩阵乘积维度：$ A \in \mathbb{R}^{m \times n}, B \in \mathbb{R}^{n \times p} \Rightarrow C \in \mathbb{R}^{m \times p} $。

• 特殊乘积形式

  • 内积：$ x^T y = \sum_{i=1}^n x_i y_i $。
  • 外积：$ xy^T \in \mathbb{R}^{m \times n} $，元素为 $ x_i y_j $。
  • 矩阵-向量乘积：
    • 按行：$ Ax = [a_1^T x; \ a_2^T x; \ \cdots; \ a_m^T x] $。
    • 按列：$ Ax = \sum_{j=1}^n x_j a^j $。

• 矩阵乘积的四种视角

  1. 行-列内积：$ C_{ij} = a_i^T b^j $。
  2. 列-行外积和：$ AB = \sum_{k=1}^n a^k b_k^T $。
  3. 矩阵-列向量乘积：$ AB = [A b^1 \ A b^2 \ \cdots \ A b^p] $。
  4. 行向量-矩阵乘积：$ AB = [a_1^T B; \ a_2^T B; \ \cdots; \ a_m^T B] $。

• 性质

  • 结合律：$ (AB)C = A(BC) $。
  • 分配律：$ A(B + C) = AB + AC $。
  • 不可交换：一般 $ AB \neq BA $。

---

3. 运算与性质

• 单位矩阵与对角矩阵

  • 单位矩阵 $ I \in \mathbb{R}^{n \times n} $，满足 $ AI = A = IA $。
  • 对角矩阵 $ D = \text{diag}(d_1, \dots, d_n) $，非对角元素为 0。

• 转置

  • 转置性质：
    • $ (A^T)^T = A $。
    • $ (AB)^T = B^T A^T $。
    • $ (A + B)^T = A^T + B^T $。

• 对称矩阵

  • 对称矩阵：$ A = A^T $。
  • 任何方阵 $ A $ 可分解为对称与反对称矩阵之和：
    $ A = \frac{1}{2}(A + A^T) + \frac{1}{2}(A - A^T) $。

• 迹（Trace）

  • 定义：$ \text{tr}(A) = \sum_{i=1}^n A_{ii} $。
  • 性质：
    • $ \text{tr}(A) = \text{tr}(A^T) $。
    • $ \text{tr}(AB) = \text{tr}(BA) $。
    • 线性性：$ \text{tr}(A + B) = \text{tr}(A) + \text{tr}(B) $。

• 范数（Norms）

  • 向量范数：
    • $ \ell_2 $ 范数：$ |x|_2 = \sqrt{x^T x} $。
    • $ \ell_1 $ 范数：$ |x|_1 = \sum |x_i| $。
    • $ \ell_\infty $ 范数：$ |x|_\infty = \max |x_i| $。
  • 矩阵范数：
    • Frobenius 范数：$ |A|_F = \sqrt{\text{tr}(A^T A)} $。

• 线性相关与秩

  • 列秩 = 行秩 = 矩阵的秩。
  • 满秩矩阵：$ \text{rank}(A) = \min(m, n) $。
  • 秩的性质：
    • $ \text{rank}(AB) \leq \min(\text{rank}(A), \text{rank}(B)) $。

• 逆矩阵

  • 存在条件：方阵且满秩（非奇异）。
  • 性质：
    • $ (A^{-1})^{-1} = A $。
    • $ (AB)^{-1} = B^{-1} A^{-1} $。
    • $ (A^{-1})^T = (A^T)^{-1} $。

• 正交矩阵

  • 定义：列向量正交且归一化，满足 $ U^T U = I $。
  • 性质：
    • 保范性：$ |U x|_2 = |x|_2 $。

• 范围与零空间

  • 列空间 $ \mathcal{R}(A) = {Ax \mid x \in \mathbb{R}^n} $。
  • 零空间 $ \mathcal{N}(A) = {x \mid Ax = 0} $。
  • 正交补关系：$ \mathcal{R}(A^T) \oplus \mathcal{N}(A) = \mathbb{R}^n $。

• 行列式（Determinant）

  • 几何意义：平行多面体的体积。
  • 性质：
    • $ |AB| = |A||B| $。
    • $ |A^{-1}| = 1 / |A| $。
    • $ |A| = 0 \iff A $ 奇异。
  • 递归公式：
    $ |A| = \sum_{j=1}^n (-1)^{i+j} A_{ij} |A_{\backslash i \backslash j}| \quad (\text{按第 } i \text{ 行展开}) $。

• 二次型与半正定矩阵

  • 对称矩阵分类：
    • 正定（PD）：$ x^T A x > 0 \quad (\forall x \neq 0) $。
    • 半正定（PSD）：$ x^T A x \geq 0 $。
    • 负定（ND）、半负定（NSD）、不定。
  • Gram 矩阵：$ G = A^T A $ 必为半正定；若 $ A $ 列满秩，则 $ G $ 正定。

• 特征值与特征向量

  • 定义：$ A x = \lambda x \quad (x \neq 0) $。
  • 对称矩阵性质：
    1. 特征值为实数。
    2. 存在正交特征向量集，可对角化：$ A = U \Lambda U^T $。
  • 迹与行列式：
    • $ \text{tr}(A) = \sum \lambda_i $。
    • $ |A| = \prod \lambda_i $。
  • 优化视角：
    • 最大特征值对应二次型最大值：$ \max_{|x|=1} x^T A x = \lambda_{\max} $。

---

4. 矩阵微积分

• 梯度（Gradient）

  • 标量函数 $ f: \mathbb{R}^{m \times n} \to \mathbb{R} $，梯度为矩阵：
    $ (\nabla_A f(A)){ij} = \frac{\partial f(A)}{\partial A{ij}} $。
  • 重要公式：
    • $ \nabla_x (b^T x) = b $。
    • $ \nabla_x (x^T A x) = 2 A x \quad (A \text{ 对称}) $。

• Hessian 矩阵

  • 定义：二阶偏导数矩阵，对称。
  • 二次型：$ \nabla_x^2 (x^T A x) = 2 A \quad (A \text{ 对称}) $。

• 最小二乘法

  • 目标函数：$ \min_x |Ax - b|_2^2 $。
  • 解：$ x = (A^T A)^{-1} A^T b $。

• 行列式的梯度

  • $ \nabla_A |A| = |A| A^{-T} $。
  • 对数行列式：$ \nabla_A \log |A| = A^{-1} \quad (A \succ 0) $。

• 特征值的优化视角

  • 拉格朗日函数：$ \mathcal{L}(x, \lambda) = x^T A x - \lambda (x^T x - 1) $。
  • 最优解条件：$ A x = \lambda x $，即 $ x $ 为特征向量，$ \lambda $ 为特征值。