线性代数复习
线性代数重要性质与定理总结
1. 基本概念与符号
- 矩阵表示
- $ A ^{m n} \(：\) m $ 行 $ n $
列的实矩阵。
- 列向量：$ x ^n
$，默认按列排列；行向量为 $ x^T $。
- 矩阵元素：$ A_{ij} $ 表示第 $ i $ 行第 $ j $ 列的元素。
- $ A ^{m n} \(：\) m $ 行 $ n $
列的实矩阵。
- 矩阵分块
- 列分块：$ A = [a^1 a^2 a^n] $，其中 $ a^j $ 为第 $ j $ 列。
- 行分块：$ A = [a_1^T; a_2^T; ; a_m^T] $，其中 $ a_i^T $ 为第 $ i $ 行。
- 列分块：$ A = [a^1 a^2 a^n] $，其中 $ a^j $ 为第 $ j $ 列。
2. 矩阵乘法
- 定义
- $ C = AB $，其中 $ C_{ij} = {k=1}^n A{ik} B_{kj} $。
- 矩阵乘积维度：$ A ^{m n}, B ^{n p} C ^{m p} $。
- $ C = AB $，其中 $ C_{ij} = {k=1}^n A{ik} B_{kj} $。
- 特殊乘积形式
- 内积：$ x^T y = _{i=1}^n x_i y_i $。
- 外积：$ xy^T ^{m n} $，元素为 $ x_i y_j $。
- 矩阵-向量乘积：
- 按行：$ Ax = [a_1^T x; a_2^T x; ; a_m^T x] $。
- 按列：$ Ax = _{j=1}^n x_j a^j $。
- 按行：$ Ax = [a_1^T x; a_2^T x; ; a_m^T x] $。
- 内积：$ x^T y = _{i=1}^n x_i y_i $。
- 矩阵乘积的四种视角
- 行-列内积：$ C_{ij} = a_i^T b^j $。
- 列-行外积和：$ AB = _{k=1}^n a^k b_k^T $。
- 矩阵-列向量乘积：$ AB = [A b^1 A b^2 A b^p] $。
- 行向量-矩阵乘积：$ AB = [a_1^T B; a_2^T B; ; a_m^T B] $。
- 行-列内积：$ C_{ij} = a_i^T b^j $。
- 性质
- 结合律：$ (AB)C = A(BC) $。
- 分配律：$ A(B + C) = AB + AC $。
- 不可交换：一般 $ AB BA $。
- 结合律：$ (AB)C = A(BC) $。
3. 运算与性质
- 单位矩阵与对角矩阵
- 单位矩阵 $ I ^{n n} $，满足 $ AI = A = IA $。
- 对角矩阵 $ D = (d_1, , d_n) $，非对角元素为 0。
- 单位矩阵 $ I ^{n n} $，满足 $ AI = A = IA $。
- 转置
- 转置性质：
- $ (AT)T = A $。
- $ (AB)^T = B^T A^T $。
- $ (A + B)^T = A^T + B^T $。
- $ (AT)T = A $。
- 转置性质：
- 对称矩阵
- 对称矩阵：$ A = A^T $。
- 任何方阵 $ A $ 可分解为对称与反对称矩阵之和：
$ A = (A + A^T) + (A - A^T) $。
- 对称矩阵：$ A = A^T $。
- 迹（Trace）
- 定义：$ (A) = {i=1}^n A{ii} $。
- 性质：
- $ (A) = (A^T) $。
- $ (AB) = (BA) $。
- 线性性：$ (A + B) = (A) + (B) $。
- $ (A) = (A^T) $。
- 定义：$ (A) = {i=1}^n A{ii} $。
- 范数（Norms）
- 向量范数：
- $ _2 $ 范数：$ |x|_2 = $。
- $ _1 $ 范数：$ |x|_1 = |x_i| $。
- $ $ 范数：$ |x|= |x_i| $。
- $ _2 $ 范数：$ |x|_2 = $。
- 矩阵范数：
- Frobenius 范数：$ |A|_F = $。
- 向量范数：
- 线性相关与秩
- 列秩 = 行秩 = 矩阵的秩。
- 满秩矩阵：$ (A) = (m, n) $。
- 秩的性质：
- $ (AB) ((A), (B)) $。
- 列秩 = 行秩 = 矩阵的秩。
- 逆矩阵
- 存在条件：方阵且满秩（非奇异）。
- 性质：
- $ (A{-1}){-1} = A $。
- $ (AB)^{-1} = B^{-1} A^{-1} $。
- $ (A{-1})T = (AT){-1} $。
- $ (A{-1}){-1} = A $。
- 存在条件：方阵且满秩（非奇异）。
- 正交矩阵
- 定义：列向量正交且归一化，满足 $ U^T U = I $。
- 性质：
- 保范性：$ |U x|_2 = |x|_2 $。
- 定义：列向量正交且归一化，满足 $ U^T U = I $。
- 范围与零空间
- 列空间 $ (A) = {Ax x ^n} $。
- 零空间 $ (A) = {x Ax = 0} $。
- 正交补关系：$ (A^T) (A) = ^n $。
- 列空间 $ (A) = {Ax x ^n} $。
- 行列式（Determinant）
- 几何意义：平行多面体的体积。
- 性质：
- $ |AB| = |A||B| $。
- $ |A^{-1}| = 1 / |A| $。
- $ |A| = 0 A $ 奇异。
- $ |AB| = |A||B| $。
- 递归公式：
$ |A| = {j=1}^n (-1)^{i+j} A{ij} |A_{i j}| ( i ) $。
- 几何意义：平行多面体的体积。
- 二次型与半正定矩阵
- 对称矩阵分类：
- 正定（PD）：$ x^T A x > 0 (x ) $。
- 半正定（PSD）：$ x^T A x $。
- 负定（ND）、半负定（NSD）、不定。
- 正定（PD）：$ x^T A x > 0 (x ) $。
- Gram 矩阵：$ G = A^T A $ 必为半正定；若 $ A $ 列满秩，则 $ G $ 正定。
- 对称矩阵分类：
- 特征值与特征向量
- 定义：$ A x = x (x ) $。
- 对称矩阵性质：
- 特征值为实数。
- 存在正交特征向量集，可对角化：$ A = U U^T $。
- 特征值为实数。
- 迹与行列式：
- $ (A) = _i $。
- $ |A| = _i $。
- $ (A) = _i $。
- 优化视角：
- 最大特征值对应二次型最大值：$ {|x|=1} x^T A x = {} $。
- 定义：$ A x = x (x ) $。
4. 矩阵微积分
- 梯度（Gradient）
- 标量函数 $ f: ^{m n} \(，梯度为矩阵：\) (A f(A)){ij} =
$。
- 重要公式：
- **$ _x (b^T x) = b $。**
- **$ _x (x^T A x) = 2 A x (A ) $。**
- **$ _x (b^T x) = b $。**
- 标量函数 $ f: ^{m n} \(，梯度为矩阵：\) (A f(A)){ij} =
$。
- Hessian 矩阵
- 定义：二阶偏导数矩阵，对称。
- 二次型：$ _x^2 (x^T A x) = 2 A (A ) $。
- 定义：二阶偏导数矩阵，对称。
- 最小二乘法
- 目标函数：$ _x |Ax - b|_2^2 $。
- 解：$ x = (A^T A)^{-1} A^T b $。
- 目标函数：$ _x |Ax - b|_2^2 $。
- 行列式的梯度
- $ _A |A| = |A| A^{-T} $。
- 对数行列式：$ _A |A| = A^{-1} (A ) $。
- $ _A |A| = |A| A^{-T} $。
- 特征值的优化视角
- 拉格朗日函数：$ (x, ) = x^T A x - (x^T x - 1) $。
- 最优解条件：$ A x = x $，即 $ x $ 为特征向量，$ $ 为特征值。
- 拉格朗日函数：$ (x, ) = x^T A x - (x^T x - 1) $。