跳转到主内容
新派编程网 - 新潮编程理念,全新技术课堂!

线性代数核心概念:正定矩阵、合同矩阵与正交矩阵

引言 在线性代数中,正定矩阵、合同矩阵和正交矩阵是三个关键概念,它们在数学理论和应用领域中扮演着重要角色。

本文将系统性地总结这些概念的定义、性质以及相互关系,并探讨实对称矩阵的特殊性质。

1. 正定矩阵 定义 一个 n×nn \times nn×n 的 实对称矩阵 AAA 称为正定矩阵,如果对于任意非零向量 x∈Rn\mathbf{x} \in \mathbb{R}^nx∈Rn ,都有: xTAx>0{x}^T A {x} > 0xTAx>0 对于复数域,厄米特矩阵 AAA (满足 AH=AA^H = AAH=A )是正定的,如果对任意非零向量 z∈Cn\mathbf{z} \in \mathbb{C}^nz∈Cn ,有 zHAz>0\mathbf{z}^H A \mathbf{z} > 0zHAz>0 。

性质与等价条件 正定矩阵具有以下重要性质,其中许多可互相等价: 特征值全为正实数 行列式为正 : det⁡(A)>0\det(A) > 0det(A)>0 各阶顺序主子式为正 (Sylvester准则) 可逆且逆矩阵也正定 可进行Cholesky分解 : A=LLTA = LL^TA=LLT ,其中 LLL 为下三角矩阵且对角元为正 与单位矩阵合同 :存在可逆矩阵 PPP ,使得 A=PTPA = P^T PA=PTP 主对角线元素全为正 正定矩阵的和仍为正定 几何意义 正定矩阵对应的二次型 xTAx\mathbf{x}^T A \mathbf{x}xTAx 在非零向量上恒正,其等值面 xTAx=1\mathbf{x}^T A \mathbf{x} = 1xTAx=1 是一个椭球面。

在优化中,正定Hessian矩阵保证严格局部极小值。

2. 合同矩阵 定义 两个 n×nn \times nn×n 的实对称矩阵 AAA 和 BBB 称为合同的,如果存在可逆矩阵 PPP ,使得: [ B = P^T A P. ] 对于复矩阵,合同定义为 B=PHAPB = P^H A PB=PHAP ,其中 A,BA, BA,B 为厄米特矩阵。

核心定理:惯性定理 西尔维斯特惯性定理指出,实对称矩阵在合同变换下,其惯性指数 (p,q,r)(p, q, r)(p,q,r) 保持不变: ppp :正特征值个数 qqq :负特征值个数 rrr :零特征值个数( r=n−rank(A)r = n - \text{rank}(A)r=n−rank(A) ) 因此, 两实对称矩阵合同当且仅当它们有相同的惯性指数 。

合同 vs 相似 相似 : B=P−1APB = P^{-1} A PB=P−1AP ,要求特征值完全相同(包括重数) 合同 : B=PTAPB = P^T A PB=PTAP ,只要求惯性指数相同 对于实对称矩阵, 相似必合同,但合同未必相似 。

例如 diag(1,1)\text{diag}(1,1)diag(1,1) 与 diag(4,1)\text{diag}(4,1)diag(4,1) 合同但不相似。

3. 实对称矩阵的特征向量正交性 定理 实对称矩阵不同特征值对应的特征向量必正交。

证明概要 设 Av1=λ1v1A\mathbf{v}_1 = \lambda_1 \mathbf{v}_1Av1​=λ1​v1​ , Av2=λ2v2A\mathbf{v}_2 = \lambda_2 \mathbf{v}_2Av2​=λ2​v2​ ,且 λ1≠λ2\lambda_1 \neq \lambda_2λ1​=λ2​ 。

利用 AT=AA^T = AAT=A 可得: [ \lambda_2 \mathbf{v}_1^T \mathbf{v}_2 = \lambda_1 \mathbf{v}_1^T \mathbf{v}_2, ] 因此 (λ2−λ1)v1Tv2=0(\lambda_2 - \lambda_1) \mathbf{v}_1^T \mathbf{v}_2 = 0(λ2​−λ1​)v1T​v2​=0 ,推出 v1Tv2=0\mathbf{v}_1^T \mathbf{v}_2 = 0v1T​v2​=0 ,即正交。

意义 该性质是 谱定理 的基础:任何实对称矩阵都可被正交矩阵对角化,即存在正交矩阵 QQQ 使 QTAQ=ΛQ^T A Q = \LambdaQTAQ=Λ (对角矩阵)。

4. 正交矩阵 定义 实方阵 PPP 称为正交矩阵,如果: [ P^T P = P P^T = I, ] 即 PT=P−1P^T = P^{-1}PT=P−1 。

名称由来 正交矩阵的列向量(及行向量)构成 标准正交基 :彼此正交且长度为1。

设 P=[p1,…,pn]P = [\mathbf{p}_1, \ldots, \mathbf{p}_n]P=[p1​,…,pn​] ,则: [ \mathbf{p}_i \cdot \mathbf{p} j = \delta {ij}. ] 因此“正交矩阵”得名于其列向量的正交性。

常见混淆澄清 向量正交 :两个向量 u,v\mathbf{u}, \mathbf{v}u,v 正交指 u⋅v=0\mathbf{u} \cdot \mathbf{v} = 0u⋅v=0 正交矩阵 :矩阵 PPP 满足 PTP=IP^T P = IPTP=I ,而非 PTP=0P^T P = 0PTP=0 性质 保持内积和长度: (Px)⋅(Py)=x⋅y(P\mathbf{x}) \cdot (P\mathbf{y}) = \mathbf{x} \cdot \mathbf{y}(Px)⋅(Py)=x⋅y 行列式为 ±1\pm 1±1 对应旋转或反射变换 总结 正定矩阵、合同矩阵和正交矩阵是线性代数的支柱概念: 正定矩阵 刻画了二次型的正定性,与凸优化紧密相关 合同矩阵 描述了二次型在可逆线性替换下的等价类,由惯性指数完全分类 正交矩阵 代表了保持内积的线性变换,常用于坐标变换和数值稳定算法 实对称矩阵的特征向量正交性则连接了这些概念,确保了实对称矩阵可正交对角化,为许多理论(如主成分分析)提供了数学基础。

理解这些概念及其相互关系,对于深入掌握线性代数及其在科学计算、机器学习等领域的应用至关重要。

相关文章