符号约定
| 记号 | 含义 |
|---|---|
| 全体实数 | |
| 全体有序实数对 ,即平面 | |
| 全体 元有序实数组 | |
| 向量(黑体小写字母) | |
| 标量(实数) | |
| 零向量 | |
| 张成(span) | |
| 向量的模(长度) | |
| 当且仅当 | |
| 证毕 |
1. 向量与线性运算
1. 向量的概念
1. 定义
向量是既有大小又有方向的量。具体来说,一个二维向量是一个有序实数对:
其中:
- 是 的第一分量( 分量)
- 是 的第二分量( 分量)
全体二维向量构成的集合记作 。
几何上,把向量 的起点放在平面直角坐标系的原点,则它的终点落在点 上。因此向量可以画成一支从原点出发的箭头: 是箭头终点的横坐标(向右为正), 是纵坐标(向上为正)。代数对象与几何对象一一对应,这是"数形结合"的起点。
类似地, 维向量是 元有序实数组 ,全体记作 。本章为便于画图只讨论 ,但所有定义、定理与证明均可逐字推广到 ——几何直觉先在平面上建立,代数推理天然适用于任意维度。
2. 特性
1. 相等
两个向量 与 相等,当且仅当对应分量相等:
几何上,两支箭头长度相等且方向相同,就表示同一个向量。因此向量是"自由"的:把一支箭头在平面内平移,它所代表的向量不变。通俗地说,平面上的箭头按"经平移后能完全重合"分成等价类,一个向量就是一个等价类,而坐标定义 直接以数对为对象,回避了等价类的细节。
例如, 表示向右 3 个单位、向上 1 个单位的箭头;它与 不相等,因为 ,第一分量不同。
2. 零向量
分量全为零的向量
称为零向量。零向量对应起点与终点重合的箭头,没有确定的方向;约定它与任何向量共线(见 3.3 节)。零向量在线性代数中的地位类似于数 :它是加法的单位元(见 2.4 节运算律第 3 条)。
3. 模
向量 的模(长度、范数)定义为
几何依据是勾股定理:从原点到终点 的箭头,两条直角边长为 与 ,斜边长即上式。模为 的向量称为单位向量。
模的基本性质:
- 非负性:
- 退化性:
- 正齐次性:
证明:
(1) 因 ,,故 ,算术平方根非负。
(2) 若 ,显然 。反之,若 ,则 ;实数的平方非负,两个非负数之和为零必须每一项为零,故 ,即 。
(3) 按定义展开:
其中用到 。两边均为非负数,开平方得 。
由正齐次性,任何非零向量都可分解为
通俗地说,数乘把向量拆成"长度 单位方向",大小与方向由此分离。
例如,, 的单位方向是 ;而 。
2. 线性运算
1. 向量加法
设 ,,它们的和定义为对应分量相加:
几何意义是位移的相继发生(三角形法则):先沿 走一段位移,再沿 走一段位移,总位移就是 。画图时,把 的起点平移到 的终点,从 的起点指向 的终点的箭头即为 。
代数与几何的一致性:从原点沿 到达 ,再沿 走意味着横坐标再增加 、纵坐标再增加 ,终点为 ——正是定义的右端。可见"分量相加"不是人为规定,而是位移合成这一几何事实的代数写照。
当 都以原点为起点时, 恰好是以 为邻边的平行四边形的对角线,称为平行四边形法则(图 1-1)。
2. 标量乘法
设 ,。数乘定义为每个分量同乘 :
几何意义(图 1-2):
- :方向不变,长度拉伸为原来的 倍(如 )
- :方向不变,长度缩短(如 )
- :得到零向量
- :方向反转,长度变为 倍(如 )
其中"长度变为 倍"的严格依据是模的正齐次性(见 1.2 节模的性质 3),而非图形直觉。
3. 负向量与减法
与 长度相等()、方向相反。 的几何形象是"从 的终点指向 的终点"的那支箭头(平移到原点)。验证减法确为加法的逆运算:
每一步分别用了减法定义、结合律、交换律与负元、零元——运算律是推理的"合法手续",这是第一个实例。
4. 运算律
对任意 及 :
| 名称 | 数学表达式 |
|---|---|
| 加法交换律 | |
| 加法结合律 | |
| 零元 | |
| 负元 | |
| 数乘结合律 | |
| 单位标量 | |
| 分配律(对向量加法) | |
| 分配律(对标量加法) |
证明:
通用策略:按分量展开,把向量的等式化归为实数的等式。由向量相等的定义,只需分别验证两个分量。记 ,,。
(1) 的第一分量为 , 的第一分量为 ;由实数加法交换律二者相等。第二分量同理。
(2) 的第一分量为 , 的第一分量为 ;由实数加法结合律二者相等。第二分量同理。
(3) ,用了实数的零元性质。
(4) ,用了实数的负元性质。
(5) 的第一分量为 , 的第一分量为 ;由实数乘法结合律二者相等。第二分量同理。
(6) 。
(7) 的第一分量为 , 的第一分量为 ;由实数乘法对加法的分配律二者相等。第二分量同理。
(8) 的第一分量为 , 的第一分量为 ;由实数分配律(另一方向)二者相等。第二分量同理。
通俗地说,向量的运算律不需要重新发明,它们全部按分量继承自实数的运算律——"数"的规则自动升维到"形"的世界。这八条定律是后文一切推理的合法手续(3.6 节的证明将逐步引用它们),也是"线性空间"公理体系的原型。
3. 线性组合与张成
1. 线性组合
设 ,。形如
的向量称为 与 的线性组合, 称为组合系数。
线性组合是线性代数中最重要的概念——线性方程组、矩阵乘法、基与坐标,本质上都在回答同一个问题:哪些向量能表示成哪些向量的线性组合。
记 ,。对任意 :
即平面上任何向量都是 的线性组合,且系数恰好就是它的坐标。通俗地说,坐标的本质就是相对于这组"标准参考方向"的组合系数。
2. 张成
向量 的全体线性组合构成的集合称为它们的张成:
几何直觉:固定两支箭头 ,让系数取遍所有实数,问"用它们能够到平面上的哪些点"。答案只有三种可能:
- :一切组合都是 ,张成退化为一个点
- 共线(至少一个非零):张成是一条过原点的直线(图 1-3)
- 不共线且都非零:张成是整个平面 (图 1-4)
情形 2、3 的严格证明见 3.5 节。
3. 共线
称为共线的(平行,记作 ),如果存在 使 ,或存在 使 。
该定义涵盖"某个向量是零向量"的情形:零向量与任何向量共线,因为 恒成立。若两个向量都非零,则共线等价于"终点落在同一条过原点的直线上"(习题 1.6)。
4. 判别式
对 ,,定义
引理(共线判别) 设 ,则
证明:
()设 ,即 。因 , 至少一个非零。不妨设 (若 则 ,对换下标 1、2 后以下论证逐字成立)。取 ,则第一分量 ;第二分量由条件及 :
故 ,共线。
()若 ,则
数形结合: 恰好等于 张成的平行四边形的面积(见 3.7 节)。""在几何上就是平行四边形被压扁成一条线段(面积为零),即两向量共线。这个量是行列式的二维雏形。
5. 张成平面判定定理
定理 设 均非零,则以下三个命题等价:
证明:
采用「① ② ③ ①」的环形证法:其中 ② ③ 已由共线判别引理沟通(不共线 ),故只需再证 ① ② 与 ③ ① 两个蕴含。
(③ ①:) 任取 ,要找系数 使 。按分量写出,这是一个关于 的二元一次方程组:
第一式乘 、第二式乘 ,相减消去 :
因 ,可解出 。对称地,第一式乘 、第二式乘 相减(消去 ),得 ;分子分母同乘 ,即 。
代回验证:
考察第一个分量的分子,展开并重新分组:
故第一个分量 。同理第二个分量 。于是 。由 任意,。
(① ②: 不共线) 反证。假设 共线。因二者均非零,由引理存在 使 。于是任意线性组合
三步依次用了替换、数乘结合律、分配律。令 ,则 ,这是过原点、方向为 的直线:每个 的终点 满足直线方程(若 ,由 解出 ,代入得 ;若 则 ,是竖直直线);反之该直线上任一点都形如 。
但这条直线不等于整个平面:取向量 ,计算它与 的判别式
(最后一步用了 与模的退化性),故由引理, 与 不共线,即 。这与 矛盾。故 不共线。
三个命题环形贯通,定理得证。
数形结合:图 1-4 中橙色小点是所有整数系数组合 ()的终点,构成一张倾斜的网格。定理说明:当系数从整数放宽到全部实数时,这张网格密密地铺满整个平面(证明还给出了到达任一点 的精确"导航系数" )。而图 1-3 中共线的情形,无论如何放宽系数,点永远被限制在一条直线上——“一个方向"只能换来"一条轨道”。
例如,,,,二者张成整个平面。取 :
代回验证:。
6. 张成的封闭性
定理 对任意 ,集合 满足:
- 对加法封闭:若 ,则
- 对数乘封闭:若 ,,则
证明:
由张成的定义,存在实数 使
(1) 由结合律与交换律,向量的连加可以任意重排次序与括号,故
再由分配律合并同类项:
这是 的线性组合,故 。
(2) 由分配律与数乘结合律:
故 。
通俗地说,张成是一块"自给自足"的区域:从里面任取向量做线性运算,结果跑不出去。若张成是一条直线(图 1-3),直线上两支向量相加、数乘仍在直线上;若张成是全平面(图 1-4),更无处可逃。具有这种封闭性的集合将来称为线性子空间。请注意证明的每一步都在引用运算律——没有那八条合法手续,这里连一步都迈不出去。
7. 面积解释(选学)
定理 以 为顶点的平行四边形的面积等于
证明(割补法)分三步。
第 1 步(剪切引理):把 换成 (沿 的方向"推歪",称为剪切),平行四边形面积不变。旧平行四边形顶点为 ,新顶点为 。设 ( 同理)。沿平行于 的直线把旧平行四边形靠 一侧切下一个三角形,平移补到另一侧:割下的三角形与新补上的三角形三边分别相等(两条边是 方向上等长的平行线段,第三条边公共),由三角形全等判定(SSS)二者恰好拼合,得到新平行四边形,面积不变——剪切保面积。
第 2 步(剪成矩形):若 ,取 ,则
的第一分量为零,成为竖直向量。再对 做一次剪切(第 1 步中交换 的角色):若 ,取剪切量把 变为水平向量 。于是原平行四边形经过两次保面积的剪切,变成由 与 (其中 )张成的矩形,其面积为
第 3 步(退化情形):若 ( 竖直)且 ,改为沿 剪切 使其水平,同理得矩形面积 。若剪切后 ,即 ,平行四边形退化为一条线段,面积 ,公式仍成立。
这个定理说明: 的符号记录了从 转到 是逆时针()还是顺时针(),即定向; 记录了面积,即测度。一个两行的代数式同时编码了方向与大小,这是行列式在高维的完整推广的预告。
4. 演示图像
配套演示程序(仅依赖 C++ 标准库)把本章内容绘制为 PPM 图像,输出于 output/chapter1/ 目录。图像采用 PPM(P6)格式:文件头为文本(格式标识、宽、高、最大颜色值),其后逐像素存放 R、G、B 三个字节,任何常见看图软件均可打开。
坐标映射(数形结合的代码体现):数学坐标 以原点居中、 轴向上,而图像像素的 轴向下,程序中的换算为
其中 unit 是每数学单位的像素数。第二个式子中的减号正是"翻转 轴"这一几何动作留下的代数痕迹。
| 图像文件 | 内容 | 对应正文 |
|---|---|---|
output/chapter1/fig_1_1_addition.ppm |
平行四边形法则 | 图 1-1,2.1 节 |
output/chapter1/fig_1_2_scalar.ppm |
数乘的伸缩与反向 | 图 1-2,2.2 节 |
output/chapter1/fig_1_3_span_line.ppm |
共线向量的张成是一条直线 | 图 1-3,3.5 节 |
output/chapter1/fig_1_4_span_plane.ppm |
不共线向量的组合铺满平面 | 图 1-4,3.5 节 |
图 1-1(fig_1_1_addition.ppm):深色背景上有单位网格;红色箭头为 ,蓝色箭头为 ,两条灰色辅助线把二者的终点连成平行四边形,绿色箭头 恰好沿对角线——这就是交换律的几何面貌。
图 1-2(fig_1_2_scalar.ppm):四支箭头 (蓝)、(红)、(橙)、(紫)全部落在过原点的同一条直线上——数乘不改变"所在直线",只改变"走多远、朝哪头"。
图 1-3(fig_1_3_span_line.ppm):方向 的灰色直线贯穿画布,橙色点是整数倍的 。即便系数取遍全体实数,也只能在这条直线上滑动。
图 1-4(fig_1_4_span_plane.ppm):以 (红)、(蓝)为"斜坐标轴"(),橙色格点铺开成覆盖整个画布的倾斜网格——不共线的两个方向足以够到平面上的每一点。
5. 小结
| 概念 | 代数形式 | 几何形象 |
|---|---|---|
| 向量 | 有序实数对 | 原点出发的一支箭头(平移不变) |
| 加法 | 对应分量相加 | 三角形 / 平行四边形法则 |
| 数乘 | 每个分量同乘 | 沿原方向伸缩, 时反向 |
| 模 | 箭头长度(勾股定理) | |
| 线性组合 | 用两个方向"搭配"出新向量 | |
| 张成 | 全体组合的集合 | 点 / 直线 / 全平面,对线性运算封闭 |
| 判别式 | 平行四边形有向面积( 共线) |
三条主线:
- 运算律免费继承:向量运算的全部性质按分量归结为实数运算律,而运算律是后文一切推理的合法手续(3.6 节的证明即为示范)。
- 大小与方向分离:——数乘把向量拆成长度与单位方向。
- 预告了行列式:判定共线与否的量同时是面积——代数判别式与几何测度合二为一。
如果 共线,那么其中一个是"冗余"的——去掉一个,张成不变(习题 1.7)。把"冗余"精确化,就得到线性无关与基的概念,这是下一章的主题。
6. 习题
- (证明细节补全) 2.4 节运算律证明中多处写了"第二分量同理"。以 (1)、(5)、(7)、(8) 四条为例,把"同理"部分的实数等式逐一写出,并指明每一步用的是实数的哪条运算律。
- (几何证明) 只用三角形法则的图形(不用分量),解释加法结合律 :三支箭头首尾相接,两种"加括号"方式为何指向同一终点?
- (模的计算)
(a) 求 ,并说明它就是单位正方形的对角线长;
(b) 求 与 的模,解释为何二者相等——模丢失了什么信息?
© 求 的单位方向向量 ,并验证 。 - (张成计算) ,。
(a) 计算 ,判断它们是否张成 ;
(b) 用 3.5 节的公式求 使 ,并代回验证;
© 求 使 。由此写出用 表示 的表达式——你刚刚完成了一次"换基"。 - (退化情形) 证明:;若 ,则 是过原点的直线。(提示:后者可仿照 3.5 节证明中的直线方程论证。)
- (定义的刻画) 设 均非零。证明: 共线 与 的终点落在同一条过原点的直线上。
- (冗余性) 设 共线且均非零。证明 ——去掉任何一个,张成不变。
- (编程) 修改配套演示程序中绘制向量加法的函数:先画 (绿),再从 的终点出发、用黄色箭头按三角形法则画一遍 的路径。重新运行,观察两支和向量完全重合——你"看见"了交换律。
- (编程) 仿照图 1-4 的演示,取 、(共线),画出整数系数组合 的点。观察所有点退化到 轴上——你"看见"了 3.5 节定理的第二步与习题 7 的"冗余性"。
- (向 维推广) 把运算律 (1)(交换律)与 (7)(分配律)的证明逐字改写到 :设 等,验证所有分量。体会代数推理天然适用于任意维度。
- (思考) 三维空间 中,一个非零向量的张成是什么?两个不共线向量的张成是什么?三个向量何时能张成整个 ?(提示:类比"点 线 面 体"的升维模式。)
2. 线性无关与基
第一章末尾留下了一个问题:若两个向量共线,其中一个就是"冗余"的——去掉它,张成不变。本章把"冗余"精确化为线性相关,把"不多不少、恰好够用"的向量组精确化为基,并回答一个根本问题:平面的"维数"到底是什么意思?
1. 线性相关与线性无关
1. 定义
设 ( 为任意正整数)。若存在不全为零的实数 ,使得
则称向量组 线性相关;否则称为线性无关。线性无关的含义是:只要
就必有 ——只有零组合才能抵消回原点。
其中"不全为零"指 中至少一个不为零。本章重点讨论 与 的情形; 的情形将在 3.6 节登场。
几何解读:
- 线性相关:组内方向"互相欠债"——存在一种非零的搭配,使几段位移首尾相接恰好走回原点,说明有的方向可由其余方向"赔付"(2.1 节的冗余定理将严格化这句话)
- 线性无关:除全部系数取零外,任何组合都回不到原点——组内方向彼此独立,谁也替代不了谁(图 2-1 与图 2-2 是两种情形的对照)
2. 特性
1. 含零向量必相关
若 ,则对任何 ,取 :
系数 不全为零,故 线性相关。通俗地说,零向量是"天生的冗余":它自己就能和自己抵消()。
2. 单个向量的相关性
证明:
()若 ,则 ,系数非零,相关。
()设相关,则存在 使 。于是
三步依次用了单位标量律、数乘结合律与条件 。
即:单个非零向量线性无关——一个非零方向不欠任何债。
3. 两个向量:相关当且仅当共线
定理 设 ,则 线性相关 共线(第一章 3.3 节)。
证明:
()设共线。若其一为零向量,由特性 1 已相关;若均非零,由共线定义存在 使 ,于是用分配律(对标量加法)与实数的负元性质:
系数 中第一个为 ,不全为零,相关。
()设相关,存在 使 。
- 若 :移项得 (用了负元与交换律),两边同乘 并用数乘结合律,得
即 是 的倍数,共线。
- 若 :则 且 ,由特性 2 的论证得 ,而零向量与任何向量共线。
证明中的每一步移项、约分都在引用第一章 2.4 节的运算律——八条合法手续再次上岗。
2. 线性相关的刻画
1. 冗余定理
定理 线性相关 其中一个向量可由另一个线性表示(是另一个的实数倍)。
证明:
()设 ,则如 1.3 节所示, 是不全为零的抵消组合,相关。
()设相关。若其一为零向量,则 ( 为另一个),已得表示;若均非零,由 1.3 节定理二者共线,即存在 使 (或 ),得表示。
冗余定理给"冗余"以精确含义:相关组中必有一个成员是多余的——删去它,张成不变(习题 2.8;亦即第一章习题 1.7 的另一面)。线性无关则刻画"无冗余":谁也不能由谁赔出来。图 2-1 中 ,删掉任何一个,剩下的仍张成同一条直线。
2. 判别式判定
第一章的判别式 在此成为唯一的判官。
定理 设 ,,则
证明:
把 按分量写出,得到关于 的齐次线性方程组:
第一式乘 、第二式乘 相减(消去 ),得 ;对称地,第一式乘 、第二式乘 相减(消去 ),得 ,即 。
若 :由 与 (乘积为零且一个因子非零,则另一个为零)得 。故零组合只有零系数,无关。
若 :要证相关。若 ,取 即可;若 ,由第一章 3.4 节引理( 且 )得存在 使 ,于是 是不全为零的抵消组合,相关。
数形结合: 意味着平行四边形面积归零(第一章 3.7 节)——两个方向压扁到一条线上,自然可以互相抵消; 则两个方向撑开一块真正的"面",谁也替代不了谁。
3. 四条命题的汇合
综合第一章 3.5 节(张成平面判定定理)与本章 1.3、2.2 节,对均非零的两个向量 ,以下命题两两等价:
| 命题 | 出处 |
|---|---|
| 第一章 3.4 节引理 | |
| 不共线 | 第一章 3.3 节 |
| 第一章 3.5 节 | |
| 线性无关 | 本章 2.2 节 |
代数(方程组只有零解)、几何(面积非零)、结构(无冗余、张成全平面)在判别式 上会师——这正是"基"概念的入口。
3. 基与坐标
1. 定义(基)
若向量组 同时满足:
- 够用:(平面上任何向量都能表示成它们的线性组合)
- 无冗余: 线性无关(每个成员都不可替代)
则称 是 的一组基。
通俗地说,基是平面的"最省料脚手架":两个方向足够搭到平面任何角落(够用),而且一个都不能少(无冗余)。
注记:在 中,当向量个数恰为 2 时,条件 1 与条件 2 互相蕴含(2.3 节的等价表)——这是"向量个数等于维数"的二维巧合。但当向量个数不是 2 时二者不再等价:3 个向量可以够用却有冗余,1 个向量无冗余却不够用(见 3.6 节)。因此定义按两个条件给出,这套模式将原封不动地推广到高维。
2. 标准基
- 够用:任何 (第一章 3.1 节)
- 无冗余: 迫使
故 是一组基,称为标准基。我们从小使用的"坐标",就是向量关于标准基的组合系数。
3. 坐标:存在且唯一
定理(坐标的存在性与唯一性) 设 是 的一组基,则任意 恰有一对系数 使
这对系数 称为 在基 下的坐标。
证明:
存在性:由条件 1(张成),,故至少存在一组表示。
唯一性:设有两组 。两式相减(第一章减法定义与分配律):
由条件 2(无关),必须 且 ,即两组系数相同。
存在性保证"到得了",唯一性保证"导航指令唯一"——这正是"坐标"一词的全部含义。求解坐标只需解二元一次方程组,第一章 3.5 节的消元法已给出公式:
分母非零正是"基"的保证(2.2 节判定定理)。
例如,取基 ,(),求 的坐标:
代回验证:。(图 2-3)
4. 换基:坐标是"相对的"
同一个向量 :
- 在标准基 下,坐标是
- 在斜基 下,坐标是
向量本身没有变,坐标却变了——坐标是相对于基的读数,不是向量的固有属性。这就像同一座山,从南门与从北门测得的方位数据不同:山(向量)是客观的,读数(坐标)依赖于参照系(基)。基改变时坐标如何换算,是下一章(矩阵)的核心问题之一。
5. 基的最小性
定理 设 是基,则去掉任何一个向量后,张成严格变小:
证明:
首先 显然(第一章 3.6 节封闭性的特例)。要证严格小,需找一个属于 但不属于 的向量—— 就是候选。
由无关性, 不是 的倍数(否则由冗余定理相关);而 恰是 的全体倍数(第一章习题 1.5),故 。
(图 2-4:完整的基铺满整个画布;去掉 后只剩一条黄色直线——“少一个方向,丢失整个平面”。)
这解释了"无冗余"的结构含义:基的每个成员都承担着不可替代的覆盖任务。因此基是最小的张成组——任何更少(只含 1 个向量)的组都张不成 。
6. 维数
基恰好含两个向量,这不是巧合,而是"二维"这个词的数学来源。
引理(三向量必相关) 中任意三个向量 线性相关。
证明:
对 是否共线分类:
- 共线:由 1.3 节定理,存在不全为零的 使 ,于是
系数 不全为零( 至少一个非零),故 相关。
- 不共线:由第一章 3.5 节定理,,故 可表示为 (3.3 节存在性)。于是
系数第三个为 ,不全为零,相关。
定理(基的大小唯一) 的任何一组基都恰含 2 个向量。
证明:
一组基必须同时够用与无冗余:
- 不能只含 1 个向量:单个向量的张成是 或一条过原点的直线(第一章习题 1.5),达不到 ——不够用。
- 不能含 3 个及以上向量:从中任取三个向量,由引理它们线性相关;把这三个的非零抵消组合补上系数 0(对应其余成员)后仍是整组的非零抵消组合,故整组线性相关——违反无冗余。("部分相关则整体相关"的一般论证见习题 2.7。)
- 恰含 2 个是可行的:标准基即实例。
于是定义: 的维数为
维数 = 基的大小 = 张成全平面所需的最少向量数 = 保持线性无关的最多向量数。它不依赖基的选择——任何基都恰含 2 个向量。
通俗地说,平面的"自由度"是 2:锁定平面上的一个向量需要且只需要 2 个独立读数。基就是这 2 个读数的测量方向——方向可以任选(不共线即可),但读数的个数(维数)是空间自身的属性,谁也改不了。
4. 演示图像
配套演示程序(仅依赖 C++ 标准库)把本章内容绘制为 PPM 图像,输出于 output/chapter2/ 目录。
| 图像文件 | 内容 | 对应正文 |
|---|---|---|
output/chapter2/fig_2_1_dependent.ppm |
线性相关:共线冗余与非零抵消 | 图 2-1,1.2 与 2.1 节 |
output/chapter2/fig_2_2_independent.ppm |
线性无关:斜坐标网 | 图 2-2,2.2 节 |
output/chapter2/fig_2_3_coordinates.ppm |
基与坐标:换基与平行四边形分解 | 图 2-3,3.3 与 3.4 节 |
output/chapter2/fig_2_4_minimal.ppm |
基的最小性:去掉一向量张成跌为直线 | 图 2-4,3.5 节 |
图 2-1(fig_2_1_dependent.ppm):(红)与 (蓝)共线()。全部整数系数组合(橙色小点)无论怎样搭配都困在灰色直线上;绿色箭头 恰好压在红色箭头 上——,一个非零组合把两个方向"抵消回零",这就是线性相关的几何面貌。
图 2-2(fig_2_2_independent.ppm):(红)与 (蓝),,线性无关。青色线族是" 坐标取定值"的点集(沿 方向的整条直线),黄色线族是" 坐标取定值"的点集——两族线织成覆盖整个平面的斜坐标网。原点处的绿点标记唯一能"抵消回零"的组合 。
图 2-3(fig_2_3_coordinates.ppm):(绿)在标准基下坐标为 ;在斜基 下解得 。红色路径"先沿 方向走 1.8 步、再沿 方向走 1.4 步"与蓝色路径"先 后 "殊途同归于 的终点——平行四边形分解就是坐标的几何形象,两个橙色点标记中途落点 与 。
图 2-4(fig_2_4_minimal.ppm):完整的基 的整数组合铺满整个画布(橙色点阵);去掉 后,张成收缩为黄色直线——基中没有任何可删的成员,“少一个方向,丢失整个平面”。
5. 小结
| 概念 | 代数形式 | 几何形象 |
|---|---|---|
| 线性相关 | 存在非零系数使组合为零 | 方向冗余:可抵消回原点(图 2-1) |
| 线性无关 | 组合为零 系数全零 | 方向独立:除零外无法抵消(图 2-2) |
| 冗余定理 | 相关 一个是另一个的倍数 | 删掉冗余成员,张成不变 |
| 判别式判定 | 无关 | 平行四边形有面积 |
| 基 | 张成 且线性无关 | 恰好够用的两个方向 |
| 坐标 | 的唯一 | 斜方向上的导航指令(图 2-3) |
| 最小性 | 去掉任何成员张成变小 | 少一个方向,丢失整个平面(图 2-4) |
| 维数 | 自由度为 2 |
三条主线:
- 相关/无关是"共线"的方程组语言: 齐次方程组有非零解 共线 有冗余——判别式 依然是唯一的判官。
- 基 = 够用 + 无冗余:坐标是相对于基的读数,其唯一性恰由无关性保证;换基改变坐标,不改变向量。
- 维数第一次获得精确定义:任何基都恰含 2 个向量——"二维"不再是日常语言,而是定理。
给定基,求坐标就是解线性方程组——下一章把解方程组的过程本身组织成一种新的对象(矩阵),让"换基"“求解”"变换"拥有统一的代数语言。
6. 习题
- (定义辨析) 判断对错并说明理由:
(a) 若 线性相关,则其中必有一个是零向量;
(b) 任何包含零向量的向量组线性相关;
© 若 且 ,则 线性无关。 - (判定计算) 用判别式 判定下列向量组的相关性:
(a) ;
(b) ;
© ;
(d) 。 - (证明) 设 线性无关,证明 也线性无关。(提示:设 ,用分配律整理为 ,再解关于 的方程组。)
- (坐标计算) 取基 ,:
(a) 求 在该基下的坐标;
(b) 求 在该基下的坐标——标准基的基向量在别的基下另有坐标,这正是"换基"。 - (反例) 设 ,(线性相关)。写出 的两组不同表示,说明相关的组不能给出唯一坐标(对照 3.3 节唯一性定理中"无关"条件的作用)。
- (证明) 证明: 线性无关 线性无关。(两个方向的证明都可从"设组合为零,整理系数"入手。)
- (推广) 设 ,向量组中某三个成员线性相关。证明整组线性相关(3.6 节定理证明中用到的事实)。
- (冗余定理的结构) 设 线性相关且 。证明 :删掉冗余成员,张成不变(第一章习题 1.7 现在有了完整的理论武器)。
- (编程) 修改演示 3(坐标分解):另取 ,重新计算坐标并验证 。观察平行四边形随 的变化。
- (思考) 仿照本章,尝试写出 的理论框架:三个向量线性无关是什么意思?什么样的三个向量构成 的基? 应当是几?判别式 的"三维类比"应当长什么样?(提示:对照习题 1.11 的"点→线→面→体"升维模式; 的类比将在行列式一章揭晓。)
3. 矩阵与线性方程组
上一章末尾留下的话头是:求坐标就是解线性方程组,而"解方程组的过程本身"值得被组织成一种新的对象。本章引入矩阵。表面上,矩阵只是一张两行两列的数表;实质上,它是线性映射的代数化身——四个数字封装了一个"搬运整个平面"的规则。我们将看到:同一张数表,既可按行读(方程组),也可按列读(向量的组合),还可当作变换读(把整个平面揉捏变形),三种读法互相翻译,是本章反复出现的主旋律。
1. 矩阵:线性映射的账本
1. 定义
定义(二阶矩阵与矩阵—向量乘法) 一个 矩阵 是四个数排成的方阵
它作用于向量 的结果定义为
即:新向量的第 个分量 = 矩阵第 行与 的逐项相乘再求和。这样,一个矩阵确定了一个规则 ,把平面上的每个向量送到另一个向量。
例如
它把 送到 、把 送到 ——整个平面逆时针旋转了 。矩阵是旋转的账本。
2. 列向量是基向量的去向
定理(列的意义) 设 的第一列为 ,第二列为 ,则对任意 有
证明:直接按定义展开两个分量:
其中第二步交换了乘法次序(数的交换律),第三步用第一章向量加法与数乘的定义。
通俗地说:想知道一个矩阵把平面揉成什么样,只需看它把两个基向量 送到哪里——第一列是 的去向,第二列是 的去向。任意向量 的像不过是这两个去向按 加权求和。矩阵的全部信息浓缩在两个列向量里,其余行为都是线性性的自动结果。图 3-1 把整个标准网格变到新位置的,正是列向量 与 。
3. 线性映射的完整刻画
定义(线性映射) 称规则 为线性映射,若对一切向量与数满足:
| 公理 | 数学表达式 |
|---|---|
| 保加法 | |
| 保数乘 |
合并二者得 :线性映射与线性组合可交换次序——先组合再变换,等于先变换再组合。
定理(矩阵 = 线性映射)
(i)每个矩阵按 定义一个线性映射。
(ii)反之,每个线性映射 都由唯一矩阵 实现: 的两列恰为 与 。
证明:(i)保加法:
第一、三步用了列的意义定理,第二步用第一章向量的加法公理(分量各自相加)。保数乘同理:。
(ii)任取 。由线性性,
可见 的行为完全被 决定;把这两个向量竖着排成两列得到矩阵 ,上式说明 对一切 成立。若另一矩阵 也实现 ,则两矩阵作用在 上给出相同结果,即第一列相同;同理第二列相同,故 。
通俗地说:"矩阵"与"线性映射"是一枚硬币的两面——矩阵是映射的坐标记录,映射是矩阵的几何动作。这条定理保证我们在两者间来回翻译时不会走失:谈几何时想映射,做计算时用矩阵。
2. 矩阵的运算
1. 加法与数乘:矩阵自身构成线性空间
按分量相加、逐项乘数:
几何上, 不是"两个变换的先后执行",而是逐点叠加:(对一切 ),像的向量和向量的和一样遵守平行四边形法则。这一性质说明映射的加法继承了向量的加法。
更深入地看:全体 矩阵在上述加法与数乘下自身构成一个线性空间——八个基向量取
则任何 ,且表示唯一。也就是说矩阵空间是四维的:。"矩阵是向量"不是修辞,而是严格的空间成员资格(第五章将把这条线索推广成抽象线性空间理论)。
2. 乘法:复合的代数
定义(矩阵乘法)
这个看似任意的公式有唯一目的:让矩阵乘法对应映射的复合。
定理(乘法 = 复合) 对一切向量 :。即"先用 变换、再用 变换"的合成动作,恰好由矩阵 一次完成。
证明:记 的两列为 。对 ,由列的意义定理,。再用线性性:
另一方面, 的第 列等于 (在复合式中取 ——严格地说,这里我们先承认 的列由该式定义,下面直接验证按定义展开的乘法公式给出同样的列):,这正是 的第一列按乘法公式算出的结果;第二列同理。于是
通俗地说:矩阵乘法的"行乘列"规则不是背出来的,是被"复合"逼出来的——想一次记录"先 后 "的总效果,别无选择。从现在起可以放心写 而不加括号:无论先复合还是先作用,结果一致。这也立即给出结合律 :两侧作用于任何向量都等于 先行、 最后收尾的同一动作,由矩阵 = 线性映射的唯一性即得。
3. 不可交换性
命题(次序即信息) 一般地 。
反例:取剪切 与旋转 的 。计算两个乘积:
两者在第二列已经不同。几何上看更直接:取 ,"先剪后旋"把剪切后的水平推斜再整体转 ;"先旋后剪"则先把向量转进第二象限再沿新坐标轴剪切——两条路线到达不同终点(图 3-4,红色 与蓝色 分道扬镳)。
通俗地说:复合映射不可交换,正如"穿衣再洗漱"与"洗漱再穿衣"次序不同结果不同。这不是矩阵的缺陷,而是变换世界的真实秩序——代数上表现为 ,几何上表现为路线分歧。
4. 转置与单位矩阵
定义(转置) 是行列互换后的矩阵:。若 (即 ),称 对称。
单位矩阵 是恒等映射的账本:。基本性质汇总:
| 性质 | 数学表达式 | 几何意义 |
|---|---|---|
| 左右单位元 | 恒等变换不改变复合结果 | |
| 转置反转次序 | 行与列互换后复合倒序 | |
| 双重转置 | 两次互换回到自身 | |
| 对称性 | 沿对角线镜像不变 |
其中 可按分量直接验证(左右两侧的 元均为 等等);其深层含义将在第七、八章浮现——对称矩阵对应"沿正交镜面伸缩"的变换,转置则与内积紧密相关。
3. 线性方程组的三重视角
同一个方程组
可以用三种方式读,三种读法对应三张不同的图像。
1. 行视角:两直线求交
每个方程是一条直线: 与 。方程组的解 是两直线的交点(图 3-2,红色与蓝色直线相交于绿色点)。
直线何时无交点(平行)?两直线
平行(或重合)当且仅当方向向量 与 共线,即判别式 。第二章的判别式 再次现身——它判定两行是否"指向同一个方向"。
2. 列视角:凑出目标向量
把未知数当系数、把列当向量:
即 。解方程组 = 求 在基 下的坐标——这正是第二章 3.3 节的内容,逐字重合。消元法给出的解
中, 恰是系数矩阵 的判别式(下一章将命名为行列式)。
3. 变换视角:寻找原像
设 是以 为列的矩阵,方程组即 ,其中 、。解方程组 = 找出被 送到 的所有向量 (原像)。这一视角把解的存在唯一性问题转化为映射的性质问题:
| 情形 | 判别式 | 几何图像 | 解集 |
|---|---|---|---|
| 两列不共线 | 把平面一对一铺满平面 | 唯一解 | |
| , 列空间 | 两列共线, 不在其张成的直线上 | 平面被压扁成直线, 在线外 | 无解 |
| , 列空间 | 恰在压扁后的直线上 | 整条直线的向量被送到同一个 | 无穷多解(一条直线) |
通俗地说:三重视角是同一枚三棱镜——行视角看"约束的交点",列视角看"组合的配比",变换视角看"变换的追溯"。它们不谋而合地指向同一个判官 : 时三问同答(唯一解), 时三问同陷入"退化"。这种"殊途同归"正是线性代数结构感的来源。
4. 逆矩阵
1. 定义与求法
定义(可逆与逆矩阵) 若存在矩阵 使 ,则称 可逆, 记作 。几何上: 是撤销 的变换——先搬过去再搬回来,等于什么都没做。
定理(逆矩阵公式) 设 且 ,则 可逆,且
证明:直接验算两个乘积。主对角线:
除以 即得 。反向乘积逐项同样验算:。
公式中 (主对角线互换、副对角线变号)称为 的伴随矩阵,记 ;口诀:主换副变号,除以行列式。
解方程组的矩阵语言: 且 可逆时,两侧左乘 :。把逆矩阵公式代入并乘开,得到的恰是第一章消元法与第二章坐标公式:
在 、 的记号下即 、。消元法、坐标公式、逆矩阵是同一件事的三套记号。
2. 可逆性的等价刻画
定理(可逆性判据) 下列命题等价:
① ; ② 可逆; ③ 只有零解; ④ 对一切 有解; ⑤ 把线性无关组送到线性无关组。
证明:② ③:若 ,左乘 得 。③ ①(逆否):若 ,则两列共线,设第二列 倍第一列,则 ,有非零解 ,与③矛盾。① ②:逆矩阵公式。④ ①(逆否):若 ,两列张成一条直线,直线外的 (例如任一与列向量不共线的向量)无解。① ④:对每个 , 是解。③ ⑤: 相关 有非零 使 ;③ 说 ,代入即见等价。
通俗地说:可逆的几何本质是"不丢信息"。 意味着两列不共线,平面被一对一地铺满整个平面,像和原像之间可以互相追溯; 意味着某个方向被压扁(甚至整个平面被压成一条线),多个原像重叠成同一个像,像再也无法拆回原像——信息一旦被压扁就不可能无损恢复,这正是不可逆的物理含义。
3. 逆的运算性质
| 性质 | 数学表达式 | 几何意义 |
|---|---|---|
| 逆的逆 | 撤销"撤销"就是原始动作 | |
| 倒序法则 | 先穿鞋后穿袜脱的次序反:脱时先脱鞋(后脱的先撤) | |
| 转置的逆 | 行列互换与撤销互不干扰 |
倒序法则的验证:,另一侧同理。
5. 像与核:变换的骨架
1. 定义
定义(像与核) 设 是矩阵,定义
像(image,又称列空间)是变换能"够到"的全体向量;核(kernel,又称零空间)是被送到零向量的全体向量。
命题(两者都是子空间且各由列向量控制)
(i)(列向量张成的集合);
(ii) 线性无关 ;若 ,则 是一条过原点的直线。
证明:(i) 存在 使 (用了列的意义定理)。(ii)。若两列无关,仅零组合成立,故 ;若相关(共线)且不全为零列,则齐次方程有一维解集——一条过原点的直线(第一章习题的齐次情形;若 零矩阵, 是整个平面,即两维退化情形)。
通俗地说:像回答"变换能到达哪里",核回答"谁会在变换中消失"。两者是一对互补的骨架: 时像满(整个平面)而核空(无人消失)——满射与单射同时成立; 时像瘪成一条直线,同时核膨胀成一条直线——丢了多少维,就多余多少维。
2. 秩与秩一矩阵
定义(秩) ,即像空间的维数(张成像所需的最少方向数)。
在 情形秩只有三种取值:
| 秩 | 列向量状况 | 像 | 核 | 几何动作 |
|---|---|---|---|---|
| 两列不共线() | 整个平面 | 一对一铺满(可逆) | ||
| 两列共线且至少一列非零 | 一条直线 | 一条直线 | 平面压扁到直线 | |
| 两列全为零 | 整个平面 | 一切归零 |
每一行都验证了同一个等式
秩一零化度定理在 的特例。第五章将证明它对任意维数成立。
秩 1 矩阵有一个漂亮的代数结构——它必是外积:
命题(秩 1 = 外积) 当且仅当存在非零列向量 与非零行向量 使 ,即
证明:()两列 与 都是 的倍数;因 均非零, 至少一个非零,故至少一列非零,两列张成一条直线,秩为 1。()秩 1 时两列共线且至少一列非零:取任一非零列作 ,则两列分别 与 ( 中至少一个非零),取 即可( 亦非零)。
通俗地说:外积 的动作分两步理解——先把每个向量投影到方向 上读出一个数(),再把这个数放大成 方向上的长度。全体向量先被压扁到一条数轴,再沿一根指定的箭头重新射出:“读数—重发”。图 3-3 中 (外积 )把一圈向量全部压到橙色直线 上,而蓝色直线 上的向量全部消失——它们是核。
6. 演示图像
本章演示程序位于 src/chapter3,生成图像位于 output/chapter3:
| 图号 | 文件 | 内容 |
|---|---|---|
| 图 3-1 | fig_3_1_matrix_grid.ppm |
矩阵作用于标准网格 |
| 图 3-2 | fig_3_2_line_intersect.ppm |
解方程组 = 两直线求交 |
| 图 3-3 | fig_3_3_rank1_collapse.ppm |
秩 1 矩阵:压扁与消失 |
| 图 3-4 | fig_3_4_composition.ppm |
复合不可交换 |
图 3-1(fig_3_1_matrix_grid.ppm): 作用于整个标准网格(淡色原网格留作对照):网格线仍是直线且等距平行线保持等距(线性性的宏观写照),红色箭头 、蓝色箭头 就是矩阵的两列——看两支箭头,就知道整个网格的去向。
图 3-2(fig_3_2_line_intersect.ppm):行视角的图像:在系数平面 中,两个分量方程各是一条直线(红与蓝),解 是交点(绿)。「解方程组」在几何上被还原为最古老的作图:找交点。
图 3-3(fig_3_3_rank1_collapse.ppm):秩 1 矩阵 :一圈输入向量(灰)的像(绿)全部落在橙色像直线上;蓝色核直线上的向量(及其平行线)整体归零。像损失一维、核补上一维——秩一零化度的直观写照。
图 3-4(fig_3_4_composition.ppm):剪切 与旋转 的 :同一向量 先剪后旋(红)与先旋后剪(蓝)到达不同位置,中间结果 、 以橙点标记——复合的次序本身就是信息。
7. 小结
| 概念 | 代数形式 | 几何形象 |
|---|---|---|
| 矩阵 | 数表 | 线性映射的账本 |
| 列的意义 | 列是基向量的去向(图 3-1) | |
| 乘法 | 行乘列公式 | 变换的复合(图 3-4) |
| 方程组 | 交点 / 坐标 / 原像三重视角(图 3-2) | |
| 逆矩阵 | 撤销变换 | |
| 可逆 | 一对一铺满,不丢信息 | |
| 像与核 | 列空间 / 零空间 | 够到哪里 / 谁会消失(图 3-3) |
| 秩 | 变换后剩下的自由度 | |
| 秩一零化度 | 压扁多少维,就多余多少维 |
三条主线:
- 矩阵与线性映射一一对应:列是基向量的去向,乘法是复合,逆是撤销——每条代数规则都被一条几何事实支撑,反之亦然。
- 解方程组 = 求原像:行视角(交点)、列视角(坐标)、变换视角(原像)互相翻译,可逆性定理与三种视角同时给出解的存在唯一性。
- 退化由判别式统一度量: ⟺ 列共线 ⟺ 压扁 ⟺ 不可逆 ⟺ 有向量消失——一个数裁决了变换的全部命运,这个数的完整身份将在下一章揭晓。
8. 习题
- (计算) 设 ,。求 ,并验证它等于 (列的意义定理)。
- (求逆) 求下列矩阵的逆(或证明不可逆):
(a) ;
(b) ;
© 旋转 的矩阵 (答案应是一个旋转——验证你的结果)。 - (不可交换) 取 ,。计算 与 ,求出差别,并在几何上描述两个复合动作的区别(谁水平剪切谁垂直剪切)。
- (解方程组) 用逆矩阵求解 ,再用行视角(画两条直线)验证。
- (证明) 证明:若 可逆且 ,则 (左消去律)。举例说明 不可逆时消去律失效(提示:取秩 1 矩阵与两列相同的 )。
- (像与核) 对 :求出 与 (各是一条直线),验证两直线互相垂直(这是巧合还是必然?对照第七章——答案与对称性有关)。
- (外积) 把 写成外积 ,并指出它的像直线与核直线的方向。
- (矩阵空间) 证明:全体 矩阵在矩阵加法与数乘下满足第一章的八条向量公理,从而 是四维线性空间, 是它的一组基。
- (对称与反对称) 任何矩阵可分解 ,前者对称、后者反对称()。验证这一分解,并问:反对称矩阵的形状是什么(设 ,它是什么几何变换)?
- (编程) 修改演示 1:把矩阵换为 (旋转)与 (剪切),分别观察网格如何变形。旋转保持网格的方格形状吗?剪切呢?(为第七、八章的"正交变换 vs 一般变换"埋下伏笔。)
4. 行列式
判别式 已在本书中三度现身:第一章它是平行四边形的面积,第二章它是无关性的判官,第三章它裁决可逆性。本章为它正式命名——行列式,并把它当作主角彻底研究:它既是代数对象(一个关于矩阵列向量的函数),也是几何对象(面积缩放因子与定向)。我们会证明它的全部基本性质,包括最重要的乘法公式 ,并用公理化的眼光重新审视:行列式是被"面积"三条件唯一逼出来的函数。
1. 定义
1. 定义:判别式的正名
定义(行列式) 矩阵 的行列式定义为
它等于前两章反复出现的判别式 (把两列取为 、)。记号也写作
口诀:主对角线之积减副对角线之积。例:;剪切矩阵 的行列式恒为 1;旋转矩阵 的行列式恒为 。
2. 三重几何身份
第一章已证 等于两列张成的平行四边形面积(3.7 节剪切证明)。本章再赋予它两个更深层的身份:
| 身份 | 含义 | 出场章节 |
|---|---|---|
| 面积 | $ | \det A |
| 定向 | 平面被镜像翻转 | 本章 3 节、图 4-3 |
| 缩放因子 | 任何区域 的像 满足 $ \operatorname{area}(A(S)) = | \det A |
通俗地说:行列式把一个变换对面积、定向的全部影响压缩成一个数。 告诉你面积放大几倍, 告诉你平面有没有被翻个面。零则宣告区域被压扁——可逆性丧失(第三章)。
2. 行列式与面积
1. 有向面积
定义(有向面积) 规定基向量对 的定向为正(逆时针)。对列向量对 ,定义有向面积:
即从 转到 若为逆时针则取正面积,顺时针取负。
命题(定向判别) 从 沿不超过 的转角到 是逆时针方向; 顺时针; 共线。
证明(设 均非零,极坐标 、,):
因 ,符号完全由 决定:差角在 (从 逆时针转不到半圆即达 )时为正;在 (顺时针)时为负;差角为 或 (共线)时为零。
通俗地说:有向面积是带符号的面积——两个向量除了"张多大的面"还携带着"旋向"信息。叉着手指比一下:从第一列转到第二列是逆时针,记正;顺时针,记负。这个符号将在图 4-3 中以"镜像翻转"的面貌出现。
2. 面积缩放因子
定理(缩放因子) 设 可逆, 是平面上任一"有面积"的区域(可被网格逼近), 是其像,则
证明思路(用第一章的工具严格化):把 用标准网格的正方胞腔逼近。每个小正方形胞腔由 张成,其像是由 (矩阵的两列缩小 倍)张成的小平行四边形,面积为 ,恰好是原面积 的 倍。胞腔互不重叠地拼合(可逆时 一对一),像也互不重叠,总面积按同一倍数缩放,取极限即得。
通俗地说:不需要知道区域的形状,只需要知道它被 变换——面积一律乘上同一个数 。图 4-1 中 ()把单位正方形变成面积恰为 3 的平行四边形。这个结论是多元微积分中换元公式(雅可比行列式)的二维雏形:积分换元时 要乘 才变成新坐标下的面积元。
3. 剪切保面积
剪切矩阵 的行列式为 1,故剪切不改变任何区域的面积。这不是巧合而是第一章 3.7 节"剪切引理"(平行四边形剪拼成等积矩形)的矩阵翻版:行列式为 1 的变换保持面积,几何上如同把一摞卡片推斜——形状变了,张数(面积)没变(图 4-2)。
3. 行列式的代数性质
1. 基本性质表
把行列式看作两列的函数 :
| 性质 | 数学表达式 | 几何意义 |
|---|---|---|
| 转置不变 | 行与列地位对称 | |
| 双线性 | (列二同理) | 有向面积随列向量线性变化 |
| 反对称(交换变号) | 交换旋向,定向翻转 | |
| 退化 | 两列共线 | 平行四边形压扁无面积 |
| 单位矩阵 | 单位变换不缩放、不翻转 | |
| 数乘 | 两列都拉长 倍,面积乘 | |
| 逆 | 撤销缩放:倍数取倒数 |
证明选讲:(反对称)。(双线性)对列一线性:
仅用了数的分配律。(转置不变)?直接算:,。(数乘) 的两列都是原来的 倍,由双线性提出两个 因子。(逆)由下一节的乘法公式:。
特别地,反对称蕴含列相等则行列式为零( 迫使 )——几何上:两列重合,平行四边形退化为线段。
2. 公理化刻画(深入)
定理(行列式的唯一性) 设函数 消费一对列向量、输出一个数,满足:
(i)对每个列向量线性(双线性);(ii)交换两列变号(反对称);(iii)(在标准正方形上归一)。
则 ,即行列式是满足三条件的唯一函数。
证明:把两列按标准基展开:、。反复使用双线性展开:
由反对称,,。代入:
通俗地说:行列式不是被"定义"出来的,而是被三条件逼出来的——想找一个函数既线性地响应每列的伸缩叠加,又对交换列向敏感,还把标准方形认作 1,别无选择,只有 。这三条公理正是"有向面积"的全部直觉:面积随边线性增长、交换两边定向翻转、单位方形面积为一。高阶行列式的定义正是照搬这三条公理——这是本节最重要的启示:公理是定义的推广路线图。
4. 乘法公式
定理(乘法公式) 对任意两个 矩阵:
代数证明:设 、。则
展开八个乘积项:
八项中两对相消: 与 (数的乘法交换律使每对互为相反数)。余下四项按 的两项分组,各自提出公因子:
即 。
几何证明(更有启发):把 先作用于区域 ,面积乘 ;再作用 ,面积乘 。合成的 一次完成两个动作,面积乘积为
对照缩放因子定理即知 。定向同理跟踪符号:两次翻转抵消(负负得正)、一次翻转变号,符号也严格相乘——故不必取绝对值。(严格的符号论证需要缩放因子定理对有向面积成立,这一推广是自然的:有向面积同样按倍数缩放且保留符号信息。)
通俗地说:代数证明是技巧的堆积,几何证明一句话讲完——复合的缩放 = 缩放的复合。图 4-4 演示:放大 2 倍()再旋转 45°(),总效果面积仍放大 4 倍:。乘法公式从此不再是需要背诵的恒等式,而是"面积因子可以约分"的常识。
5. 应用
1. 克拉默法则
定理(克拉默法则) 设 ,方程组 的解为
其中 是把 的第 列换成 后的矩阵。
证明:解的唯一性由第三章可逆性定理。直接验证:
由方程组 、,用 乘第一式、 乘第二式相加:
即 。因 得 ; 对称同理。
几何意义: 是"把目标 换进第 列"的有向面积。解的分子分母都是面积,坐标是面积之比:—— 与第二列张成的面积占两列张成面积的比例,恰是 沿第一列方向的"含量"。这与第二章坐标公式 完全一致:坐标 = 面积比。
2. 行列式的函数论视角(深入)
把 看作矩阵空间 (第三章 2.1 节的四维空间)上的函数,它不是线性的:(二次齐次)。但它限制在每列上是线性的——"双线性"因此得名。这类函数是现代数学中"多重线性代数"的起点;外积、微分形式、以及物理中的叉乘,都是同一思想的化身。初步的联络:第三章 5.2 节的外积 是秩 1 矩阵,其行列式为零(两列共线),而任意两向量 拼成的矩阵行列式 是关于两个向量的反对称双线性函数——"双线性 + 反对称"的模式将在第八章(外积视角看 SVD)与更高级的课程中反复出现。
6. 演示图像
本章演示程序位于 src/chapter4,生成图像位于 output/chapter4:
| 图号 | 文件 | 内容 |
|---|---|---|
| 图 4-1 | fig_4_1_area_scale.ppm |
面积缩放因子 |
| 图 4-2 | fig_4_2_shear_area.ppm |
剪切保面积 |
| 图 4-3 | fig_4_3_orientation.ppm |
负行列式 = 定向反转 |
| 图 4-4 | fig_4_4_multiplicative.ppm |
乘法公式 |
图 4-1(fig_4_1_area_scale.ppm):()把单位正方形(灰色轮廓,两邻边红/蓝箭头)变成橙色平行四边形——数格子可验证面积恰为 3。
图 4-2(fig_4_2_shear_area.ppm):剪切 ()把紫色正方形推歪成橙色平行四边形:底不变、高不变(水平边斜推不改变竖直高度),面积严格不变——卡瓦列里原理的线性代数版本。
图 4-3(fig_4_3_orientation.ppm):()沿 轴镜像:紫色正方形(红边 在前、蓝边 在上,逆时针定向)翻到橙色平行四边形( 不动、 翻转到下方,定向变顺时针)。面积数值不变,但"旋向"被反转——符号的意义。
图 4-4(fig_4_4_multiplicative.ppm):放大 2 倍的 ()与旋转 45° 的 ():紫色单位方形 → 橙色大方块(面积 4)→ 旋转后青色轮廓(面积仍 4)。:面积因子相乘。
7. 小结
| 概念 | 代数形式 | 几何形象 |
|---|---|---|
| 行列式 | 有向面积 / 面积缩放因子 | |
| 有向面积 | 逆时针为正、顺时针为负 | |
| 缩放因子 | $ \operatorname{area}(A(S)) = | \det A |
| 双线性 + 反对称 + 归一 | 三公理唯一确定 | 面积直觉的公理化(升维路线图) |
| 乘法公式 | 复合缩放 = 缩放相乘(图 4-4) | |
| 剪切 | 推斜不推扁,保面积(图 4-2) | |
| 镜像 | 面积不变、定向反转(图 4-3) | |
| 克拉默法则 | 坐标 = 面积之比 |
三条主线:
- 一个数浓缩变换的全部度量信息:面积倍数、定向符号、退化判定全部由 一手包办;零值则统一了"压扁、共线、不可逆、有核"。
- 公理化视角是升维的钥匙:"双线性 + 反对称 + 归一"三条件在二维唯一确定行列式;高维行列式、乃至微分形式,都由同一组公理定义。
- 几何证明与代数证明互补:乘法公式的代数展开验证了正确性,几何论证(缩放复合)揭示了必然性——两个证明合起来才是完整的理解。
8. 习题
- (计算) 求下列行列式,并各自给出几何解释:
(a) ;
(b) ;
© 旋转 角的矩阵(验证恒为 1)。 - (面积计算) 求顶点为 的四边形面积(提示:按对角线剖分成两个三角形,各用有向面积;或直接用两邻边张成的平行四边形)。验证结果等于 的适当组合。
- (证明) 直接展开验证 ,把 4.4 节证明中省略的分组补齐(按 的两项重新组合)。
- (克拉默) 用克拉默法则解 ,指出两个分子行列式各自的几何意义。
- (证明) 证明: 存在非零矩阵 使 (提示:"←"考虑 的列;“→” 取核中非零向量做列)。
- (三角函数) 利用 4.2.1 节的公式 证明:(行列式恒等式即三角恒等式)。
- (公理化) 设 是双线性且反对称的双列函数但 (不一定为 1)。证明 (唯一性定理的推广:归一化条件只影响常数倍)。
- (对称矩阵) 证明对称矩阵 的行列式 当且仅当什么条件?由此说明:若对称矩阵两列共线(),则两列同时是 型向量与其相反……更精确地:证明 且等号成立当且仅当两列共线。(第八章将用特征值重新解读这个不等式:对称矩阵的 。)
- (思考) 三阶行列式的合理定义应当是什么?写出你猜测的公式,并检查它是否满足双线性、反对称、归一三条公理。(提示: 有 6 项、每项是三个数的乘积,符号由排列的奇偶性决定。)
- (编程) 修改演示 3:把镜像矩阵换为 (沿 轴镜像)与旋转 180° 的 。两者的行列式各是多少?观察 ()为什么不是镜像(旋转两个基向量,定向不变)——体会"翻转"与"转半圈"的区别。
5. 线性空间
前四章的全部理论建立在 的具体坐标上。本章把坐标拆掉,只保留"能加、能乘、运算律成立"的骨架——线性空间。抽象不是目的而是杠杆:一套公理、一套证明,同时适用于几何向量、多项式、矩阵、函数乃至无穷级数。我们将在抽象环境中重建基、维数、线性映射的整套理论,并证明前四章反复预告的秩一零化度定理的一般形式。几何上,本章的图像依然发生在平面上——但请记住:平面只是无穷多个线性空间中的一个"模特",定理本身不依赖任何坐标。
1. 公理化定义
1. 定义
定义(线性空间) 设 是一个非空集合,其元素称为向量,其上定义了两个运算:加法 与数乘 ()。若以下八条公理恒成立,则称 (连同两个运算)为一个线性空间(或向量空间):
| 编号 | 公理 | 数学表达式 |
|---|---|---|
| A1 | 加法交换律 | |
| A2 | 加法结合律 | |
| A3 | 零向量存在 | 存在 使 对一切 |
| A4 | 负向量存在 | 对每个 存在 使 |
| M1 | 数乘分配(对向量) | |
| M2 | 数乘分配(对数) | |
| M3 | 数乘结合律 | |
| M4 | 单位元 |
通俗地说:线性空间就是"凡是要用的运算规则都成立"的地方。八条公理不描述向量"是什么"(箭头?多项式?声音信号?),只描述向量"如何运算"。只要运算律成立,前四章发展的每件武器——线性组合、相关无关、基、坐标——都可以原封不动地搬进来。
从公理立即可推出一批"免费"结论(证明只用公理,不用坐标):
命题(零向量与负向量的唯一性,加法消去律)(i)满足 A3 的零向量唯一;(ii)每个向量的负向量唯一;(iii);(iv),,。
证明:(i)若 都满足 A3,则 (把 当零向量用)(A1)(把 当零向量用)。(ii)若 ,两侧加 (A4)并反复用 A2、A3 即得 。(iii)两侧加 同理。(iv)(M2),两边加 得 ;(M4、M2、刚证结论),由负向量唯一性 ;(M3)。
这套"无坐标推理"是本章的新工作方式:不画图也能证明,但每次证明后都要同平面的直觉对账。
2. 例子库
公理的力量在于例子众多。以下每个例子都是完整合法的线性空间:
| 空间 | “向量” | 零向量 | 维数 |
|---|---|---|---|
| 平面箭头 | |||
| 元数组 | |||
| :次数 的多项式 | (零多项式) | (基 ) | |
| : 矩阵 | 矩阵 | 零矩阵 | (第三章 2.1 节) |
| : 上连续函数 | 函数 | 零函数 | (无穷维) |
| 仅一个零向量 | 它自己 |
验证示例( 是线性空间):两个二次以内多项式相加仍是二次以内(合并同类项,次数不增);数乘同理;八条公理逐条对应多项式恒等式的普通代数。零向量是零多项式,负向量是系数全部变号。
反例(起到毒剂检测的作用):(i)全体正实数 配普通乘法"看似向量",但 集合,A3 崩溃;(ii)开口向上的抛物线全体 对加法不封闭(两个相加得 ,首项变成 2);(iii)不过原点的直线对加法不封闭(第一章习题已见)——它们提醒我们:公理不是陈词滥调,而是入会资格审查,每一条都在排除一批伪装者。
通俗地说:线性空间像"会员制俱乐部"——只要能按规矩加、乘,就能进门,无论你是箭头、多项式还是一段音频信号。公理化带来的红利是:证明一次,处处生效。例如刚证的"零向量唯一"适用于上表所有空间,无需逐一验证。
3. 子空间
1. 定义与判定
定义(子空间) 若在继承 的运算后自身构成线性空间,则称 是 的子空间。
定理(判定定理) ( 非空)是子空间 以下两条封闭性成立:(i);(ii)。
证明:()子空间自己满足八公理,特别地封闭。()八条公理中 A1、A2、M1—M4 只涉及加法与数乘的等式,在 中原样成立(它们是 中等式的限制)。剩下 A3、A4:因 非空取 ,则 (用 (ii) 与 1.1 节命题 (iv)),A3 成立;(再用 (ii)),A4 成立。
通俗地说:判定子空间不需要重查八条公理,只需两条封闭性——“加不出去、乘不出去”。直觉图像:子空间必须包含零向量、必须沿每个成员的整个方向延伸(图 5-1:过原点的直线是 的子空间,平移后的平行线不是——它不含零向量,数乘一个负数立刻"乘出去")。
2. 两个来自矩阵的子空间
命题 对任意矩阵 : 与 都是 的子空间。
证明:核:();若 ,则 ,——两条封闭性成立。像:;若 、,则 ,。全部论证只用线性性,未触碰任何坐标。
在 中也有熟悉的影子: 是子空间(验证:、)——它是"求值映射 的核"。子空间语言把相隔万里的结构(矩阵的核、多项式的根约束)统一在同一个框架下。
4. 基、维数与坐标
1. 线性组合语言的平移
以下定义逐字平移自第二章,只是把 换成任意空间 :线性组合()、张成 、线性相关/无关、基(张成 且无关)、维数 (基的大小)。第二章的全部定理——冗余定理、坐标存在唯一性、基的最小性——证明中只用了八条公理,因此在任何线性空间中自动成立。
例: 中 是基(任意 的表示显然唯一——系数即坐标); 相关(第三者 = 前两者之和); 无关但只张成二维子空间 (中间两个系数被捆绑)。
2. 基的大小唯一(一般定理)
定理(维数良定义) 有限维空间 的任意两组基含有相同个数的向量。
证明(第二章 3.6 节引理的推广,施特鲁斯替换引理路线):设 与 都是基且 。逐个把 换入第一组(替换引理:把无关组中的一个向量换成组外新向量而仍无关,只要新向量在原组的张成中;标准推导见第二章 3.6 节的三向量引理,同样的归纳在抽象空间中逐字成立):得到基 。此时 ,故 相关——与基的无关性矛盾。故 ;对称地 ,得 。
(推论: 个向量一定相关( 时);无关组可扩充成基;张成组可剪枝成基。这些"胖瘦定理"与第二章的结论同构,证明从略——它们是同一套公理的必然后果。)
3. 坐标:每个有限维空间都是某个
定理(坐标同构) 设 ,取定基 ,则映射
是良好定义的(坐标唯一)、线性的、一对一且到上的。
证明:坐标存在唯一性是第二章 3.3 节定理的抽象版(存在:基张成;唯一:若两组系数给出同一向量,相减得 ,无关性迫使系数差全零)。线性性: 的坐标 = 坐标之和, 的坐标 = 坐标的 倍(逐项用公理展开)。一对一即坐标唯一性;到上即每个 元数组给出一个线性组合。
通俗地说:这是抽象理论的第一份大回报——只要选定基,多项式可以当作数组、矩阵可以当作数组、任何有限维空间都可以当作 来计算。抽象空间是"多姿势的 ":换一组基就是换一套坐标。第一章到第四章在 中做的一切计算,都能平移到多项式空间、函数空间——只要先选好基。
5. 线性映射与秩一零化度定理
1. 抽象线性映射
定义 (两线性空间)线性,若保加法、保数乘(第三章 1.3 节的两公理)。核 与像 分别是 、 的子空间(3.2 节证明逐字平移)。
第三章的"矩阵 = 线性映射"定理现在有了抽象对应:选定域与目标空间的基后,每个线性映射由唯一矩阵实现。证明与第三章 1.3 节相同(像由基向量的去向决定);矩阵的大小由两空间维数决定——例如把 用基 与 表示,得到一个 矩阵。线性代数从此不再局限于方阵。
2. 秩一零化度定理(一般形式)
定理(秩一零化度) 设 线性, 有限维,则
证明:记 ,取像的一组基 ,对每个 选一个原像 ()。再取核的一组基 ()。断言:
是 的基。这将完成证明()。
张成:任取 。其像可写 。考虑 ,则
故 ,于是 。
无关:设 。作用 :
由 无关得 全部;代回原式只剩 ,再由 无关得 全部。
通俗地说:定理的几何画面(图 5-3)——一圈输入向量被压扁到像直线上,而核这条直线上的向量全部消失。 的维数被"记账式"地拆成两笔:像里留下的自由度(秩)+ 核里消失的自由度(零化度),收支相抵,总量不变。第三章 5.2 节的表格( 等)正是本定理在 的特例;从此以后,任何维数的变换都服从这条守恒律。
推论(方阵情形) 线性时,单射 满射 双射。证明:单射即 ,即 ,即 ,即像 = 全空间(满射);反之亦然。这个"两端夹逼中间自动成立"的现象只在方阵(域=目标空间同维)时出现,是有限维线性代数最优美的结论之一。
3. 同构
定义(同构) 线性映射 若是双射(其逆自动线性),称 为同构,记 。
定理 两个有限维空间同构 维数相同。(“维数是线性空间的唯一身份证”。)
证明:()同构限制在基上是无关组到无关组的一一对应:若 ,线性性得 ,单射迫使 ,无关性迫使 。故 把基送到基,维数相等。()各自取基,按位置配对 再线性延拓,得到线性双射。
通俗地说:维数相同的一切有限维空间在结构上不可区分——、、"3 个样本的时间序列"是同一个数学对象的三套皮肤。同构是把"看起来不同的东西"翻译成"本质上相同的东西"的正式语言。
6. 仿射子空间与解集结构
1. 仿射子空间
定义(仿射子空间) 的子集 若是某个子空间 的平移:,则称 为仿射子空间。当 任意时, 与平移起点无关,称为 的方向子空间。
几何上,仿射子空间是"不强制过原点的直线/平面": 中的仿射子空间恰是:点()、不过原点的直线( 为一维)、全平面()。图 5-1 的灰色平行线就是橙色子空间的平移:它继承了"方向"却丢失了"过原点"的资格,故不是子空间。
2. 非齐次方程组的解集结构
定理(解集结构) 设 有解 (特解),则全部解的集合为
即:解集 = 特解 + 齐次解空间(一个仿射子空间,方向 = 核)。
证明:()若 ,则 ,是解。()若 ,则 ,故 ,即 。
推论(解的唯一性判据) 的解要么不存在,要么恰一个( 时),要么无穷多个且构成一条平行于核的直线( 时)——绝无"恰好两个解"的可能。
通俗地说:图 5-4 把定理画了出来:特解 是一枚绿色锚点,解集是核直线(蓝)平移到锚点处的橙色直线,线上每个黄点都被 送到同一个 。直觉解读:求一个解,再允许"沿核方向自由漂移"——漂移在变换中不可见(被 吞掉),所以漂到哪儿都是解。求解算法由此获得结构:消元找到特解,回代得到核的基,两者拼出完整解集——这套流程对任何维数的方程组都成立。
7. 演示图像
本章演示程序位于 src/chapter5,生成图像位于 output/chapter5:
| 图号 | 文件 | 内容 |
|---|---|---|
| 图 5-1 | fig_5_1_subspaces.ppm |
子空间 vs 仿射集 |
| 图 5-2 | fig_5_2_image_kernel.ppm |
投影矩阵的像与核 |
| 图 5-3 | fig_5_3_rank_nullity.ppm |
秩-零化度守恒 |
| 图 5-4 | fig_5_4_affine_solution.ppm |
解集 = 特解 + 核 |
图 5-1(fig_5_1_subspaces.ppm):橙色直线 过原点(绿色零向量坐镇原点),整数倍点阵展示数乘封闭;灰色平行线是它平移后的仿射集——不含零向量,一旦数乘负数就"飞出直线",永远成不了子空间。
图 5-2(fig_5_2_image_kernel.ppm):投影矩阵 的像(红线 )与核(蓝线 )恰成直角:任意向量 (灰)被投影到 (绿),误差 落在核上(黄)——像与核把平面剖成两个互补的方向("互补"的精确含义将在第七章由正交性给出)。
图 5-3(fig_5_3_rank_nullity.ppm):一整圈单位向量(灰)在 作用下全部压到红色像直线上(绿色箭头):;同时蓝色核直线上一整维的自由度消失:;两者相加恰是输入空间的维数 2——守恒律的图像化。
图 5-4(fig_5_4_affine_solution.ppm): 的解集:绿色特解 ,橙色解直线是蓝色核直线的平移,线上黄点全部被 映到同一个 ——“一个特解 + 全体自由漂移”。
8. 小结
| 概念 | 代数形式 | 几何形象 |
|---|---|---|
| 线性空间 | 八条公理 | 会员制俱乐部:能加能乘即入会 |
| 子空间 | 两条封闭性判定 | 必过原点、方向齐整(图 5-1) |
| 基 / 维数 | 无关且张成 / 基的大小 | 自由度的精确计数 |
| 坐标同构 | 选基后万物皆数组 | |
| 核与像 | 、 | 消失方向 / 到达范围(图 5-2) |
| 秩一零化度 | 维数守恒:留下 + 消失 = 全部(图 5-3) | |
| 仿射子空间 | 不过原点的直线(图 5-1) | |
| 解集结构 | 解集 | 特解锚点 + 核方向漂移(图 5-4) |
三条主线:
- 公理化是杠杆而非负担:一套证明覆盖几何向量、多项式、矩阵、函数——零向量唯一性、维数良定义、秩一零化度都是只靠八条公理推出的,坐标从未登场。
- 维数是空间的身份证:基的大小唯一、坐标同构、“同构 同维”——抽象空间被维数完全分类,有限维世界的地图就此闭合。
- 线性方程组的完整理论:解集 = 特解 + 核(仿射结构),存在性由 裁决,唯一性由 裁决——第三章的三重视角现在被"像—核"两大子空间彻底统一。
9. 习题
- (公理检验) 下列集合哪些是 的子空间?逐一用两条封闭性判定,不合法的指出违反处:
(a) ;
(b) ;
© (两坐标轴的并);
(d) 。 - (多项式空间) 在 中判断下列向量组的相关性:
(a) ;
(b) ;
© 。并给出 (a) 中每个向量在基 下的坐标。 - (维数计算) 求 的维数与一组基(提示:设 ,条件即 ,消去一个参数)。
- (证明) 证明: 是子空间 是子空间;但 一般不是(举出平面上两条不同直线的反例——这解释了为什么"和" 才是正确的操作)。
- (秩一零化度) 定义 ,(求值映射)。求 、 与各自维数,验证 。
- (证明) 设 线性。证明: 单射 ;并用秩一零化度证明: 时 不可能满射, 时 不可能单射(“小推大必压扁,大推小必重叠”)。
- (解集结构) 求 的解集,写成"特解 + 核"的形式,并画图验证解集是一条仿射直线。
- (坐标) 求 在基 、、 下的坐标。现在把同一套坐标思想用于 :求 在基 下的坐标(两个题目是同一个算法)。
- (思考) 无穷维空间 没有有限基。 " 张成多项式全体,但连续函数如 不在其中"。由此解释:为什么说 ?(无穷维空间中秩一零化度定理依然成立,但需要更细的论证——第七章的傅里叶级数将给出"无穷维基"的雏形。)
- (编程) 修改演示 4:把目标换为 (仍在像直线上)与 (不在像直线上)。前者解直线平移,后者无解——用图像验证"存在性由 裁决"。
6. 特征值与对角化
前几章我们把矩阵当作"变换的账本"整体使用。本章换一个提问方式:变换内部有没有Preferred方向——被矩阵作用后只伸缩、不转向的直线? 这些"不变方向"(特征向量)及其伸缩倍数(特征值)是矩阵最深层的指纹:它们决定了变换的骨架、迭代的长期行为、乃至矩阵高次幂的封闭公式。几何直觉始终是主线:特征方向是变换的"主轴",对角化就是把变换拆成"沿主轴独立伸缩"的复合。
1. 特征值与特征向量
1. 定义
定义(特征值与特征向量) 设 是 矩阵。若存在非零向量 与数 使
则称 为 的特征值, 为属于 的特征向量。
几何含义: 把整条直线 原地伸缩()或翻转(),不会把它转离自身方向。注意特征向量不唯一:同一方向上任何非零倍数都是;特征值才是唯一归属每个方向的数。零向量被排除在定义外——它被一切矩阵送到零,不携带任何信息。
例:投影矩阵 (第五章图 5-2)在像直线方向 上不改变(,特征值 1),在核直线方向 上归零(,特征值 0)——像与核两个子空间恰是两条特征直线。
2. 特征方程
定理(特征方程) 是 的特征值
(记 为迹。称 为特征多项式。)
证明: 有非零解 有非零解 (第三章可逆性判据:齐次方程有非零解即矩阵不可逆)。而
判别式 裁决根的形态: 两个不同实根; 一个重根; 一对共轭复根。
通俗地说:求特征值被化归为解一元二次方程——迹与行列式这两个矩阵不变量(换基不改变它们,见习题)恰好是方程的两个系数。几何预告:(如旋转矩阵)时变换没有任何实不变方向,向量被越转越远,"不变方向"只能在复平面上想象(见 2.3 节与图 6-4)。
3. 求解流程(例)
求 的特征对:
第一步(特征方程):,因式分解 ,得 、。
第二步(特征向量):对 :解 ,即 ,行简化得 ,取 。对 : 得 ,取 。
几何校验(图 6-1): 把对角线方向 拉长 3 倍、把反对角方向 保持原样;一般向量(如 )则被转向。两条特征直线(红/蓝)就是这张变换地图的"主干道"。
2. 特征值的基本性质
1. 迹与行列式是特征值之和与积
定理(韦达公式) 设 是 的两个特征值(含重根、含复根),则
证明:特征多项式 以 为根,故可分解为 ;两个首一二次多项式相等则系数相等。
通俗地说:不用解方程也能读出特征值的"总量":迹 = 两个伸缩倍数之和,行列式 = 两个伸缩倍数之积(即面积因子——与第四章的缩放因子定理严丝合缝:)。
2. 特征值的函数
定理(继承法则) 设 (),则:
| 矩阵 | 特征值 | 特征向量 |
|---|---|---|
| () | (不变) | |
| (若可逆) | ||
证明(逐行):(归纳,每步用线性性提出 )。:由 两侧左乘 得 ;(否则 不可逆——零特征值即 ),除以 得 。。。
通俗地说:特征向量是变换的"固定资产"——对矩阵做多项式运算、求逆,不变方向都不搬家,只是特征值跟着变。这条法则将直接即出矩阵幂的封闭公式(3.3 节)。
3. 复特征值与旋转
当 ,特征值为共轭复对 。几何上这标志着变换含有"旋转成分":以旋转矩阵 为例(),
(欧拉公式,超出本书范围但值得铭记)。图 6-4 把它画了出来:向量 被 连续作用形成风车 ,没有任何方向保持不动。实不变方向不存在,但特征值的辐角 精确记录了旋转角——复特征值不是"失败的实数",而是"旋转的语言"。第五章的复数提示在 此兑现了一半;另一半(共轭复根如何拼出实平面上的旋转)在更高级的课程中展开。
3. 对角化
1. 定义:换到特征坐标系
定义(相似与对角化) 若存在可逆矩阵 使 为对角阵,称 可对角化,。
定理(对角化的结构) 下列等价:
(i) 可对角化;
(ii) 有两个线性无关的特征向量;
(iii)特征方程有两个不同实根,或 已是数量矩阵()。
此时 的两列恰为特征向量 , 的对角元为对应特征值。
证明:(ii)(i):设 无关,则 可逆(两列不共线,)。计算
两侧左乘 即得。(i)(ii):对角化式改写为 ,按列比较: 的第 列 = 的第 列乘 ,即 的列是特征向量; 可逆故列无关。(ii)(iii):两个不同实根给出两个不同特征值,属于不同特征值的特征向量必无关(若 且均非零,用 作用与原式联立:,第一式乘 相减得 ,因 且 得 ,进而 )。重根情形:属于同一特征值的特征向量集合 是个子空间,其维数至多为重数——重根时若这个特征空间维数为 1(如剪切矩阵,见例),找不到两个无关特征向量;若维数为 2,则 的核是全平面,即 本身已对角。
例(不可对角化:剪切) :特征多项式 ,重根 ; 仅一维——只有水平方向不动。剪切把每个非水平向量都推离原方向,只有一个不变方向,攒不齐两组特征坐标轴。几何诊断:剪切没有十字形主轴,只有一根主轴。
通俗地说:对角化 = 换到特征坐标系看变换。在新坐标系(以特征向量为轴)里,矩阵变成 ——两个坐标各自独立伸缩、互不干扰(图 6-3:特征基网格沿红轴拉伸 3 倍、沿蓝轴不动,网格形状不歪,只是"疏密变了")。原坐标系里需要四个数描述的纠结动作,特征坐标系里只需两个数——好坐标把复杂变简单,这是线性代数的中心思想。
2. 矩阵幂的封闭公式
定理(幂公式) 若 ,则
证明:归纳。;设 ,则 。
通俗地说:把 的动作想象成三段:(翻译到特征语)→ (各自伸缩)→ (翻译回来)。重复 次:翻译过去、连做 次简单伸缩(中间的 抵消)、翻译回来——只有伸缩被执行了 遍,于是只有 出现。这就是下一节应用的引擎。
4. 应用:差分方程与长期行为
1. 线性迭代系统
许多过程形如 (人口迁移、利率滚存、信号滤波):初始状态 被矩阵反复作用,。幂公式给出完整解:把 写成特征组合 ,则
(证明:线性性与继承法则,。)长期行为完全由较大的 裁决:
| 主特征值 () | 的长期行为 |
| --------------------------------------------------------- | ----------------------------------------------------- |
| | 几何级数发散,方向趋向 |
| | 几何级数收敛到零(耗散) |
| | 趋向稳态 (马尔可夫链的平稳分布) |
| (且 ) | 两周期振荡 |
| ,复 | 边界振荡(旋转,不衰减) |
2. 例:斐波那契数列的封闭公式
斐波那契递推 可以包装成矩阵迭代:取 ,则
特征方程:,根为黄金比 与 (注意 )。特征向量分别取 与 (验证:,末步用了 )。初始 分解为 (解二元一次方程即得系数),故
取第二分量:
(后一个近似成立因 ,其贡献指数衰减。)整数数列被两个无理数的幂精确表出——特征值的"指纹"身份在此登峰造极。相邻两项之比 也由同一公式读出:主特征值主幸长期统治迭代。
3. 幂迭代:不解方程找主特征值
解特征方程在大矩阵(几千几万维)时不可行,数值上改用幂迭代:任取 (不与特征方向正交即可),反复 并归一化。
收敛性:设 严格占优()。由 4.1 节分解,,归一化后括号内第二项以几何速率 消失,方向收敛到 ;同时 。图 6-2:从 出发七步内箭头颜色渐变并贴合红色主轴——收敛速率 ,每三步误差缩小到约三分之一。这就是 Google PageRank、主成分分析(第八章)等大型计算的心脏。
5. 演示图像
本章演示程序位于 src/chapter6,生成图像位于 output/chapter6:
| 图号 | 文件 | 内容 |
|---|---|---|
| 图 6-1 | fig_6_1_eigendirections.ppm |
特征方向:不变的主轴 |
| 图 6-2 | fig_6_2_power_iteration.ppm |
幂迭代收敛到主轴 |
| 图 6-3 | fig_6_3_diagonalize.ppm |
对角化:特征基网格独立伸缩 |
| 图 6-4 | fig_6_4_complex_eigen.ppm |
旋转矩阵没有实特征向量 |
图 6-1(fig_6_1_eigendirections.ppm): 的两条特征直线(红:;蓝:):一般向量 (灰)的像(橙)方向改变;红轴上的向量被拉长 3 倍不转向,蓝轴上的向量保持不动——只有这两条主干道免于转向。
图 6-2(fig_6_2_power_iteration.ppm):幂迭代从 出发(颜色逐次变化),方向迅速贴合红色主轴 —— 的几何衰减清晰可见:前两步大转,之后每次仅微调。
图 6-3(fig_6_3_diagonalize.ppm):特征基 的格点(橙)被 作用后(绿点):红轴方向拉开三倍、蓝轴方向纹丝不动,灰色连线显示每个格点的位移轨迹——"斜正交"网格保持形状,只有疏密改变,这就是对角化的几何体感。
图 6-4(fig_6_4_complex_eigen.ppm):旋转 90° 的风车:(四色箭头),除零向量外无一幸免于转向——实特征向量不存在,特征值 记录的是旋转本身。
6. 小结
| 概念 | 代数形式 | 几何形象 |
|---|---|---|
| 特征对 | 不变方向 + 伸缩倍数(图 6-1) | |
| 特征方程 | 主轴的代数入口 | |
| 韦达公式 | , | 伸缩倍数的和与积 |
| 继承法则 | , | 特征向量是固定资产 |
| 对角化 | 换到主轴坐标系,动作 = 独立伸缩(图 6-3) | |
| 不可对角化 | 剪切:重根但特征空间一维 | 只有一根主轴,攒不齐十字 |
| 复特征值 | : | 旋转成分,辐角即转角(图 6-4) |
| 幂公式 | 翻译—连伸缩—翻译回来 | |
| 迭代系统 | 长期由最大 $ |
三条主线:
- 特征向量是变换的主轴:对角化 = 换到主轴坐标系,四个数的纠结动作被拆成两个独立伸缩——“好坐标把复杂变简单”。
- 特征值是矩阵的指纹:迹与行列式由它决定,矩阵幂由它表达,迭代长期行为由它裁决,斐波那契数由它精确生成——不变的代数身份,全息的几何信息。
- 退化与复数各有其意义:重根可能意味着"只有一根主轴"(剪切,不可对角化)也可能意味着"已经对角"(数量矩阵);复根不是失败而是旋转的语言——代数现象背后都有几何身份。
7. 习题
- (计算) 求下列矩阵的特征值与特征向量,并各用一句话描述几何动作:
(a) ;
(b) ;
© ;
(d) (不可对角化的例)。 - (迹与行列式) 不解方程,判断下列矩阵特征值的形态(两个不同实根 / 重根 / 复根):
(a) ;
(b) ;
© ;
(d) (斐波那契矩阵)。 - (证明) 证明:三角矩阵 的特征值就是对角元 。(这解释了为什么幂公式中 的对角元是特征值:对角阵是特例。)
- (证明) 证明属于不同特征值的特征向量线性无关(3.1 节证明中的引理,补全细节),并由此说明:两个不同实根必可对角化。
- (幂公式) 对 ,用对角化计算 (先求 、、,再乘出——结果应是一个具体整数矩阵)。
- (迭代系统) 设 (人口迁移模型:城市/乡村每年按比例流动)。求特征值与稳态向量(属于 的特征向量,分量和为 1),并说明任意初始分布的长期趋向。
- (斐波那契) 用封闭公式 计算 ,验证与递推值一致()。再证明 。
- (证明) 证明: 可逆 不是 的特征值;且若 则 (继承法则的逆矩阵行)。
- (思考) 相似不变量:设 。证明 与 (提示:用第四章乘法公式与转置性质化简 ;迹的验证直接展开)。由此说明:不同基下同一变换的矩阵"表不同而魂相同",特征多项式是换基不变的。
- (编程) 修改演示 2:把矩阵换为 (先解特征方程预计主轴方向与收敛速率,再运行观察是否一致)。再试剪切矩阵,观察幂迭代会发生什么(方向收敛到唯一主轴——但它不收敛到特征向量对,验证"只有一个特征方向")。
7. 内积与正交
到目前为止,线性空间只有"加与乘",没有角度、没有长度、没有垂直。本章补上这块拼图:内积。它一旦登场,几何的全部直觉——长度、夹角、垂直、投影、最短距离——都将获得代数定义;反过来,最小二乘拟合、傅里叶级数这些看似与几何无关的技术,将被看清楚本质上都是投影。本章还将兑现两个老承诺:第五章说"像与核互相垂直的精确含义本章给出",第六章说"对称矩阵的主轴互相正交"(下一章正式证明)。数形结合在本章达到峰值。
1. 内积
1. 定义
定义(内积) 对 、 定义
它满足四条基本性质(对一切向量与数):
| 性质 | 数学表达式 |
|---|---|
| 对称性 | |
| 对第一变元线性 | |
| 正定性 | ,且 |
| 退化零 |
(验证都直逐项展开,例如对称性: 用数的交换律。由对称性,对第二变元也线性——“双线性”。)
2. 范数与夹角
定义(范数) (第一章的模)。定义(距离) 。
定理(柯西一施瓦茨不等式)
等号成立 两向量共线。
证明:若 两边皆零,成立。设 ,对任意实数 ,由正定性:
(展开用了双线性与对称性。)右端是 的二次函数,开口向上且恒非负,故判别式 :
开方即得。等号对应判别式 ,即二次函数有实根 使 ,即 共线。
通俗地说:柯西一施瓦茨是"夹角存在性"的代数保障:由它可定义
因为不等式恰好保证右端落在 内。没有柯西一施瓦茨,"夹角"就没有定义;它也是泛函分析、概率论中一串不等式的祖先。
推论(三角不等式) (证明:平方展开,用柯西一施瓦茨估计交叉项)。
3. 转置的真正身份(深入)
内积给出转置的几何意义:对任意矩阵
证明:两边都等于 ,逐项整理。
通俗地说:" 搬过去"与" 搬过来"在配对中不可区分——转置是关于内积的"左右横移"。这句不起眼的恒等式是下一章谱定理证明的发动机。
2. 正交性
定义(正交) 。由夹角公式,内积为零即 ()——垂直的代数化身(零向量与一切向量正交)。
定理(勾股定理) 。
证明:(正交使交叉项消失)。
正交基是"最省心的坐标系":向量 ()的坐标可用内积直接读出——(两侧与 内积,另一项归零),无需解方程组。对照第二章:斜基求坐标要消元,正交基求坐标只要投影。
3. 正交投影
1. 问题与推导
问题:给定向量 与非零方向 ,在直线 上找离 最近的点(把 "投影"到 )。
推导:候选点形如 。距离平方
是 的开口向上二次函数,最小值在顶点
定理(最近点刻画) 是最近点 误差向量 与整条直线 正交(即 )。
证明:()代入 :(代入 )。()任取 ,由勾股定理():
等号仅当 。
通俗地说(图 7-1):投影 = “影子”,误差 = “影子顶端指向本人的垂直残段”。最近点的条件不是"距离最小"的直接陈述,而是垂直条件——这一转译是全章乃至全书的枢纽:“最优”(最小距离)与"正交"(垂直残差)是同一件事的两面。
2. 投影矩阵
把投影写成矩阵:,其中
(外积形式——呼应第三章 5.2 节:投影是秩 1 矩阵)。它满足三条代数性质:
| 性质 | 数学表达式 | 几何意义 |
|---|---|---|
| 幂等 | 投影两次 = 投影一次(影子已在直线上,再投不动) | |
| 对称 | 配对对称(误差垂直性的矩阵化) | |
| 谱 | 特征值 1(像方向)与 0(核方向) | 保留分量 / 消灭分量 |
证明(幂等):(中间用了结合律把括号缩成一个数)。对称性直接由外积形式读出。特征值:(),(任意与 垂直的 : 使系数归零)。
第五章图 5-2、图 5-4 的投影矩阵 正是 情形:它的像(保留方向)与核(消灭方向)互相垂直——那幅图的老谜团"为什么恰好垂直",现在是定理:投影矩阵的像与核互为正交补。
4. 施密特正交化
1. 算法
斜基虽合法,但坐标计算要解方程(第二章)。能把任意基改装成正交基吗?能——逐个"剪影子":
输入:无关向量 。输出:正交向量 ,张成相同。
第一步:(保留第一根)。
第二步:从 中剪掉它在 上的影子:
(若需单位正交基,再各自除以长度。)
正确性:(线性 + 内积自除);张成不变: 是 的组合,反过来 也是 的组合。图 7-2:蓝向量减去橙色影子得到绿色垂直分量——直角看得见。
高维推广照搬:第 步从 中剪掉它在前面所有 ()上的影子。归纳论证同上。
2. 正交化 = 三角分解(深入)
把施密特过程反着读:,( 为单位正交向量),用矩阵表示:
即 :任何可逆矩阵 = 正交矩阵 上三角矩阵。这就是著名的 QR 分解,数值线性代数(解方程组、求特征值)的中流砥柱——它的几何内容不过是"剪影子"。
5. 正交矩阵
定义(正交矩阵) 满足 (即列向量为单位正交基)。
定理(刚体性质) 正交矩阵保持内积、长度与夹角:对一切 ,
证明:用 1.3 节的转置恒等式:。取 得保长度;保夹角由夹角公式(分子分母都不变)。
(逆命题也成立:保持一切长度的线性变换必是正交的——习题。) 正交矩阵恰有两类:旋转 ()与反射 (,沿某条过原点直线镜像)。证明思路:设两列为单位正交向量,第一列 ,第二列与它垂直故为 ,两个符号对应两类。
通俗地说(图 7-4):正交变换是"刚体变换"——整个平面像一块刚性平板被搬动,网格不歪(对照第三章图 3-1 的剪切歪网格)、长度不变、角度不变。第四章的"旋转保面积"()与"镜像反转定向"()现在是同一个家族的两个分支:正交矩阵 = 保长度变换 = 旋转或反射。
6. 最小二乘
1. 问题:不可解方程组的最优近似
数据拟合的标准场景:观测数据 (),想找直线参数 使 对所有 成立。写成矩阵形式 :
真实数据带噪声, 一般不在 的列空间里——方程组无解。退而求其次:找 使残差 (各点竖直残差的平方和)最小。
2. 解法:投影即最优
定理(正规方程) 最优解 满足
且几何意义是:(把目标投影到列空间上)。
证明(几何路线,3.1 节最近点刻画的推广):残差向量 应与整个列空间正交(否则在列空间内还存在更近的点)。而"与列空间中每个向量正交"等价于"与 的每一列正交",即
整理即正规方程。(代数路线:残差平方是 各分量的二次函数,令梯度为零得到同一方程——两条路线殊途同归。)
通俗地说:拟合直线不可能穿过每个噪声点,那就让"总平方残差"最小——最优拟合恰是把数据向量投影到模型能表达的子空间上。图 7-3:五个不共线点(灰橙点)配一条红直线,每点的竖直残差(橙线段)就像"影子与本人的差距",最优直线的标志是残差向量全体与模型子空间垂直。最小二乘 = 投影 = 正交——三大概念一条锁链。
(完整计算例:数据 ,用过原点模型 :正规方程退化为 。逐项算:,,故 ——正是图 7-3 中红直线的斜率。)
7. 深入:函数空间的投影与傅里叶级数
第五章留下话头:无穷维空间 (连续函数)没有有限基。内积的眼光让"无穷维的正交基"重新成为可能。
第一步(积分内积):定义
验证它与 1.1 节的四条性质逐条对应(对称:积分与交换被积函数无关;线性:积分线性;正定:连续非负函数积分为零则恒为零)。第五章的抽象空间理论在此直接接管: 是带内积的线性空间。
第二步(正交函数族):三角函数族
两两正交(例如 ——奇函数对称积分为零;()由积化和差公式与正交性验证)。这就是函数世界的"正交坐标系"。
第三步(投影 = 傅里叶系数):把函数 投影到这组正交基上,投影系数(正交基下坐标的读法,见第 2 节末尾)为
( 由直接积分,上式对 成立;常数项需单独处理:,故常数项的系数为 ,即 的平均值)——傅里叶系数就是投影系数,傅里叶级数就是把函数投影到无穷维正交基上的展开,截断的傅里叶级数就是"到前 个谐波张成子空间的最小二乘最优近似"。声音的频谱分析、图像的 JPEG 压缩,底层都是本章的投影定理。
通俗地说:把函数看成无穷维空间中的"点",三角函数族是它的"正交坐标轴",傅里叶分析就是"沿各轴读坐标"。有限维(本章平面上的投影)与无穷维(傅里叶级数)用的是同一条定理:最近点 ⟺ 垂直残差。第五章"抽象空间是杠杆"的许诺至此完全兑现。
8. 演示图像
本章演示程序位于 src/chapter7,生成图像位于 output/chapter7:
| 图号 | 文件 | 内容 |
|---|---|---|
| 图 7-1 | fig_7_1_projection.ppm |
正交投影:影子与垂直残差 |
| 图 7-2 | fig_7_2_gram_schmidt.ppm |
施密特正交化:剪影子 |
| 图 7-3 | fig_7_3_least_squares.ppm |
最小二乘拟合 |
| 图 7-4 | fig_7_4_orthogonal.ppm |
正交矩阵:刚体变换 |
图 7-1(fig_7_1_projection.ppm):把 投到方向 :绿色影子 落在红线上,橙色误差从影子顶端垂直指向 顶端——直角看得见,"最近点 ⟺ 垂直"的图像化。
图 7-2(fig_7_2_gram_schmidt.ppm):斜基 (红)、(蓝):从蓝向量剪掉橙色影子(沿红方向的分量),得到与红轴垂直的绿色向量——两步剪影,斜基变正交基。
图 7-3(fig_7_3_least_squares.ppm):五个带噪声的数据点,拟合直线 (红)与各点的竖直残差(橙):正规方程给出的最优解使平方残差和最小——每个残差段就是"数据向量与模型子空间的差距"。
图 7-4(fig_7_4_orthogonal.ppm):旋转 30° 作用于标准网格:网格仍方方正正(青/黄,对照第三章图 3-1 被剪切扯歪的网格);向量对旋转前后长度、夹角全部不变——刚体变换。
9. 小结
| 概念 | 代数形式 | 几何形象 |
|---|---|---|
| 内积 | 长度与角度的代数源头 | |
| 柯西一施瓦茨 | $ | \langle\mathbf{u},\mathbf{v}\rangle |
| 正交 | 垂直(勾股定理成立) | |
| 投影 | 影子;最近点(图 7-1) | |
| 最近点刻画 | 最优 ⟺ 残差垂直 | "最优"与"正交"是同一件事 |
| 投影矩阵 | , | 投影不动已投影;像 ⊥ 核 |
| 施密特 | 剪影子逐个正交化 | 斜基 → 正交基(图 7-2) |
| QR 分解 | 正交化反向阅读(深入) | |
| 正交矩阵 | ,保长度 | 旋转或反射:刚体(图 7-4) |
| 最小二乘 | 投影到模型子空间(图 7-3) | |
| 傅里叶系数 | 无穷维正交基下的投影(深入) |
三条主线:
- 内积统一了几何与代数:长度、角度、垂直由一个公式诞生;柯西一施瓦茨是背后的定海神针。转置的身份()连接前几章的矩阵运算。
- 投影是"最优"的几何形式:最近点、最小二乘、傅里叶截断全部归结为同一件事——垂直残差;正规方程是投影定理的矩阵记录。
- 正交坐标系是计算与理论的甜点区:正交基下坐标 = 投影(免解方程);施密特把任意基改装成正交基(QR 分解);正交矩阵保护全部度量结构。
10. 习题
- (计算) 求下列内积与夹角:
(a) 与 ;
(b) 与 (应垂直);
© 与 (应为 120°)。 - (柯西一施瓦茨) 对 、 验证不等式两侧,并验证它们恰好垂直(等号情形是共线,这里交叉项直接为零)。再用不等式估计 与实际值比较。
- (投影计算) 把 投影到方向 上,求影子、残差,并验证残差与 垂直、勾股定理成立()。
- (施密特) 对基 执行施密特正交化,得到正交基并单位化;然后写出 在新正交基下的坐标(用内积直接读出,不解方程)。
- (证明) 证明:若 则 保长度;反之若线性映射 保一切长度则其矩阵 满足 (逆命题:取 与 分别代入)。
- (投影矩阵) 对 :写出投影矩阵 ,验证 、、、(后两条与"特征值恰为 1、0"的关系?)。
- (最小二乘) 用过原点直线 拟合数据 :写出正规方程、解出 、计算各点残差并验证残差向量与 列向量正交(内积为零)。
- (证明) 证明三角不等式:。(平方展开后用柯西一施瓦茨估计交叉项。)几何上这对应"三角形两边之和大于第三边"。
- (深入:QR) 对 做施密特正交化并写出 分解( 正交、 上三角),验证 。
- (思考/编程) 修改演示 3:换一组更分散的数据,或改用带截距模型 (此时模型子空间是二维平面,正规方程是 2×2 方程组)——观察最优直线如何变化。再思考:傅里叶级数取前一项(常数项 )是什么?( 在常函数方向的投影 = 平均值。)
8. 对称矩阵、二次型与 SVD(进阶)
终章处理两类"结构最优"的矩阵。对称矩阵()是特征值理论的甜点区:谱定理保证它总能被正交矩阵对角化——主轴不仅存在而且互相垂直,变换 = 沿正交主轴的独立伸缩。一般矩阵没有这份福气(剪切不可对角化、旋转没有实特征向量),但奇异值分解(SVD) 补上了最后的拼图:任何矩阵都能分解成"旋转—伸缩—旋转",输入输出各有一组正交主轴。本章把全书工具用到极限——谱定理的证明需要第六章(特征值)+ 第七章(内积、转置恒等式)联手;SVD 的构造需要第四章(行列式)判可逆、第五章(像与核)定结构;最后的 PCA 应用连接统计与数据科学。
1. 谱定理
1. 对称矩阵的特征值是实数
定理(实谱性) 实对称矩阵的特征值都是实数。(对比第六章:旋转矩阵对称吗?不——它有复特征值,而对称性排除了这种可能。)
证明(需暂时进入复数域):设 是 的特征值, 是复特征向量(分量可复)。记 为逐分量共轭。由 ,两侧左乘 :
关键观察一: 是正实数(分量非零)。关键观察二: 是实数——因为( 实对称,)
依次用了共轭规则、转置不改变一阶数(标量)、对称性。于是 = 实数/正实数 = 实数。
通俗地说:对称性迫使特征方程的判别式 (直接计算!)——复根被对称性排除。几何上:对称变换不含旋转成分,主轴是真实的直线。(上述复数证明的价值在于它对任何维数成立,判别式论证只是二维幸运。)
2. 特征向量互相正交
定理(正交主轴) 属于对称矩阵不同特征值的特征向量互相垂直。
证明:设 、()。用第七章转置恒等式与对称性:
故 ;特征值不同迫使内积为零,即垂直。
通俗地说:这条证明是全书"数形合璧"的缩微景观:转置恒等式(第七章)+ 对称性(代数)+ 特征方程(第六章)三件工具拼出几何结论(垂直)。第六章埋的伏笔"对称矩阵的主轴互相正交"至此兑现。
3. 谱定理
定理(谱定理,二维版) 设 实对称,则存在单位正交矩阵 ()与对角阵 使
证明:由实谱性,特征值 为实数。若 :取对应特征向量并单位化得 ,它们正交(刚证),故 是正交矩阵。第六章 3.1 节对角化结构给出 ;正交矩阵的逆是转置,故 。若 (重根):记 (仍对称)。 的特征多项式为 ,故 的特征多项式为 ,比较系数得 (迹为零)且 (行列式为零)。代入 :,即 ,迫使 ,进而 ,故 、——已经是数量矩阵(对角阵),取任意正交 (如 )均满足 。(与第六章对照:对称性把"重根 ⟹ 只有半套主轴"的剪切式悲剧排除在外——重根时对称矩阵必为数量矩阵,天然对角。)
通俗地说(图 8-1):对称矩阵 = 沿一组互相垂直的主轴独立伸缩。单位圆被对称矩阵映成椭圆:长轴沿 大的特征方向、短轴沿小的,两轴互相垂直。对照第六章图 6-3(对角化的一般图像:主轴斜交):对称性是"主轴正交"的充要条件——它排除了剪切类的纠结动作。谱定理是线性代数的珠峰:任何对称矩阵,无论初始坐标多乱,都藏着一套正交的"天然坐标系"。统计学(协方差)、物理学(量子力学的可观测量)、几何学(二次曲面的主轴)共享这同一条定理。
2. 二次型
1. 定义与矩阵表示
定义(二次型) 二次齐次多项式
称为二次型。用对称矩阵改写:
(展开验证:。)交叉项的系数被对称地平分给两个非对角元——每个二次型天然对应一个对称矩阵,谱定理因此自动适用。
几何图像:把 画成三维曲面(碗、谷、鞍),二次型刻画"弯曲的方向与强度"。
2. 主轴定理:换到主轴坐标系
定理(主轴定理) 设 对应二次型 , 是谱分解。做正交变量替换 ,则
交叉项消失,只剩纯平方项。(中间一步用了 ,即谱分解的改写。)
通俗地说:二次曲线(如 )在原坐标里看不出形状;旋转坐标轴对齐主轴(正交替换正是旋转或反射,第七章),方程变成 (此处特征值为 3、7)——一眼认出是椭圆,主轴沿特征方向、半轴长 。解析几何的"转轴化简"就是谱定理。
3. 正定性:能量语言
定义(定性分类) 对一切 :
| 类别 | 条件 | 曲面 的形状 | 特征值 |
|---|---|---|---|
| 正定 | 碗(唯一最低点) | ||
| 半正定 | (可取零) | 谷底平底 | |
| 不定 | 有正有负 | 鞍面(一个方向上翘、一个方向下陷) | 一正一负 |
| 负定 | 倒碗 |
定理(正定的两个判据) 下列等价:① 正定;② 的特征值全为正;③ 顺序主子式全正: 且 。
证明(① ②):主轴定理中取 (即 第 个主轴方向):。若某 ,该方向上能量非正,与正定矛盾;反之若两特征值皆正,则 (除非 ,即 )。(② ③:、(第六章韦达);两根皆正 和与积皆正。但③中要求的是 而非 ——更细的论证:若 则两根同号,此时 的符号(当 时由配平方 ,第二项系数 与 同号当 )决定全部符号: 且 即正定。 时 ,排除。)
通俗地说:二次型是"能量函数":把它想象成山顶地形图,正定 = 四面八方都向上翘(碗底稳定,小球滚回中心);不定 = 鞍面(一个方向滑下去、一个方向爬上去,马鞍点)。特征值逐方向给出"坡度":主轴方向上能量恰为 。优化算法(梯度下降会不会收敛)、统计学(协方差会不会退化)、微分方程(平衡点稳不稳定)的第一步都是判断定性。
4. 负特征值:翻转的主轴
图 8-3 演示不定矩阵 (特征值 5 与 -1,主轴 与 ):沿红轴拉伸 5 倍照常;沿蓝轴,特征向量被反向送出(,紫色箭头指向蓝色箭头的反方向)——负特征值 = 该主轴上的镜像翻转。二次型 沿两轴分别取值 与 :一正一负,鞍面坐实。(对比第四章图 4-3 的整面翻转: 只说"总定向反了",谱分解进一步指出翻转发生在哪根轴、程度多大。)
3. 奇异值分解(SVD)
1. 动机:一般矩阵缺什么
谱定理只属于对称矩阵。一般矩阵可能:特征向量不垂直(如 ),甚至没有实特征向量(旋转)。但第三章起我们就知道:任何可逆矩阵把圆变成椭圆(线性映射送直线为直线、保平行)。椭圆天然有互相垂直的主轴——问题只是:输入端的哪两个垂直方向被送到输出端的主轴?这就是 SVD 要回答的。
2. 途经 :把不对称化为对称
命题 对任意实矩阵 : 是对称半正定矩阵。
证明:对称:。半正定:对任意 ,(范数的平方,第七章)。
通俗地说: 自己不一定对称,但 (“先做 再配对求能量”)永远对称半正定——谱定理适用!它的特征值 ,记 称为 的奇异值。
关键事实链(设 可逆,记 的单位特征向量为 ,特征值 ):
(i)(对称矩阵的正交主轴);
(ii)(验证:——转置恒等式再次立功);
(iii)(同法:)。
结论:输入端的正交对 被送到输出端的正交对 ,长度变成 !单位圆(由所有单位向量组成)被映成椭圆,主轴方向恰是 的方向、半轴长恰为 。
3. 分解定理
定理(奇异值分解,二维版) 设 可逆,则存在正交矩阵 与对角阵 ()使
构造证明:如上取 (输入端正交基)。定义 (单位化后的像),由(ii)它们正交,故 是正交矩阵。则
右乘 (正交矩阵的逆)得 。
通俗地说(图 8-2):SVD 把任何矩阵的动作拆成三段广播体操::转到输入主轴(旋转);:沿两轴各自伸缩 倍;:转到输出主轴(再旋转)。没有剪切、没有纠结——旋转和伸缩足以描述一切可逆线性映射!与谱定理的对比:谱分解是"一套坐标系自转自伸缩"(要求对称),SVD 是"输入一套轴、输出一套轴,中间只伸缩"(不要求任何特殊条件)。代价是用了两个正交矩阵而非一个。
(对称正定矩阵是两者重合的特例: 本身就是 、、 的 SVD。)
4. 奇异值的信息论意义(深入)
| 量 | 公式 | 含义 |
|---|---|---|
| 最大奇异值 | 变换的最大放大倍数(算子范数) | |
| 最小奇异值 | 最小放大倍数(离退化有多远) | |
| 条件数 | 数值稳定性:越大越病态 | |
| 行列式 | 缩放因子 = 奇异值之积(符号由 U、V 定向决定) |
( 的最大值刻画: 在单位圆上的最大值 = 的最大值 = 主轴定理下的最大特征值 ,在 处取到。)"保留前 个奇异值、丢弃其余"就是低秩近似:图像压缩(JPEG 的一部分)、推荐系统、噪声消减的统一原理——奇异值按重要性排队,这是 SVD 被誉为"线性代数的瑞士军刀"的原因。
5. 伪逆与最小范数解(深入)
不可逆矩阵(或高矮矩阵)的方程 无解或有无穷多解。第七章的最小二乘解决"无解"(找最近似),但无穷多解时选哪个?最小范数解:离原点最近的那个。SVD 给出统一答案:把 中 的非零对角元取倒数、零元保持零,得到 ,定义伪逆
它同时是: 时的(最小范数)精确解,与 时的(最小范数)最小二乘解——把第五章解集结构与第七章投影定理焊接成一件工具。几何:先旋转回主轴坐标、只在"未被压扁"的方向上做除法、再转回去。
6. 应用:主成分分析(PCA)
统计学的中心问题之一:高维数据的"主要方向"。设数据中心化后为 ,定义协方差矩阵
(对称半正定:——外积之和,能量语言)。PCA 定理:数据在方向 (单位)上的方差 的最大值 = 的最大特征值 ,在 主特征向量处取到(证明即 3.4 节 的最大值刻画,把 换成 :主轴定理下 )。
通俗地说(图 8-4):沿 拉长的点云(橙色点),协方差矩阵的谱分解自动找出红色主轴(数据最散开的方向)与蓝色副轴(最薄的方向)。把坐标轴转到主轴上,第一坐标承载最多的信息(方差),第二坐标多半是噪声——降维 = 保留前几个主成分 = 数据版的低秩近似。人脸识别、基因数据、金融风险因子,背后都是同一条谱定理。
4. 演示图像
本章演示程序位于 src/chapter8,生成图像位于 output/chapter8:
| 图号 | 文件 | 内容 |
|---|---|---|
| 图 8-1 | fig_8_1_spectral_circle.ppm |
谱定理:圆 → 椭圆,主轴沿特征方向 |
| 图 8-2 | fig_8_2_svd_circle.ppm |
SVD:输入/输出各一组正交主轴 |
| 图 8-3 | fig_8_3_indefinite.ppm |
负特征值 = 主轴翻转 |
| 图 8-4 | fig_8_4_pca.ppm |
PCA:点云的主方向 |
图 8-1(fig_8_1_spectral_circle.ppm):对称矩阵 把单位圆(灰)映成橙色椭圆:长半轴 3 沿红轴 ()、短半轴 1 沿蓝轴 ()——两轴垂直,椭圆端点恰是单位特征向量被拉伸后的像。
图 8-2(fig_8_2_svd_circle.ppm):非对称矩阵 :单位圆(灰)→ 橙色椭圆。蓝箭头:输入端正交方向 ( 的特征向量);红箭头:输出端正交方向 ;两轴长度比 = 奇异值比。非对称 ≠ 纠结:旋转—伸缩—旋转三段即可描述。
图 8-3(fig_8_3_indefinite.ppm):不定矩阵 :红轴拉伸 5 倍照常;蓝轴上特征向量(蓝)的像(紫)指向反方向—— 的翻转效应,鞍面的直观前身。
图 8-4(fig_8_4_pca.ppm):沿 拉长的点云(橙点):协方差矩阵的谱分解给出红色主轴(方差最大方向)与蓝色副轴——PCA 不需要任何先验知识,纯靠线性代数从数据中"长"出坐标系。
5. 小结
| 概念 | 代数形式 | 几何形象 |
|---|---|---|
| 实谱性 | 对称 特征值全实 | 无旋转成分(图 8-1) |
| 正交主轴 | 不同 的特征向量垂直 | 主轴十字(图 8-1、8-2) |
| 谱定理 | 沿正交主轴独立伸缩 | |
| 二次型 | 能量曲面:碗 / 谷 / 鞍 | |
| 主轴定理 | 正交替换消交叉项 | 转轴化简二次曲线 |
| 正定判据 | 特征值全正 | 碗底稳定,小球归心 |
| 负特征值 | 该主轴镜像翻转(图 8-3) | |
| SVD | 旋转—伸缩—旋转(图 8-2) | |
| 奇异值 | 主轴放大倍数,按重要性排队 | |
| 伪逆 | 只在未压扁方向做除法 | |
| PCA | 协方差谱分解 | 数据的主方向(图 8-4) |
三条主线:
- 对称性买来正交性:谱定理——对称矩阵永远可正交对角化,主轴十字天然垂直;能量(二次型)、统计(协方差)、几何(二次曲面主轴)三问一答。
- SVD 补全一切矩阵:非对称矩阵虽然主轴斜交甚至缺失,但输入输出两端各有一套正交轴,中间只剩伸缩——旋转与伸缩是线性映射的完整音节表;奇异值按重要性排队,支撑压缩与降维。
- 全书一条龙:向量 → 基与坐标 → 矩阵与方程组 → 行列式 → 抽象空间 → 特征值 → 内积与投影 → 谱定理与 SVD。每一章的工具都在终章会师:转置恒等式、秩一零化度、柯西一施瓦茨、主轴定理……最后一题(习题 10)将请你自己把这条龙再走一遍。
6. 习题
- (计算) 求对称矩阵 的谱分解(特征值、单位特征向量、、),并写出对应二次型的主轴形式。
- (主轴定理) 化简二次曲线 :求旋转角、主轴方程、曲线类型与半轴长(答案:特征值 3 与 7,椭圆 )。
- (证明) 另证谱定理的重根情形:设对称矩阵 的特征多项式有重根 (即判别式 )。由实数的非负性证明 且 ,即 。(这正是正文证明的另一种看法:对称矩阵的重根情形必为数量矩阵,剪切式的"半套主轴"被对称性排除。)再举例:非对称矩阵的重根情形(如剪切)为什么逃不过半套主轴的命运?
- (正定性) 判断下列二次型的定性(用两个判据各判一次,互相对照):
(a) ;
(b) ;
© (半正定?写出取零的方向)。 - (证明) 证明: 正定 存在可逆矩阵 使 。("→"用谱分解 ;"←"用 。这说明正定矩阵是"能量 = 长度平方"的矩阵。)
- (SVD 计算) 求 的 SVD:先算 ,求其特征值(,即 )与特征向量得 、,再算 (数值验证各矩阵满足定义)。
- (证明) 证明奇异值的极值刻画:(在 处取到)与 。由此证明:可逆矩阵满足 ——任何方向的放大倍数都被两个奇异值夹住。
- (伪逆) 对秩 1 矩阵 (第三章图 3-3):写出其 SVD(提示:先算 ,其特征值为 ,故非零奇异值 ),求伪逆 ,并验证 对 给出最小范数解、对 给出最小范数最小二乘解。
- (PCA) 对数据 (先中心化减去均值):求协方差矩阵、主特征向量(主成分方向)与两个特征值(主/副方差)。把数据投到主轴上,验证投影方差 = 。
- (总结) 全书回顾:用一页纸回答——判别式/行列式 从第一章到第八章依次扮演了哪些角色?(面积、共线判官、可逆性、缩放因子、特征方程系数、奇异值的平方……)谱定理与 SVD 分别需要前几章的哪些定理作为零件?如果继续前进,你觉得下一个主题应当是什么(高维矩阵?复矩阵?张量?),为什么?
7. 结语:八条线索,一个主题
从一支箭头出发,到椭圆的主轴收尾,八条线索贯穿全书:
- 第一章(向量):加法与数乘——一切的起点;
- 第二章(无关与基):恰好够用的方向;
- 第三章(矩阵):线性映射的账本,列是基向量的去向;
- 第四章(行列式):一个数浓缩面积、定向与可逆性;
- 第五章(线性空间):公理化杠杆,维数是身份证;
- 第六章(特征值):主轴与指纹,迭代的命运;
- 第七章(内积):投影即最优,正交即免解;
- 第八章(谱定理与 SVD):旋转与伸缩——线性映射的最终音节表。
而唯一的主题只有一句:线性 = 可分解。线性组合把向量拆开(第一、二章),矩阵把变换拆成列的搬运(第三章),行列式把整体效果拆成一个数(第四章),基把空间拆成独立方向(第五、六章),正交基把方向拆到互不干扰(第七章),谱定理与 SVD 把任意线性映射拆成旋转与伸缩(第八章)。掌握"拆",就掌握了线性代数的全部野心——也是它统治现代科学(机器学习、信号处理、量子力学、统计)的原因:凡能线性化的世界,皆可分解、皆可计算、皆可理解。
后续学习路线:矩阵的 LU/QR/特征值算法(数值线性代数)、复向量空间与若尔当标准形(高等代数)、张量与多线性代数(微分几何、深度学习)——它们都从这八章的某一句话出发。祝旅途愉快。
