第1章 极限
Tip
微积分是大学数学的核心内容, 是人工智能的基础之一, 学好它对我们以后的学习和成长有非常大的好处.
微积分的研究对象是函数. 我们中学已经学过函数的概念, 下面我们来复习和巩固一下.
1.1 集合与映射
1.1.1 集合
Tip
集合是数学研究从具体到抽象的第一步. 当我们用数学语言来描述世界时, 首先要把我们感兴趣的对象给拿出来, 进行适当的抽象, 然后再研究它们的规律. 集合就是数学中用来界定对象的一个概念.
Note
集合举例
自然数集 ---
实数集 ---
满足不等式 x-3<10 的所有实数 x ---
Important
集合的概念
我们把所要研究的对象统称为元素 (element), 这些元素所组成的总体叫做集合 (set). 一般用大写字母如 表示集合, 用小写字母如 或 来表示集合中的元素.
如果 是集合 的元素, 就说 属于 集合 , 记作 ;
如果 不是集合 中的元素, 就说 不属于 集合 , 记作 .
不包含任何元素的集合叫做 空集 (emptyset), 记为 .
Caution
上机实验
计算机图像处理中经常会用到掩码 (mask) 的概念. 掩码本质上就是一个集合.
Important
两个集合间的包含关系
如果集合 中任意Rd一个元素都是集合 中的元素, 则称 包含于 (或 包含), 记作 或 , 此时称 为 的 子集 (subset). 空集是任何集合的子集
集合相等: 如果 , 同时 , 则集合 , 中的元素是完全一样的, 此时我们说集合 等于集合 , 记作.
Important
集合之间的运算
交集
所有既属于 又属于 的元素组成的集合称为 与 的 交集 (intersection set), 记作 (读作“ 交 ”), 即
下图展示了交集运算:

并集
所有属于集合 或属于集合 的元素组成的集合, 称为集合 与 的 并集 (union set), 记作 (读作“ 并 ”), 即
下图展示了并集运算:

补集
如果集合 是集合 的子集, 则所有 中不属于 的所有元素构成的集合称为 相对于 的 补集 (complementary set), 记作 或 , 即
下图展示了补集运算:

1.1.2 映射
Tip
集合的概念是为了给映射做铺垫, 映射建立了集合与集合之间的关联.
Important
映射的定义
映射 (map) 描述了从一个集合到另一个集合的某种对映关系. 设集合 和 集合 是两个集合, 如果存在一个对映关系 , 使得集合 中的每个元素都唯一的对映到 中的一个元素, 则称 为从 到 的映射, 记作
映射 把集合 中的元素 对映到 中的元素 , 可记作
此时 称为 的象, 称为 的原象.
映射可以通过下面的图像来理解:

图中箭头表示了集合 中元素与集合 中元素的对映关系.
根据定义, 映射需要满足两个要求: 随处取值, 唯一对映.
Warning
映射的性质
单射:如果 中的每个元素都对映 中的不同元素, 则称 为单射.
满射:如果 中的每个元素都有原象, 则称 为满射.
一一映射:顾名思义, 一一映射就是集合 中元素与集合 中的元素一个对映一个.
可以证明, 是一一映射等价于 既是单射又是满射.
逆映射
对于一一映射 , 把映射的象和原象反过来, 得到一个把集合 映射到集合 的新的映射, 称为逆映射, 记作 .
Note
映射的例子
映射的例子在我们的生活中随处可见, 例如:
名字:集合 是所有的人, 集合 是所有的名字. 每个人都有一个名字, 我们允许重名, 但不允许一个人有2个名字.
地图:没错, map 本身就是一个 map!(我们希望)这是一个从地图到真实世界的一一映射.
颜色:为什么我们能看到不同的颜色?颜色是一个从光波长到我们主观感受的映射.
从上面的例子可以感受到, 映射的作用在于把集合 中的元素作为输入信号, 例如如不同的人、GPS坐标、光的波长等, 经过某种操作, 转换成我们关心的输出, 如名字、位置和颜色. 从这个意义上理解, 映射就是就是把输入 转化成 的一个机器.

1.1.3 函数
Tip
映射与函数
函数是一种特殊的映射: 从数集 到数集 的映射 称为函数 (function). 函数可写成 的形式, 其中 称为自变量, 称为 对映的函数值.
Important
数列
数列是一类特殊的函数, 它把自然数集 映射到实数集 中, 这个函数可以记作 , 不过更多的时候我们会把 作为下标, 以 表示数列得第 项, 并以 表示整个数列.
等差数列
等比数列
Important
初等函数
幂函数:
指数函数: , 特别的有 , 后者在 python 中有专门的函数
对数函数: , 特别的有 , 后者在 python 中有专门的函数
三角函数: , ,
反三角函数:
其它常用函数
绝对值函数:
符号函数
Sigmoid函数
Important
反函数
反函数是逆映射的一个特例, 对于函数 (也要求 是一一映射), 其反函数为 . 例如
的反函数为
的反函数为 .
反函数本质上是把 和 的顺序对调了一下, 因此不难发现原函数与反函数的图像是关于直线 对称的.

Important
复合函数
对于函数 和 , 我们可以构造一个新的函数 , 它把自变量 通过函数 映射到 , 再把 视作自变量 (也称为中间变量) 通过函数 映射到 . 这个过程可以表示为:
我们把这个新函数 称为函数 和 的复合函数, 记作 . 注意函数复合是讲顺序的, 一般来说 .
Note
假设 , , 则
Caution
计算机编程中的函数(function) 概念比数学中的函数要广, 它表示从输入 (可以是数、数组、函数等)到输出 (也可以是数、数组、函数等)的一系列操作.
深度学习与复合函数
人工智能中的核心技术为深度学习, 深度学习的背后其实就是有很多层 (从几十到几千层都有) 的神经网络 (Neuron Network). 神经网络的本质正是复合函数. 对于图中所示的神经网络, 从最左端的输入信号开始, 之后每一层都是上一层信号的复合, 因此神经网络就是一个复合了很多次的函数, 这个函数把输入 (比如一张图片) 映射到我们关心的结果 (比如图像是猫还是狗的概率).
上机实验
1.2 极限
Tip
极限是微积分中的核心概念. 极限的出现代表了数学思想的一次转变, 而促成这一转变的动机来自于现实问题中对曲线相关问题的需求. 在初等数学中我们会计算矩形的周长和面积, 会计算三角形的周长和面积, 甚至是任意多边形的周长和面积, 但是, 这些都是由直线构成的结构, 而到了曲线大家就不会了. 曲线的长度怎么算? 由曲线构成区域的面积怎么算? 尽管我们初中就知道圆的周长是 , 面积是 , 但是为什么是这样, 只有运用微积分才能给出严格的证明.
极限的概念很直观, 但经过数学的严格化后会变得非常抽象. 可以说极限的公理化是一道门槛, 是我们从中学的初等数学迈向大学的高等数学的必经之路. 要学好极限并不容易, 这里面涉及从有限到无穷的观念转变. 我们会发现这条路一开始会辗转反复, 让人晕头转向, 但是当你学完这门课程再回头来看, 会发现这么做是值得的, 数学概念的严格化其实不是在追求外表的精美, 而是让我们的内心变得更加的强大, 使我们有力量走得更远. 那么, 我们深呼吸一下, 一起敲开通向高等数学的大门吧.
1.2.1 数列极限
Tip
极限与圆的面积
圆的面积怎么算? 为了计算圆的面积, 我们构造了一系列圆的内接正多边形, 这些正多边形的面积是可以通过初等数学计算的, 我们把它们的面积记作 . 通过直觉我们能感受到, 当 趋于无穷大时, 的面积会无限接近圆的面积Rd. 接下来我们要做的就是把这个直觉通过数学语言给严格化.
Note
极限存在的例子
一尺之捶, 日取其半 (版本1)
站在棒子的角度, 这个过程可以用一个数列描述. 代表天数, 代表杠剩下的长度.
随着 的增加 (动), 的值不断靠近0 (静), 直觉告诉我们当 区域无穷大时 的极限是0.
一尺之捶, 日取其半 (版本2)
站在砍棒人的角度, 这个过程也可以用一个数列描述. 代表天数, 代表到第 天为止所取的棒子的总数.
随着 的增加 (动), 的值不断靠近1 (静), 直觉告诉我们当 区域无穷大时 的极限是1.
P21 例1
随着 的增加 (动), 的值不断靠近1 (静), 直觉告诉我们当 区域无穷大时 的极限是1.
P22 例2
随着 的增加 (动), 的值不断靠近0 (静), 直觉告诉我们当 区域无穷大时 的极限是0.
Note
极限不存在的例子
例3
数列 不收敛, 因为直觉告诉我们这个数列静不下来.
例4
数列 不收敛, 这个数列不断增长, 直觉告诉我们这个数列也静不下来.
Important
数列极限的定义 (非常重要!!!)
设 为一数列, 为一常数, 如果对于任意给定的正数 , 总存在正整数 , 使得当 时有
则称 为数列 的极限, 记作
定义背后的数学直觉Rd: 所以数列 有极限就是, 当 足够大时, 的值无限接近某个数 . 上述定义把数列极限的直觉具象化了, 从而使得直觉变得可操作了. 根据定义, 我们现在可以严格的判断前面例子中数列的极限.
Note
一尺之捶, 日取其半 (版本1)
直觉: 的极限为0.
证明: 对于任意给定的 , 要找到 使得
取 , 可知当 时, 总有 . 因此 .
一尺之捶, 日取其半 (版本2)
直觉: 的极限为1.
证明: 对于任意给定的 , 要找到 使得
取 , 可知当 时, 总有 . 因此 .
Note
P21 例1
直觉: 的极限为1.
证明: 对于任意给定的 , 要找到 使得
取 , 可知当 时, 总有 . 因此 .
Note
P22 例2
直觉: 的极限为0.
证明: 对于任意给定的 , 要找到 使得
取 , 可知当 时, 总有 . 因此 .
Warning
数列极限的几条性质 (了解, 不需要证明)
如果数列 有极限, 那么它的极限唯一.
如果数列 有极限, 那么数列 一定有界.
如果 , 且 , 那么存在正整数 , 当 时有 .
如果 , 那么 的任一子数列的极限也是 .
任意改变数列的有限多项, 不影响极限的收敛.
1.2.2 函数极限
Tip
函数极限跟数列极限本质上都是极限, 都是动中取静, 只不过数列极限中动的是 , 而函数极限中动的是自变量 . 之前我们强调过函数图像的重要性, 函数的极限过程同样可以通过函数图像来理解. 下面这张图可以作为我们对函数极限的直觉, 图中展示了 , 请大家想想在这个极限过程中什么在动, 什么是静?

Important
函数极限的定义 (非常重要!!!)
设函数 在点 的某一去心领域内有定义 ( 为了让 能够动起来), 为一常数. 如果对于任意给定的正数 , 总存在正数 , 使得当 时有
则称 为函数 在 的极限, 记作
上述定义可以通过下图来理解

所以函数 在 时有极限就是, 当 足够接近 时, 的值无限接近某个数 . 注意跟数列极限进行对比. 跟数列极限的定义一样, 上面关于函数极限的定义提供了一个可操作的流程, 能够将我们关于函数极限的直观具象化.
Note
直觉: 在 的极限为 .
证明: 由于
为了使 , 只要 .
取 , 可知当 时, 总有 ,
从而
Note
直觉: .
证: 由于
为了使 , 只要
所以, , 可取, 则当 适合不等式
时, 对应的函数值就满足不等式
从而
Note
直觉: 在 的极限为5.
证明: 对于任意给定的 , 要找到 使得只要 , 总有
为了把 用常数束缚住, 取 . 当 时, , 因此
所以在 的情况下有
现在给定任意 , 令
若 , 则同时有 (从而 )且 . 因此
因此对任意 存在上述 使得 蕴含 , 于是
Warning
函数极限的性质
如果 存在, 则极限唯一.
如果 , 则 在 周围有界, 即存在 和 , 使得当 时 .
如果 , 则 在 周围一定大于0, 即存在 , 使得当 时 .
Warning
语言
本章的主要内容是数列极限和函数极限的定义, 在数学上我们也把这套定义极限的方法称为 语言 (数列) 或 语言 (函数). 这样的定义看似繁缛, 但只有这样才能把极限的本质说清楚. 初学者不要怕麻烦, 做题时应该一字一句的把极限的定义写清楚. 怕麻烦不想写字的同学, 在熟练掌握了极限的定义之后, 可以使用两个约定的缩写符号:
: 对于任意Rd
: 存在Rd
使用这两个符号, 数列极限和函数极限的定义可以写成下面的形式 (仅仅是少几个字而已).
数列极限的定义
, , s. t., if .
函数极限的定义
, , s. t., if .
Warning
对无穷大的描述
我们有时候会说一个数列或函数趋于无穷大, 也会写 或 , 请注意, 这只是一种习惯上的说法, 并不是Rd真正意义上的 (有限的) 极限. 尽管如此, 我们可以借用类似 语言的做法来从数学上定义什么叫趋于无穷大, 例如:
数列趋于无穷大
, , s. t., if .
函数趋于无穷大
, , s. t., if .
1.2.3 极限的运算
Tip
这一讲我们主要关心如何计算极限.
对于一些简单的极限计算, 每次都用直觉和 语言来计算极限太繁琐, 也没有必要. 很多时候极限的四则运算能够帮上大忙.
有一些困难的极限问题, 我们需要跟强大的数学结论和工具, 本讲介绍的三明治定理和单调有界数列有极限请收好.
注意, 本讲的性质和定理全部都建立在上一讲极限定义的基础之上, 其根本还是 语言.
Caution
希尔伯特的旅店
极限运算涉及到了无限Rd的概念, 对初学者来说这是一个之前从未踏足过的位置领域, 一些有限世界中的直觉将不再成立. 希尔伯特的旅店是一个有趣的故事, 通过这个故事希望能让大家对无限Rd有一颗敬畏之心.
Important
数列极限四则运算
加减法: 如果 , , 则 .
乘法: 如果 , , 则 .
除法: 如果 , , 且 , 则 .
证明见教学视频或问DeepSeek.
Important
函数极限四则运算
加减法: 如果 , , 则 .
乘法: 如果 , , 则 .
除法: 如果 , , 且 , 则 .
证明见教学视频或问DeepSeek.
Note
例1: 证明
证明: 对任意给定的 , 我们需要找到正整数 , 使得当 时:
解不等式 得
取 (即不小于 的最小整数)
则当 时, 必有
故 .
Note
例2: 计算
解法1(直接法):
由 可得:
解法2( 定义证明):
对任意 , 需存在 使得当 时:
解不等式得 , 取 , 则当 时必满足 , 故极限为 .
Note
例3: 计算
解:对任意 , 需存在 使得当 时:
解不等式得 , 取 , 则当 时必满足 , 故极限为 .
Note
例4: 计算
解法1(直接代入法):
由于 在 处连续, 可直接代入:
解法2( 定义证明):
对任意 , 需找到 使得当 时:
取 , 则当 时:
故极限为 .
Note
例5: 计算
解法: 分子在 处的值:, 分母在 处的值:, 分母不为零, 可直接代入:
Note
例6: 计算
解法:识别不定式:直接代入得 , 需进一步处理, 因式分解分母:
约去公因式:
计算简化后的极限:
1.2.4 两个重要的极限
Tip
重要极限一
还记得"割圆法"求圆面积的例子吗? 圆的内接正 边形的面积当 的极限的计算最后就会落到极限 的计算, 这个极限与圆周率 (阿基米德数Rd)有着深刻的联系.
Important
三明治定理
定理陈述:
设函数 在点 的某去心邻域内满足:
, 则 .
数列版本:
若数列 满足:
(对充分大的 )
, 则 .
Important
重要极限1
证明: 首先考虑 的情形. 我们从几何出发, 把 看作是单位圆上的一小段弧度, 注意到
为对边长度
为圆弧长度(弧度制)
为切线长度
通过几何上观察可知
同时除以 并取倒数得
对于 的情况, 利用奇函数性质:
因此同样有
注意到
应用三明治定理, 得
Tip
重要极限二
极限 与无理数 (欧拉数Rd)有密切的联系. Jacob Bernoulli 于1683年在研究复利的时候考虑过这个数列的极限.

雅各布·伯努利与数e的发现
Important
重要极限2
证明见教学视频或问DeepSeek.
Caution
可以证明
证明的方法也是用单调有界数列有极限.
中学学过导数的同学可以算一下展开式
的导数, 看看会发现什么有趣的现象?
1.2.5 复合函数的极限
Tip
下面的结论相当于极限运算中的换元法, 在计算极限的时候十分有用.
Warning
假设 , , , 则 .
这个结论请自行根据直觉理解, 证明略.
Note
综合运用极限的定义, 极限的四则运算和复合函数的极限 (换元法), 以及三明治定理和单调有界数列有极限等结论, 我们现在可以计算很多数列和函数的极限.
例1: (P48: 例1)
解:
Note
例2: (P48: 例2)
解:
Note
例3: (P48: 例3)
解:, 则 , 当 时, 有 . 于是由复合函数的极限运算法则得:
Note
例4: (P51: 例4)
解:令 , 则当 时, .
于是
Note
例5:
解:令 , . 当 时, 且 , 此时 , 即 .
对上式第一个括号中的部分采用 的换元, 可知其在 时的极限为1; 同理, 对上式第二个括号中的部分采用 的换元, 可知其在 时的极限也为1. 故
1.3 连续函数
1.3.1 连续和间断
Tip
所谓连续函数, 直白的说就是能笔不离开纸面一气画出来的函数, 下面我们就来运用极限的概念把这个连续的直观Rd给数学化.
Important
函数在某一点的连续
若 , 则称 在 处连续.
连续函数
如果函数在某个区域上每一点都连续, 则称 是该区域上的连续函数.
Note
连续函数
例1
在 上连续.

例2:
在 上连续, 但是在 0 点处不连续.

Warning
间断函数
不连续的函数就是间断函数. 间断函数一定有某处是不连续的, 造成不连续的原因很多, 其中有些间断点还能够被挽救回来变成连续的 (可去间断点), 有些则挽救不回来.
Note
间断函数的例子
例3
这个函数在 处不连续, 造成不连续的原因是 没有定义, 从而 无从说起.
幸运的是, 在 处的极限等于1, 只要令 就可以让 在0点也连续了, 从而改良后的 对任意 都连续.
例4:
在 点处不连续. 造成不连续的原因跟例3一样也是 没有定义.
不幸的是, 在 处无限震荡, 没有极限, 所以这个函数没法像例3一样简单的补上一个点就成为连续函数.

Warning
单侧极限
, , s. t., if .
, , s. t., if .
造成函数 在 处的极限不存在的一个常见原因是 的左右极限不相等.
Note
符号函数
该函数在 处不连续, 造成不连续的原因是函数在该点的左极限 ( 从左往右趋于0) 等于 , 右极限 ( 从右往左趋于0) 等于 , 左右极限不相等. 这种情况也没有办法通过简单的修改 的值来让函数连续.
Warning
函数的连续性是一个很自然的性质, 我们所感受到的世界就是连续的: 物体运动的轨迹, 温度的变化, 甚至计算机里的0-1也是用连续函数来近似的.
在做目标追踪问题的时候, 连续是一个很重要的先验;
在求解物理方程的时候, 解的连续性是一个很重要的约束;
在人工智能里, 连续性是解决高维问题的一个核心底层逻辑.
1.3.2 闭区间上连续函数的性质
Tip
闭区间上的连续函数是函数中的乖宝宝Gn, 因为这类函数的值总是可以被控制住.
Important
闭区间上连续函数的定义
如果函数 在 内连续, 在 处右连续, 在 处左连续, 则 是闭区间 上的连续函数.
Important
维尔斯特拉斯 (Weierstrass) 极值定理/极大极小值定理
闭区间 上的连续函数有界, 且至少有一点 使得 是 在 上的最大值, 也至少有一点 使得 是 在 上的最小值.
Note
两个反例
例1:
在闭区间上, 在 处不连续, 因为 没有定义. 因此, 在 上的连续性是不成立的. 违反维尔斯特拉斯极值定理, 在闭区间上无界, 当 时, ,不存在最大值和最小值.
例2: 符号函数
符号函数在闭区间上不连续, 因为在处, 符号函数的左右极限不相等.
Important
布尔查诺 (Bolzano) 定理/介值定理
设闭区间 上的连续函数 在端点的值分别为 , , 则一定存在 使得 .
Note
例1:证明方程 在区间 内至少有一个根
证明:函数 在闭区间 上连续, 又, .
根据介值定理, 区间 内存在 满足 , 此即方程 的一个根.
Caution
布尔查诺定理时一个存在性定理, 它只告诉我们一个东西有还是没有, 与之相对的是所谓的构造性定理, 后者会给出找出这个东西的具体办法. 存在性定理和构造性定理都是数学的重要组成部分, 按照一般的理解, 前者在纯数学中的地位更高, 后者则一般更受工程师和程序员的青睐.
为了让大家体会存在性定理的奇妙之处, 下面我们用布尔查诺定理来证明一个看起来并不明显的命题(摘自库朗所著的《什么是数学》一书). 命题如下: 如果 和 是平面内的任意两个区域, 那么在平面内一定存在一条直线, 该直线同时平分 和 . (注:所谓一个"区域", 是指平面内一条简单闭曲线所包围的部分.)

证明:
先在平面上选择某一固定点 , 并且从 引出一条射线 当作度量角度的始边. 如果作与 的夹角为 的任一射线 , 那么在平面上会有一条与 同方向且 平分区域 的有向直线.
因为, 如果我们作一条与 同方向的有向直线 , 但它整个在 的一侧, 然后平行地移动这条直线, 直到直线处在位置 , 那么由区域 在直线右侧(如果直线指北, 则东向是右侧)的面积减去 在直线左侧的面积所定义的函数, 其值对 是负的, 对 是正的. 因为这个函数是连续的, 由布尔查诺定理, 必有某个中间位置 , 使它为零, 也就是 平分了 . 因此, 对于 由 到 的每个值 , 平分 的直线 都是唯一确定的.
现在把函数 定义为 在直线 右侧面积减去 在 左侧的面积. 假设直线 与 同方向且平分了 , 并且 在 右侧的面积大于左侧, 则对 , 是正的. 如果 增加到 , 那么直线 和 平行, 它虽然和 一样地分割 , 但与 方向相反, 右和左互换, 因此 在 时和在 时的数值相同, 但符号相反, 所以是负的. 当 旋转时, 是 的连续函数, 那么在 和 之间, 存在 的某个值 , 使 等于零.
因此方向线 同时平分 和 , 证明完毕.