第二章: 导数

==导数的定义==

导数是切线的斜率，而切线的斜率可以定义为割线在割距趋于 0 的斜率的极限。

设函数 f(x) 在点 x_0 附近有定义，则过点 (x_0, f(x_0)) 和 (x_0 + \Delta x, f(x_0 + \Delta x)) 的割线斜率为 \frac{f(x_0 + \Delta x) - f(x_0)}{\Delta x}

当 \Delta x \to 0 时，这个割线斜率的极限（若存在）就是切线的斜率，也即导数： f'(x_0) = \lim_{\Delta x \to 0} \frac{f(x_0 + \Delta x) - f(x_0)}{\Delta x} =\lim_{\Delta x \to 0} \frac{\Delta y}{\Delta x}

这样，切线的斜率和导数都通过极限的方式被严格定义。

对函数 f(x) 定义域上的每一点都求导 (假设每一点的导数都存在), 得到一个新的函数, 称为导函数, 记作 f'(x). 导函数是由 f(x) 衍生出来的, 正好和 Derivative (导数) 的意思一致.

==对数函数的导数==

求对数函数 f(x) = \log_u x 的导数, 其中 u 是大于 0 且不等于 1 的常数.

解： f'(x) = \lim_{\Delta x \to 0} \frac{\log_u (x + \Delta x) - \log_u x}{\Delta x}

利用换底公式 \displaystyle \log_u a = \frac{\ln a}{\ln u},

\begin{align*} f'(x) &= \lim_{\Delta x \to 0} \frac{\frac{\ln(x + \Delta x)}{\ln u} - \frac{\ln x}{\ln u}}{\Delta x} \\ &= \frac{1}{\ln u} \cdot \lim_{\Delta x \to 0} \frac{\ln(x + \Delta x) - \ln x}{\Delta x} \\ &= \frac{1}{\ln u} \cdot \lim_{\Delta x \to 0} \frac{\ln\left(1 + \frac{\Delta x}{x}\right)}{\Delta x} \\ &= \frac{1}{x \ln u} \cdot \lim_{\Delta x \to 0} \frac{\ln\left(1 + \frac{\Delta x}{x}\right)}{\frac{\Delta x}{x}} \end{align*}

令 \displaystyle h = \frac{\Delta x}{x}，当 \Delta x \to 0 时 h \to 0，则： f'(x) = \frac{1}{x \ln u} \cdot \lim_{h \to 0} \frac{\ln(1 + h)}{h} = \frac{1}{x \ln u}

注: 最后一步用到了上面的先导结论.

由此我们得到对数函数的导数为:

\boxed{(\log_u x)' = \frac{1}{x \ln u}}

==指数函数的导数==

求指数函数 f(x) = q^x 的导数，其中底数 q 是大于 0 且不等于 1 的常数.

解：

\begin{align*} f'(x) &= \lim_{\Delta x \to 0} \frac{q^{x + \Delta x} - q^x}{\Delta x} \\ &= \lim_{\Delta x \to 0} \frac{q^x \cdot q^{\Delta x} - q^x}{\Delta x} \\ &= q^x \cdot \lim_{\Delta x \to 0} \frac{q^{\Delta x} - 1}{\Delta x} \end{align*}

我们注意到当 \displaystyle \Delta x\to 0 时, \displaystyle q^{\Delta x} \to 1

而 \displaystyle q^{\Delta x} -1 \to 0, 于是我们把 \displaystyle q^{\Delta x} -1 看作一个新的变量 h, 故此时有当 \displaystyle \Delta x\to 0 时 h \to 0.

于是根据极限运算的换元法 \lim_{\Delta x \to 0} \frac{q^{\Delta x} - 1}{\Delta x} = \lim_{h \to 0} \frac{h}{\log_q(1+h)} = \ln q

上式中的最后一个等式用到了前面的先导结论.

因此， \boxed{(q^x)' = q^x \ln q}

这就是指数函数的导数公式。

在计算绝对值函数在 0 点的导数时, 我们注意到 f(x) = |x| 在 0 点左右两侧的切线斜率都存在, 为了更加细致的分析函数的行为, 我们可以引入单侧导数的概念.

我们定义函数 f(x) 在 x_0 处的左导数 f'_-(x_0) = \lim_{\Delta x \to 0^-} \frac{f(x_0 + \Delta x ) - f(x_0)}{\Delta x },

和右导数
f'_+(x_0) = \lim_{\Delta x \to 0^+} \frac{f(x_0 + \Delta x ) - f(x_0)}{\Delta x }.

左导数和右导数统称为单侧导数, 函数 $ f(x) $ 在点 $ x_0 $ 处可导的条件是左导数和右导数都存在且相等.

对绝对值函数在 x_0 = 0 点处而言, 其单侧导数都存在, 但是不相等, 因此在该点并不可导.

1. 幂函数

• 如果 f(x) = x^n，则： \displaystyle f'(x) = n \cdot x^{n-1}

2. 指数函数

• 如果 f(x) = e^x，则： \displaystyle f'(x) = e^x

• 如果 f(x) = a^x，则： \displaystyle f'(x) = a^x \ln(a)

3. 对数函数

• 如果 f(x) = \ln(x)，则： \displaystyle f'(x) = \frac{1}{x}

• 如果 f(x) = \log_a(x)，则： \displaystyle f'(x) = \frac{1}{x \ln(a)}

4. 三角函数

• 如果 f(x) = \sin(x)，则： \displaystyle f'(x) = \cos(x)

• 如果 f(x) = \cos(x)，则： \displaystyle f'(x) = -\sin(x)

5. 反三角函数 (不要求)

• 如果 f(x) = \arcsin(x)，则： \displaystyle f'(x) = \frac{1}{\sqrt{1 - x^2}}

• 如果 f(x) = \arccos(x)，则： \displaystyle f'(x) = \frac{-1}{\sqrt{1 - x^2}}

• 如果 f(x) = \arctan(x)，则： \displaystyle f'(x) = \frac{1}{1 + x^2}

• 加法: 若函数 f(x) 和 g(x) 在点 x 处可导，则：

\boxed{ [f(x) + g(x)]' = f'(x) + g'(x) }

证明: 根据导数的定义： \begin{align*} [f(x) + g(x)]' &= \lim_{h \to 0} \frac{[f(x+h) + g(x+h)] - [f(x) + g(x)]}{h} \\ & = \lim_{h \to 0} \left[ \frac{f(x+h) - f(x)}{h} + \frac{g(x+h) - g(x)}{h} \right] \\ & = \lim_{h \to 0} \frac{f(x+h) - f(x)}{h} + \lim_{h \to 0} \frac{g(x+h) - g(x)}{h} \\ & = f'(x) + g'(x) \end{align*}

• 减法: 若函数 f(x) 和 g(x) 在点 x 处可导，则：

\boxed{ [f(x) - g(x)]' = f'(x) - g'(x) }

该性质的证明跟导数的加法运算完全类似.

• 乘法: 若函数 f(x) 和 g(x) 在点 x 处可导，则： \boxed{ [f(x) \cdot g(x)]' = f'(x)g(x) + f(x)g'(x) }

证明： 根据导数的定义： \begin{align*} [f(x)g(x)]' &= \lim_{h \to 0} \frac{f(x+h)g(x+h) - f(x)g(x)}{h} \\ &= \lim_{h \to 0} \frac{f(x+h)g(x+h) - f(x+h)g(x) + f(x+h)g(x) - f(x)g(x)}{h} \\ &= \lim_{h \to 0} \left( f(x+h) \frac{g(x+h) - g(x)}{h} + g(x) \frac{f(x+h) - f(x)}{h} \right) \\ &= \lim_{h \to 0} f(x+h) \cdot \lim_{h \to 0} \frac{g(x+h) - g(x)}{h} + g(x) \cdot \lim_{h \to 0} \frac{f(x+h) - f(x)}{h} \\ &= f(x)g'(x) + g(x)f'(x) \end{align*}

• 除法 若函数 f(x) 和 g(x) 在点 x 处可导，且 g(x) \ne 0，则： \boxed{ \left[ \frac{f(x)}{g(x)} \right]' = \frac{f'(x)g(x) - f(x)g'(x)}{[g(x)]^2} }

证明: \dfrac{f(x)}{g(x)} 可以看作 f(x) 与 \dfrac{1}{g(x)} 的乘积, 而 \dfrac{1}{g(x)} 可以看成是函数 \dfrac{1}{x} 与 g(x) 的复合. 于是我们可以联合复合函数求导和上面的乘法求导法则来推导上述除法求导公式. \begin{align*} \left[ \frac{f(x)}{g(x)} \right]' &= f'(x)\left[ \dfrac{1}{g(x)} \right] + f(x)\left[ \dfrac{1}{g(x)} \right]'\\ &= \dfrac{f'(x)}{g(x)} - f(x) \cdot \dfrac{g'(x)}{[g(x)]^2} \\ &= \frac{f'(x)g(x) - f(x)g'(x)}{[g(x)]^2} \end{align*}

f''(x) = (f'(x))'

高阶导数

• f'(x), f''(x), f'''(x), f^{(n)}(x), \cdots.

• 导数>0, 单调递增;
• 导数<0, 单调递减;
• 导数=0, 无法判断.

导数为 0 的点也称为驻点或临界点, 在临界点处:

• 二阶导数 >0 \Rightarrow 极小
• 二阶导数 <0 \Rightarrow 极大
• 二阶导数 =0 \Rightarrow 无法判断.

设 f(x) 在 [a, b] 上连续，则其最大值和最小值可按以下步骤求解：

1. 确定临界点：

• 求 f(x) 在 (a, b) 内的 驻点 (即 f'(x) = 0 的解);
• 找出 f(x) 的 不可导点 (如间断点、无穷大点等).

2. 计算候选值：

• 计算驻点、不可导点处的函数值 f(x_i)；
• 计算端点值 f(a) 和 f(b).

3. 比较结果：选出最大值和最小值

如果函数 f(x) 满足: 对于定义域内任意的 x_1, x_2，都有 f\left(\frac{x_1 + x_2}{2}\right) \leq \frac{f(x_1) + f(x_2)}{2} 则称函数 f(x) 是凸函数。

更一般地，对于任意 t \in [0,1]，都有： f(tx_1 + (1-t)x_2) \leq tf(x_1) + (1-t)f(x_2) 这称为Jensen不等式，是凸函数的等价定义。

与凸函数相对的, 我们还有凹函数的概念. 如果在上面的定义中把不等号反向, 我们就得到了凹函数的定义. 不难发现, 讨论函数 f(x) 的凹性等价于讨论函数 -f(x) 的凸性, 所以我们有凸性的定义就够用了.

注意：这里采用的是国际通用的凸函数定义（“凸”对应英文的”convex”），与某些国内教材的定义可能相反。

对于二阶可导的函数 f(x)：

• 若在区间 I 上 f''(x) \geq 0，则 f(x) 在 I 上是凸函数
• 若在区间 I 上 f''(x) \leq 0，则 f(x) 在 I 上是凹函数
• 若在区间 I 上 f''(x) > 0，则 f(x) 在 I 上是严格凸函数
• 若在区间 I 上 f''(x) < 0，则 f(x) 在 I 上是严格凹函数

梯度下降法是一种利用导数信息来寻找函数极小值点的数值算法. 这个过程就好像你在调一台老式收音机，它只有一个旋钮 k 用来调频道。你转动旋钮时，耳朵会立刻听到声音的变化：有时候，往一个方向轻轻一转，会发现杂音立刻变小了，但也有时候，刚一转动旋钮，嗞嗞的噪声突然变大。整个过程就像是在黑暗中摸索，只能凭耳朵判断该往哪边走，一边转旋钮，一边听声音的变化，一步步靠近那个最清晰的频道。

损失函数 L(k) 就表示收音机的杂音强度, 我们通过旋钮的微调和耳朵的感受就能够大致估计导数 L'(k), 而导数值能够为我们提供了修正 k 的方向信息: L'(k) > 0 表示噪声 L(k) 随着 k 增大而增大, 所以应该减小 k 来减小噪声 L(k); 反过来, L'(k) <0 表示噪声 L(k) 随着 k 增大而减小, 所以应该增大 k 来减小噪声 L(k), 最终如果找到 L'(k) = 0 的点就找到了噪声最小也就是最清晰的频道.

我们把上述调节收音机的过程写成算法, 就得到了梯度下降法: 梯度下降法算法步骤：

输入：初始参数 k_0，学习率 \eta，收敛阈值 \epsilon

过程： 1. 初始化：t \leftarrow 0，k \leftarrow k_0 2. while |L'(k)| > \epsilon：

1. 计算梯度：g \leftarrow L'(k) = -2 \sum_{i=1}^{N} x_i(y_i - kx_i)

2. 更新参数：k \leftarrow k - \eta \cdot g

3. t \leftarrow t + 1

6. end while

输出：最优参数 k^*

收敛

当导数很接近 0 时(|L'(k)| \le \epsilon)，更新步长会非常小，参数 k 的变化几乎停下来，这时我们就找到了让 L(k) 最小的 k，参数就收敛到了最优点。

学习速率

需要特别注意算法中的参数 \eta, 我们称它为学习速率, 因为它决定了 k 的更新步幅, \eta 的值是需要根据具体问题人为给定的:

• 如果 \eta 太大 → 你猛地把旋钮转过头，直接跨过谷底，来回震荡，甚至跑到更高的山上
  
• 如果 \eta 太小 → 你像用牙签拨旋钮，一次几乎没动，走到谷底需要很久

在上面的数据点拟合的例子中, 运用梯度下降法求解上述问题得到的 k 的拟合值如下图. 由于随机误差的存在, 在算法看来对数据拟合得最好的 k = 2.69, 与我们生成数据时所采用的 k=2.5 略有偏差, 在统计意义上这是完全合理的, 而且随着样本点个数 N 的增大, 随机误差的整体效果会逐渐减弱, 算法得到的 k 也会越来越接近真实值.