神经网络 - Google 机器学习速成课程配套中文解读 on 跟我学机器学习

深度学习神经网络：简介 - Google 机器学习速成课程配套中文解读

Wed, 28 Oct 2026 19:42:00 +0800

神经网络：简介#

预计整个模块学习时长： 75 分钟

学习目标：

解释我们为什么要构建神经网络，以及它们解决了哪些使用场景的问题。

定义并说明深度神经网络架构中几个关键组件各自的作用：

节点（Nodes）

隐藏层（Hidden layers）

激活函数（Activation functions）

顺着推理过程一步步走一遍，建立「神经网络是怎么做出预测」的直觉。

借助反向传播算法，建立「神经网络是怎么被训练出来的」的高层直觉。

解释神经网络如何完成两种多类别分类：一对多（one-vs.-all）与一对一（one-vs.-one）。

先修要求：

本模块假设你已经熟悉以下模块中介绍的概念：

机器学习简介

线性回归

逻辑回归

分类

处理数值数据

处理类别数据

数据集、泛化与过拟合

一个线性模型分不开的分类问题#

先回顾一个场景。在类别型数据模块的特征交叉练习里，我们见过这样一个分类问题：

图 1. 非线性分类问题

从图中可以看到，这个问题是非线性的。所谓“非线性”，指的是你没法用 $b + w_1x_1 + w_2x_2$ 这种形式的模型准确预测标签，换句话说，它的「决策面」不是一条直线。

不过话说回来，如果我们对特征 $x_1$ 和 $x_2$ 做一次特征交叉，两个特征之间的非线性关系就能用一个线性模型来表示了：

$$b + w_1x_1 + w_2x_2 + w_3x_3$$

这里 $x_3$ 就是 $x_1$ 与 $x_2$ 的特征交叉。结果是：

图 2. 加上特征交叉 $x_1x_2$ 之后，线性模型学出了一条双曲形状的边界，把蓝点与橙点分开。

对比一下图 1 和图 2 就会发现：坐标平面还是那张坐标平面，模型也依然是那个线性模型，变的是它的输入——多出来的 $x_3$ 那一项，正好把弯曲的边界给撑了出来。

神经网络：节点和隐藏层 - Google 机器学习速成课程配套中文解读

Thu, 29 Oct 2026 16:08:00 +0800

神经网络：节点和隐藏层#

在上一节内容中我们说到了非线性问题，如果要搭出一个能学到非线性的神经网络，我们先从一个你已经很熟悉的模型结构说起——一个线性模型：

$$ y' = b + w_1x_1 + w_2x_2 + w_3x_3 $$

这个方程可以这样看：$x_1$、$x_2$ 和 $x_3$ 是我们的三个输入节点（蓝色），$y'$ 是输出节点（绿色）。整张网络就这么简单——一层输入，一层输出，中间没有别的。

练习 1：先熟练使用线性模型#

在上面的模型里，权重（weight）和偏置（bias）的值都是随机初始化的。接下来的三个任务，一边帮我们熟悉这个界面，一边摸清线性模型的门道。

界面上的 Activation Function（激活函数）下拉框，这会儿可以先放着不管——我们会在本模块后面再专门讲它。

点一下网络上方的播放按钮（▶️），让它算出在输入 $x_1 = 1.00$、$x_2 = 2.00$、$x_3 = 3.00$ 时，输出节点的取值。
点一下输入层里的第二个节点，把它的值从 2.00 改成 2.50。注意输出节点的取值也跟着变了。选中输出节点（绿色），再看看 Calculations 面板，就知道这个输出值究竟是怎么算出来的。
关于计算的几点说明：
- 界面上显示的数值，都四舍五入到了小数点后两位。
- Linear() 函数只是把传进去的值原样返回。
点一下输出节点（绿色），就能看到它的权重（$w_1$、$w_2$、$w_3$）和偏置（$b$）参数值。把 $w_3$ 的权重调小一点（同样注意，输出节点的取值和下方的计算过程也都跟着变了），然后再把偏置调大一点。看看这些改动最后是怎么影响模型输出的。

给网络加一层#

这里先停一下，做个小结：刚才在练习 1 里调整权重和偏置，并没有改变输入与输出之间整体的数学关系——我们的模型仍然是一个线性模型。

那么，如果在输入层和输出层之间再加一层呢？

在神经网络的术语里，输入层与输出层之间额外加上的这些层，叫做隐藏层（hidden layers）；而这些层里的节点，叫做神经元（neurons）。

隐藏层中每个神经元的值，计算方式和线性模型的输出完全一样：把它的各个输入（也就是上一层的神经元）分别乘上各自的权重参数，再把乘积加起来，最后加上偏置。而下一层（这里就是输出层）的神经元，则是拿隐藏层算出来的神经元值当作输入，按同样的方式计算。

这个新加的隐藏层，让模型可以用另一组参数重新组合输入数据。那么，它能帮模型学到非线性关系吗？

练习 2：数参数并检验非线性#

我们已经给模型加了一个包含 4 个神经元的隐藏层。

先点网络上方播放按钮（▶️），让它算出在输入 $x_1 = 1.00$、$x_2 = 2.00$、$x_3 = 3.00$ 时，4 个隐藏层节点和输出节点各自的取值。

神经网络：激活函数 - Google 机器学习速成课程配套中文解读

Fri, 30 Oct 2026 10:05:00 +0800

神经网络：激活函数#

在上一节的练习里我们已经试过了：光是往网络里堆隐藏层，并不足以表达出非线性。线性运算作用在线性运算上，结果仍然是线性的。

关于这一点的实际证明过程，可以可以参见内容「深度学习线性回归入门：多项式回归与神经网络建模基础」第3.1.5节内容。

那么问题来了——要怎么配置一个神经网络，它才能学会取值之间的非线性关系？办法是往模型里插入一些非线性的数学运算。

其实这套路子你有点眼熟。课程前面我们就在线性模型的输出上动过非线性的手脚：在逻辑回归那一讲里，我们把线性回归模型的输出送进一个 sigmoid 函数，让它输出 0 到 1 之间的连续值，也就是一个概率。

同样的原理照样能搬到神经网络上。我们回到之前练习 2里的那个模型，只不过这一次，在输出每个节点的取值之前，我们先给它套一层 sigmoid 函数：

试着点一下播放按钮右边的 >| 按钮，一步步走过每个节点的计算过程，再对照图形下方的 Calculations（计算过程）面板，看看每个节点的取值究竟是怎么算出来的。你会发现两件事：每个节点的输出，如今都是上一层节点的线性组合再做一次 sigmoid 变换的结果；而且所有输出值都被压在 0 到 1 之间。

在这里，sigmoid 扮演的就是神经网络的激活函数（activation function）——在神经元的输出值被送进下一层的计算之前，先对它做一次非线性的变换。

加上了激活函数，再叠层才真正有意义。非线性一层压着一层，我们才有可能建模输入与预测输出之间那些非常复杂的关系。简单说，每一层实际上都在原始输入之上，学到了一个更复杂、层次更高的函数。想对这套机制再建立一些直觉，可以看看 Chris Olah 的这篇博客。

常见的激活函数#

常用作激活函数的数学函数有三个：sigmoid、tanh 和 ReLU。

前面已经讲过的 sigmoid 函数，对输入 $x$ 做如下变换，输出落在 0 到 1 之间：

$$ F(x)=\frac{1} {1+e^{-x}} $$

提示： sigmoid 这个词常被更宽泛地用来指代任何 S 形的曲线。而上面这个具体的函数 $F(x)=\frac{1} {1+e^{-x}}$，更准确的技术名称其实是 logistic 函数。

这条曲线长这样：

图 4. sigmoid 函数的曲线图。

tanh（“双曲正切"的缩写）把输入 $x$ 变换成 -1 到 1 之间的输出值：

神经网络：使用反向传播训练 - Google 机器学习速成课程配套中文解读

Fri, 30 Oct 2026 14:45:00 +0800

神经网络：使用反向传播训练#

本页要点：

反向传播：神经网络最主要的训练算法，正是它让梯度下降在多层网络上成为可能，通常由机器学习库自动完成。

梯度消失：发生在底层几层的梯度变得极小、拖慢训练的时候，用 ReLU 激活函数可以缓解。

梯度爆炸：发生在权重过大、梯度大到无法收敛的时候，可以用批归一化或降低学习率来对付。

死掉的 ReLU 单元：指输出卡在 0、梯度再也流不过去的情况，降低学习率或改用 LeakyReLU 这类变体可以避免。

Dropout 正则化：通过训练时随机「丢掉」一部分单元的激活来防止过拟合，丢掉的比例越高，正则化越强。

反向传播（backpropagation）是神经网络最常用的训练算法，正是它让梯度下降在多层网络上成为可能。很多机器学习代码库（比如 Keras）都会自动完成反向传播，所以你根本不需要自己去算那些底层的东西。

神经网络训练的最佳实践#

这一节要讲的是：反向传播会在哪些地方翻车，以及最常用的一种神经网络正则化手段。

对于反向传播的直观理解，可以看成是：模型先做出预测，再根据预测结果与正确答案之间的差距，逐层向后调整各个参与者的影响力（权重），从而不断减少预测误差。

以教室识别树木为例：

1. 前向传播（做出预测）：从最后一排到第一排，学生们依次传递各自对树木种类的判断，最终汇总得出预测结果。就像模型将输入数据逐层传递，最终得到预测值。

2. 计算误差（发现问题）：老师将预测结果与正确答案进行比较，发现班级只识别对了 7 张照片中的 1 张，说明当前的判断方式存在较大偏差。

3. 反向传播（追溯误差）：老师从最终公布答案的学生开始，逐排向后分析，判断哪些学生的意见对错误结果产生了较大影响。

4. 更新权重（调整影响力）：老师调整不同学生的发言比重，降低不合理的影响，提升有价值的判断，让下一次预测更加准确。

核心理解：前向传播负责根据当前权重做出预测，反向传播负责计算误差如何影响各层参数的梯度，而优化器则根据梯度更新权重。通过反复迭代，模型逐渐学会更准确地预测。

MLWM: 一句话总结，通过梯度下降最小化目标函数求得参数，但使用梯度下降的前提是知道目标函数关于每个参数的梯度，而反向传播算法恰恰是求解梯度的一大利器。

提示： 反向传播算法用到了微积分里的梯度概念，靠它来调整模型权重、把损失压到最小。要理解并排查下面这些问题，通常得先有点微积分基础。

梯度消失#

越靠近输入层的那些底层网络，它们的梯度可能会变得非常小。在深度网络（隐藏层超过一层的网络）里，算这些梯度往往要连乘很多个很小的项。

当底层那些层的梯度值趋近于 0 时，我们就说梯度「消失」了。出现梯度消失的层，训练起来会非常慢，甚至干脆完全不训练。此时，ReLU 激活函数可以极大地帮我们避免梯度消失。

梯度爆炸#

反过来，如果网络里的权重非常大，底层的梯度就变成很多大项的连乘。这种情况下就可能出现梯度爆炸：梯度大到根本没法收敛。这个时候，不妨可以试试批归一化（batch normalization）和降低学习率这两个方法。

死掉的 ReLU 单元#

虽然 ReLU 激活函数能够有效缓解梯度消失的问题，不过一旦某个 ReLU 单元的加权和掉到 0 以下，那这个单元就永远失去了作用，因为此时它的输出恒为 0，对网络输出毫无贡献，反向传播时梯度也再也流不过去了。当梯度这么一断，喂给这个 ReLU 的输入就可能永远变不到足够大，导致这个加权和再也回不到 0 以上。

此时，降低学习率，可以在一定程度上缓解这一问题。

提示： 当然，针对这个问题，业界还设计了不少 ReLU 的变体，比如 LeakyReLU ，可以考虑用它来当激活函数。

神经网络：交互式练习 - Google 机器学习速成课程配套中文解读

Fri, 30 Oct 2026 18:35:00 +0800

神经网络：交互式练习#

本页、节要点：

参数与超参数：权重、偏置是参数，改动它们会直接改变这一次的计算结果；隐藏层层数、神经元个数、学习率、激活函数是超参数，它们决定模型学什么。

前馈推理：这个网络的计算是单向流动的，新加一层只会影响它之后的节点。

ReLU 的截断性：ReLU(0) 与 ReLU(-5) 的输出都是 0，所以节点值没变并不等于底层计算没变。

损失（loss）：练习 2 用测试损失与训练损失两个数字，衡量模型拟合得够不够好。

通过接下来的两个练习，让我们把神经网络拆开看个究竟。先看参数与超参数的改动如何影响网络的预测，再动手训练一个神经网络，让它自己学会拟合非线性数据。

练习 1：亲手拨一个 ReLU 网络#

下面的组件按这样一套配置搭好了一个神经网络：

输入层有 3 个神经元，初始取值分别是 0.00、0.00、0.00。
隐藏层有 4 个神经元。
输出层有 1 个神经元。
隐藏层的所有节点，以及输出节点，都使用 ReLU 激活函数。

先花点时间熟悉一下网络的初始设置（注意：暂时不要点 ▶️ 和 >| 这两个按钮），然后完成组件下面的两个任务。

任务 1：输出会是正数、负数，还是 0？#

神经网络的三个输入特征，取值都是 0.00。点开网络里的每个节点，看看初始化之后的参数值。在按下运行（▶️）按钮之前，先回答这个问题：

你认为最终会得到什么样的输出值：正数、负数，还是 0？

A. 输出为正数
B. 输出为负数
C. 输出为 0

现在点一下网络上方的运行（▶️）按钮，看着隐藏层和输出节点上的数值一个个被填上。你上面的答案对吗？

任务 2：多插一层，谁会跟着变？#

在动手改网络之前，先回答这个问题：

神经网络：多类别分类 - Google 机器学习速成课程配套中文解读

Fri, 30 Oct 2026 21:40:00 +0800

神经网络：多类别分类#

本页、节要点：

多类别分类：从两个以上的候选里挑出答案，而不像二元分类那样只做二选一。

两条主要路线：一对多（one-vs.-all）与一对一（one-vs.-one，后者通常就叫 softmax）。

一对多：用多个二元分类器，各自独立地算出每一个类别的概率。

一对一（softmax）：预测每个类别相对于其他所有类别的概率，softmax 保证所有概率加起来正好是 1。

softmax 的效率：类别少的时候很划算，类别一多计算成本就吃不消；候选采样是提效的替代方案。

前面几节我们接触过的分类模型都只做二选一，比如：

这封邮件是不是垃圾邮件。
这个肿瘤是恶性的还是良性的。

这一节要研究的是多类别分类模型，它们可以从多个候选中挑出答案，比如：

这条狗是比格犬、巴吉度还是寻血猎犬？
这朵花是西伯利亚鸢尾、荷兰鸢尾、蓝旗鸢尾还是矮须鸢尾？
那架飞机是波音 747、空客 320、波音 777，还是巴航工业 190？
这张图是苹果、熊、糖果、狗还是鸡蛋？

真实世界里的多类别问题，甚至可能要在数百万个类别中做选择——比如那种几乎能认出任何东西的图像多类别分类模型。

本节详解多类别分类的两个主要变体：

一对多（one-vs.-all）
一对一（one-vs.-one），通常就叫 softmax

一对多#

一对多给出了一条把二元分类用成一连串「是 / 否」判断的路子。

如果一个分类问题有 N 个可能的答案，一对多方案就是由 N 个彼此独立的二元分类器组成——每种可能的结果配一个。训练的时候，模型依次跑过这一串二元分类器，把每一个都训练成能回答自己那个独立的问题。

举个例子：拿到一张水果的图片，训练时可能会得到 4 个不同的识别器，每个都回答一个不同的是非题：

这张图是苹果吗？
这张图是橙子吗？
这张图是香蕉吗？
这张图是葡萄吗？

下图展示了这套做法在实践中是怎么跑起来的。

图 7. 一对多：同一张图片过 4 个二元分类器

提示： 想知道二元分类器到底是怎么做出预测的（也就是怎么设定分类阈值，把模型输出的数值变成「正」或「负」的标签），可以看看分类模块。

当类别总数不多时，这套做法相当合理；但类别一多，效率就越来越差。

不过我们可以用深层神经网络做出一对多得高效得多的模型：让每个输出节点代表一个不同的类别。下图就是这种做法。

图 8. 用神经网络完成同一组一对多任务

一对一（softmax）#

你可能已经注意到，图 8 输出层里那些概率值加起来并不是 1.0（也就是 100%）——实际上它们加起来是 1.43。