第7讲 神经网络：简介#
预计整个模块学习时长： 75 分钟
学习目标：
解释我们为什么要构建神经网络，以及它们解决了哪些使用场景的问题。
定义并说明深度神经网络架构中几个关键组件各自的作用：
- 节点（Nodes）
- 隐藏层（Hidden layers）
- 激活函数（Activation functions）
顺着推理过程一步步走一遍，建立「神经网络是怎么做出预测」的直觉。
借助反向传播算法，建立「神经网络是怎么被训练出来的」的高层直觉。
解释神经网络如何完成两种多类别分类：一对多（one-vs.-all）与一对一（one-vs.-one）。
先修要求：
本模块假设你已经熟悉以下模块中介绍的概念：
本章内容
第7.1节 神经网络简介（5分钟）
线性模型画不出弯曲的决策面，特征交叉能救一时，却要靠人一次次试错才挑得出合适的交叉——神经网络正是为这件事而生：训练时自动学到该做哪些特征交叉。这一节先用三张散点图把问题摊开：图 1 的蓝点与橙点分居四个象限，一条直线怎么画都分不开；图 2 …
第7.2节 节点和隐藏层（15分钟）
线性模型画不出非线性曲线，多塞一层就能解决吗？这一节我们从熟悉的 $y' = b + w_1x_1 + w_2x_2 + w_3x_3$ 出发，先在练习 1 里把权重与偏置调了个遍——结果发现无论怎么调，输入与输出之间的整体数学关系纹丝不动 …
第7.3节 激活函数原理介绍（10分钟）
只堆隐藏层，模型照样是线性的——非线性到底从哪来？这一节先把答案亮出来：把 sigmoid 插进每个节点的输出之前，线性运算就不再线性。接着展开三个最常用的激活函数——sigmoid、tanh 与 ReLU，各自给出数学定义和曲线图，并解释 …
第7.4节 使用反向传播进行训练（10分钟）
上一节把激活函数装进了网络，可权重当初是怎么定下来的？答案就是反向传播。这一节先讲它在训练流程里的位置——让梯度下降在多层网络上成为可能，Keras 之类库会自动代劳；再拆开反向传播最容易翻车的三种情形：梯度消失、梯度爆炸、卡死的 ReLU …
第7.5节 交互式练习（15分钟）
前面几节讲的是道理，这一节让你上手拨一拨。练习一给出一个带 ReLU 的多层网络，用三个任务把「改参数、改结构会波及到谁」摸清楚：输入全为 0 时输出必然非负；多插一层只影响它之后的节点；改一个权重同样会牵动下游的隐藏层与输出节点。练习二换 …
第7.6节 多类别分类（10分钟）
二元分类只能二选一，可现实里的选择往往远不止两个。这一节把多类别分类的两条路线拆开讲透：一对多（one-vs.-all）用 N 个独立二元分类器各答一个是非题，类别一多就越来越不划算；改用深层神经网络、让每个输出节点代表一个类别，效率立刻高 …