用 MLP 拟合非线性关系MLP: Fitting Nonlinear Functions

1. 一句话结论

权重是神经元之间连接的参数，不是每个样本单独拥有的参数。MLP 中，所有样本共享同一套权重。样本不同，只会让输入值、隐藏层激活、预测值、loss 和梯度贡献不同；不会给每个样本新建一套权重。

2. 权重数量看连接，不看样本数

从一层到下一层，权重数量由两层节点数决定：

权重数 = 输入维度 × 下一层神经元数

例如 featureDim = 2、hiddenDim = 6 时，输入层到隐藏层有：

2 × 6 = 12

这 12 个权重来自 2 个输入特征节点与 6 个隐藏神经元之间的 12 条连接，而不是来自“2 个样本 × 6 个隐藏神经元”。

3. 样本不同，真正不同的是什么

假设样本 A 的输入是 [1, 2]，样本 B 的输入是 [5, 1]。它们进入的是同一个网络、使用同一套权重，但因为输入值不同，隐藏层激活会不同，预测值和 loss 也会不同。反向传播时，每个样本对梯度有自己的贡献，训练时再把这些贡献合并或取平均。

4. 为什么权重要共享

如果每个样本都有自己的权重，模型就会变成“样本 1 用一套参数，样本 2 用另一套参数”。这样模型只是在记忆样本，而不是学习所有样本背后的共同规律，也就失去了泛化能力。共享权重的意义，是让同一组参数在所有样本上反复接受检验和修正。

5. 矩阵视角：MLP 是空间映射

对一个样本来说，输入可以写成：

x = [feature1, feature2, ...]

隐藏层计算是：

h = ReLU(Wx + b)

如果 featureDim = 2、hiddenDim = 6，那么 W 的形状是 6 × 2，共 12 个权重。也就是说，MLP 的第一层本质上是在用矩阵 W 把输入点从原始特征空间映射到隐藏空间。下面的多维输入特征图中，feature1、feature2 表示同一个样本的不同特征；多条连线表示 W 矩阵中的不同权重。

1. 先抓住这段代码真正做了什么

PyTorch MLP 训练过程观察 区块，本质上是在做一件事：用一个一层隐藏层的 MLP 去拟合一组非线性数据，然后把训练过程拆成可以观察的几个步骤。

不要把它理解成“神经网络神奇地学会了一条曲线”，而要理解成：先把输入变成一组隐藏特征，再把这些隐藏特征组合成输出；训练只是不断调整参数，让这个组合越来越贴近目标数据。

2. 第一层 Linear(1, 16)：把一个输入变成 16 个观察角度

代码里第一层是：

self.fc1 = nn.Linear(1, hiddenDim)

当默认参数是 hiddenDim = 16 时，它的意思就是：把一个输入 x 映射成 16 个隐藏单元的中间结果。对第 i 个神经元来说，它做的计算是：

也就是说，每个神经元都先做一次线性变换。因为每个神经元的权重 w_i 和偏置 b_i 都不同，所以它们相当于从不同角度观察同一个输入 x。这就是“隐藏层不是复制输入，而是在构造多种中间特征”的第一步。

代码里对应的是：

h = self.fc1(x)

这里的 h 还不是最后要用的激活值，而是 16 个线性变换结果组成的向量，可以把它看成公式里的 $z$。

3. ReLU：把线性变换变成分段线性响应

接下来代码是：

self.act1 = nn.ReLU()
h_act = self.act1(h)

ReLU 的公式非常简单：

它的作用是：如果某个神经元当前输出是负的，就把它截成 0；如果是正的，就保留下来。这样一来，原来单纯的线性变换就变成了“在某些区间响应，在某些区间不响应”的分段线性函数。

这一步非常关键，因为如果没有激活函数，两层线性层叠加后，本质上仍然还是一个线性模型；而有了 ReLU，模型才开始具备拟合非线性曲线的能力。

所以这里要建立一个核心认知：MLP 之所以能拟合弯曲关系，不是因为网络很神秘，而是因为 ReLU 让每个隐藏单元都变成了一个局部响应器。

4. 第二层 Linear(16, 1)：把隐藏特征重新组合成输出

代码里的输出层是：

self.fc2 = nn.Linear(hiddenDim, 1)
out = self.fc2(h_act)

这一层做的事是把 16 个激活后的隐藏特征重新加权求和，形成最终预测值。公式写成：

这里：

• $a_i$ 是第 i 个隐藏神经元经过 ReLU 后的激活值。
• $v_i$ 是输出层给这个隐藏特征分配的权重。
• $c$ 是输出层偏置。

因此，这个模型并不是直接从输入画出一条曲线，而是先得到很多局部特征，再把这些特征拼起来，合成最终预测。

这就是为什么当你把隐藏层宽度从 16 改成 4 时，模型往往还能工作，但表达能力会变弱，同时隐藏层图也会更容易看懂。

5. forward 为什么同时返回预测值和隐藏层激活

在第 5 节区块里，模型的前向传播写成：

def forward(self, x):
    h = self.fc1(x)
    h_act = self.act1(h)
    out = self.fc2(h_act)
    return out, h_act

这里不仅返回预测值 out，还返回隐藏层激活 h_act。原因很直接：预测值用于计算损失，而隐藏层激活要拿来画 Hidden Layer Activations 图。

如果只返回预测值，你能看到“拟合得好不好”；但把隐藏层也返回出来，你就能进一步看到“模型到底是靠哪些局部响应拼出这条曲线的”。

6. 损失函数：模型离目标还有多远

训练时最重要的一行之一是：

loss = ((pred - y_tensor) ** 2).mean()

它对应的公式是均方误差：

这里：

• $\hat{y}_i$ 是第 i 个样本的预测值。
• $y_i$ 是第 i 个样本的真实值。
• 平方的作用是让正负误差都变成正值，而且大误差会被放大。
• 最后取平均，是为了得到整体样本上的平均误差水平。

所以 loss 越小，就说明预测曲线整体上越接近训练数据。

7. 反向传播和 autograd：梯度是怎么来的

训练循环里紧接着是三行：

optimizer.zero_grad()
loss.backward()
optimizer.step()

这三行分别对应训练公式里的三个动作。

首先，参数更新公式可以写成：

其中：

• $\theta$ 表示模型所有参数，也就是第一层和第二层中的权重、偏置。
• $\eta$ 是学习率，对应代码里的 learningRate。
• $\nabla_{\theta} L$ 是损失对参数的梯度，表示“如果参数往某个方向动，loss 会怎样变化”。

三行代码分别是：

• zero_grad()：把上一轮残留的梯度清空。因为 PyTorch 默认会累积梯度，如果不清，会把多轮的梯度混在一起。
• backward()：让 autograd 根据当前计算图自动做链式法则求导，算出每个参数的梯度。
• step()：优化器根据梯度和学习率更新参数。

也就是说，你不用手工推导每个参数的偏导数，但你要知道：autograd 解决的是“怎么算梯度”，优化器解决的是“怎么用梯度改参数”。

8. 为什么要按关键 epoch 保存快照

不是每一轮都画图，而是把某些关键轮次存下来：

watch_epochs = list(range(0, epochs, watchEvery))
if (epochs - 1) not in watch_epochs:
    watch_epochs.append(epochs - 1)

然后只在这些 epoch 记录：

pred_snapshots[epoch] = pred_now.squeeze().detach().cpu().tolist()
hidden_snapshots[epoch] = hidden_now.detach().cpu().tolist()

这样做有两个目的：

• 让你直接比较不同训练阶段的预测曲线，而不是只看最终答案。
• 让你知道隐藏层激活也会随着训练同步变化，不是固定不变的。

所以这个实验强调的不是“最后 loss 有多小”，而是“模型怎样一步步从不会拟合，走到会拟合”。

9. 运行后最值得看的三类图

第一类图是 拟合过程图。你会看到初期预测曲线可能很乱，随着 epoch 增加，曲线越来越贴近散点。这说明参数在不断更新，模型正在逐步找到更合适的函数形状。

第二类图是 Loss Curve。它通常会逐渐下降。损失下降并不神秘，本质上表示平均平方误差在变小，也就是预测值和真实值越来越接近。

第三类图是 Hidden Layer Activations。这张图最适合理解 MLP 的内部机制。你会看到不同神经元对不同区间的响应不一样：有的只在左边区间明显激活，有的在中间变化更大，有的只在右边起作用。最后输出层就是把这些局部响应重新组合成总曲线。

10. 学这个实验时，最推荐的一个改法

如果你想更容易理解隐藏层图，最推荐先把参数里的 Hidden Dim 从 16 调小到 4。这样曲线数量更少，隐藏层的局部响应会更容易看出来。

当隐藏层宽度变小后，你通常会看到两件事：

• 隐藏层激活图更清楚，因为神经元变少了。
• 预测曲线的表达能力可能下降，因为可组合的特征变少了。

这正好能帮助你建立一个非常重要的直觉：隐藏层神经元越多，模型通常能表示更复杂的函数；但要想真正理解 MLP 的工作方式，先从更少的神经元开始观察更有效。