系统理解 Transformer：Self-Attention 如何让词彼此看见Transformer: Understanding Self-Attention

1. scores matrix 来自 Query point 和 Key point 的点积

scores = Q @ K.T 的意思是：用每个 Query point 去和所有 Key point 做点积，得到 raw attention score graph。加入 cloud 后，矩阵从 3x3 变成 4x4，但仍然可以手算。

完整链路是：Q · K -> dot-product similarity，softmax -> attention weights，最后 attention @ V -> information mixing。所以矩阵乘法不是在算“距离”，而是在一次性计算所有 token 之间的方向相似度。

Q = [
    [1.0, 0.0],    # q_cat
    [0.5, 0.5],    # q_likes
    [0.0, 1.0],    # q_fish
    [-0.8, 0.9],   # q_cloud
]

K.T = [
    [1.0, 0.6, 0.2, -0.62],
    [0.2, 0.6, 1.0,  0.74],
]

Q      @     K.T
[4,2]        [2,4]
   ->        [4,4]

例如 cat -> cloud 这条有向边：

q_cat   = (1.0, 0.0)
k_cloud = (-0.62, 0.74)
raw_score(cat -> cloud) = q_cat dot k_cloud
                         = 1.0 * -0.62 + 0.0 * 0.74
                         = -0.62

2. raw scores：矩阵单元格和图中边一一对应

row = source token / Query，column = target token / Key。例如表格中的 cat 行、cloud 列，就是图中的 q_cat -> k_cloud 边。这个负分数会让 cat 对 cloud 的 attention 明显变小。

3. scaled scores 再经过 row-wise softmax

标准写法是 S = (QK.T) / sqrt(d_k)。toy example 中 d_k = 2，所以先除以 sqrt(2)，再对每一行做 softmax：

attention = softmax((Q @ K.T) / sqrt(2))
attention = [
    [0.379, 0.286, 0.215, 0.120],
    [0.272, 0.272, 0.272, 0.185],
    [0.180, 0.239, 0.317, 0.264],
    [0.114, 0.185, 0.299, 0.403],
]

这张矩阵表示每个 source token 如何把 100% attention 分配给所有 target tokens。注意第一行里 cat -> cloud 只有 0.120，低于 cat -> cat 的 0.379。

4. attention @ V：更新每个点的位置

标准数学写法是 o_i = \sum_{j=1}^{n} a_{ij}v_j。空间上可以理解为：

output point of token i = weighted average of value points

以 cat 为例，注意这里混合的是 V points，不是原始 X points：

v_cat   = (0.9, 0.1)
v_likes = (0.5, 0.5)
v_fish  = (0.1, 0.9)
v_cloud = (-0.63, 0.73)

out_cat
= 0.379 * (0.9, 0.1) + 0.286 * (0.5, 0.5)
+ 0.215 * (0.1, 0.9) + 0.120 * (-0.63, 0.73)
≈ (0.429, 0.462)

以 likes 为例：

out_likes
= 0.272 * (0.9, 0.1) + 0.272 * (0.5, 0.5)
+ 0.272 * (0.1, 0.9) + 0.185 * (-0.63, 0.73)
≈ (0.291, 0.543)

5. 从空间结构到关系传播

一句话：Self-Attention 先用 Query 和 Key 决定关系权重，再用这些权重去混合 Value；疏远 token 会因为 score 较低而贡献更少。Transformer 学到的，是一种会随训练调整的关系结构表征。

1. Self-Attention 还不是完整 Transformer

前面 1~6 已经讲清楚 Q/K/V -> S -> A -> O：Self-Attention 负责回答每个 token 应该听谁、听多少，并把 Value 信息融合回来。但一个可以训练的小型 Transformer 还需要把 token 变成向量、加入位置信息、堆上前馈网络，并输出预测结果。

2. Tiny Transformer 的基本流程

token ids
-> embedding + position encoding
-> multi-head self-attention
-> add & norm
-> feed forward network
-> output logits

实验台中的模型会学习一个很小的 next-token task，例如 cat likes -> fish。它不是为了追求大模型效果，而是为了让你看到训练时 loss、预测概率、attention、Q/K/V 和词图如何一起变化。

3. 为什么需要 Position Encoding

Self-Attention 本身主要计算 token 之间的关系。如果没有位置信息，模型很难区分 cat likes fish 和 fish likes cat 这种词相同但顺序不同的情况。实验台里的 Use Position 开关就是用来观察位置编码是否参与表示。

4. 为什么需要 Multi-Head

一个 head 可以看成一个关系空间；多个 head 则是多组 Wq/Wk/Wv 并行工作，在不同子空间里观察不同关系。例如一个 head 可能更关注主语和宾语，另一个 head 可能更关注局部顺序或语义相似。前面讲的“空间变换”在 multi-head 中会变成多套并行几何观察方式。

5. 实验台参数怎么对应模型

接下来的训练实验台会把前面静态手算的 Self-Attention，变成一个可以更新参数、观察训练过程的 Tiny Transformer。