Question 1

Q、K、V 是什么？

Accepted Answer

Query 表示“找什么”，Key 表示“含有什么”，Value 是“实际取回的信息”。Q 与 K 内积得到相关分数，softmax 变成权重后对 V 加权求和，更新 token 表示。

Question 2

为什么用 softmax？

Accepted Answer

将内积分数变为 0~1 的权重，且每个 query 行之和为 1，把注意力集中在最相关的 token 上，同时保持概率解释。

Question 3

因果掩码是什么？

Accepted Answer

GPT 式从左到右生成时，对未来 token (j>i) 的分数设为 −∞，softmax 后权重为 0。BERT 为双向，可同时看到全部 token。

Question 4

为什么要除以 √d_k？

Accepted Answer

维度 d_k 增大时内积变大，softmax 可能过于尖锐。除以 √d_k 可稳定分数尺度，利于训练与理解。

Question 5

是否免费且无需安装？

Accepted Answer

是的。完全在浏览器中运行的免费教育 Playground，无需 PyTorch 或 TensorFlow，即可直观体验 Self-Attention 的 QKV→softmax→加权和流程。

注意力 Playground