Question 1

Q, K, V とは？

Accepted Answer

Query は「何を探すか」、Key は「何を含むか」、Value は「実際に取り出す情報」です。Q と K の内積で関連スコアを作り、softmax で重みにして V を重み付き和し、トークン表現を更新します。

Question 2

なぜ softmax？

Accepted Answer

内積スコアを 0〜1 の重みに変え、各クエリ行の合計が 1 になります。最も関連の高いトークンにより大きな注意を集中させる仕組みです。

Question 3

因果マスク（causal mask）とは？

Accepted Answer

GPT のように左から右へ生成するとき、未来トークン (j>i) のスコアを −∞ にして softmax 後の重みを 0 にします。BERT は双方向で全トークンを同時に見られます。

Question 4

√d_k で割る理由は？

Accepted Answer

次元 d_k が大きいと内積が大きくなり softmax が尖りすぎます。√d_k でスケールを安定させ、学習と解釈の両方に役立ちます。

Question 5

インストール不要で無料ですか？

Accepted Answer

はい。ブラウザだけで動く無料の教育用 Playground です。PyTorch や TensorFlow なしで Self-Attention の QKV→softmax→重み付き和を視覚的に体験できます。

Attention プレイグラウンド