ソフトマックス（確率に変換）

ソフトマックスは複数のスコア（数値）を確率に変換する関数です。すべての値が0から1の間になり、合計がちょうど1になるので、確率として読めます。

式は $$\mathrm{softmax}(x_i) = \frac{e^{x_i}}{\sum_{j} e^{x_j}}$$ です。eの累乗（e ≈ 2.718）を使うため、最も大きいスコアが大幅に強調され、他は相対的に小さくなります。1位と2位の差がはっきりします。

例: スコア [3, 1, 0] → e³≈20, e¹≈2.7, e⁰=1 → 合計 ≈ 23.7 → 確率 ≈ [0.84, 0.11, 0.04]。スコア3は1の3倍でしたが、確率では約8倍になります！

ソフトマックスはほぼすべての分類モデルの最終層で使われます。「この写真は70%犬、25%猫、5%鳥」のようにクラスごとの確率とモデルの確信度が分かります。

学習時に交差エントロピー損失と組み合わせると、勾配がきれいに安定して計算されます。「正解クラスの確率を上げ、他を下げる」ようにモデルが自然に学習します。

ソフトマックスの「すべて正で合計1」という性質は確率分布の定義そのものです。スコアを確率に変換する最も自然な方法として、統計的にも理論的にも正当化されています。

画像分類: モデルの最終層がスコア（ロジット）[5.2, 2.1, 0.8, …] を出力し、ソフトマックスで [0.70, 0.25, 0.05, …] のクラスごとの確率に変換します。最も高い確率のクラスが最終回答です。

チャットボット・翻訳: ChatGPTが次の単語を選ぶとき、語彙（数万語！）のすべてにスコアをつけ、ソフトマックスで確率に変換し、その確率に基づいて単語をサンプリングします。高確率の単語が多く選ばれますが、時に低確率の単語も選ばれて多様性が出ます。

アテンション機構: 翻訳で「どの入力単語に注目するか」の関連度スコアをソフトマックスに通して確率（重み）にします。この重みで入力の重み付き平均を取り、最も関連する部分を強調します。

計算の順番: ① $Z = W \cdot X + b$（ロジット）を求める → ② $e^Z$ を計算（問題では $e \approx 3$）→ ③ $\Sigma$（合計）= すべての$e^Z$を足す → ④ $Y = \frac{e^Z}{\Sigma}$（各値を合計で割る）。この順番で進めます。

空白の求め方: Yが空白なら「その$e^Z \div \Sigma$」を計算。$e^Z$が空白なら「$Y \times \Sigma$」。Zが空白なら$e^Z$から逆算。$\Sigma$が空白ならすべての$e^Z$を足すだけです。

検算: 計算後、すべてのYが0から1の間で合計が1になっているか確認しましょう。なっていなければ計算ミスです。また、問題が $e \approx 3$ を使うのか $e \approx 2.718$ を使うのかも確認してください。