Ch.00
中級数学とAI:多変数空間と不確実性の拡張
中級数学は、AIが計算するときに使う「言語」をより正確にする学びです。データを単なる数として扱うのではなく、ベクトルや行列として捉え、それらの間をつなぐ線形変換のルールを学びます。さらに、学習の振る舞いをヤコビアン(多変数の変化の大きさ)とヘッセ(曲率情報)で読み解き、学習が速くなったり遅くなったりする理由を理解できるようにします。
チャプター別 数学図
チャプターを選ぶと、下の図がそのチャプターの内容に切り替わります。中級数学の流れを一覧で確認できます。
Ch01~Ch20で学ぶこと
中級数学は、AIを理解するために使う言語をもう一段深めます。データがベクトルや行列として表され、線形変換によってどう変換されるかを学びます。その後、内積や射影で「似ている度合い」と「方向」を数値で捉えます。さらにヤコビアンとヘッセで変化量と曲率(損失地形の“形”)を読み解けるようになります。最後に、テイラー級数や凸最適化でより安定した学習設計を行い、不確実性はベイズ、共分散、多変量正規分布で扱います。
- Ch.01ベクトルとベクトル空間:スカラーを超えた大きさと向き
- Ch.02ベクトルの内積と射影:データ間の角度と類似度
- Ch.03行列とデータのまとめ:複数ベクトルの構造的表現
- Ch.04行列の積と線形変換:空間を操作する数学
- Ch.05逆行列と行列式:変換の逆演算と空間の体積変化
- Ch.06線形独立とランク:データの重複と実質的な次元
- Ch.07固有値と固有ベクトル:変換で変わらない中心軸
- Ch.08方向微分と勾配:多次元空間で最も急な傾き
- Ch.09ヤコビ行列:多変数ベクトル関数の1次微分
- Ch.10ヘッセ行列:2次微分と曲面の曲率
- Ch.11テイラー級数:多項式による複雑な関数の近似
- Ch.12凸最適化:最小値探索の条件
- Ch.13条件付き確率と従属性:変数間の確率的関係
- Ch.14ベイズの定理:観測データによる確率の更新
- Ch.15共分散と相関係数:2変数間の線形関連の測定
- Ch.16多変量正規分布:多変数の結合確率モデル
- Ch.17最尤推定(MLE):観測結果からパラメータを逆推定
- Ch.18エントロピー:情報理論に基づく不確実性の定量化
- Ch.19クロスエントロピーとKLダイバージェンス:2つの確率分布の差
- Ch.20中級数学総まとめ:線形代数と確率論の結合
ベクトル・行列・感度:中級数学がAIを説明する方法
ベクトル空間は、データを「方向と大きさ」で表すための枠組みです。たとえば画像は、学習された特徴の座標として表せます。
行列はベクトルをまとめて変換する道具で、特に線形変換は座標の変化が一貫した規則として表せます。だからこそニューラルネットの各層が数学的に説明できます。
ヤコビアンとヘッセは「感度」を数値で示す地図です。ヤコビアンは「入力が変わると出力はどれくらい変わるか」を、ヘッセは損失の地形がどれくらい曲がっているかを表します。
学習は本質的に反復計算で誤差を減らします。その理由を理解するには、多変数の変化(勾配・感度)が必要で、中級数学がその土台になります。
線形代数は表現(表せる形)を読み解く力をくれます。埋め込み(embedding)や成分分析など多くの考えが「ベクトルをどう並べ替えるか」に帰着します。
ヘッセを理解すると、なぜある場所で学習が遅くなり、別の場所では速くなるのかが見えてきます。さらに2階情報は、ニュートン法や信頼領域など最適化の考え方の核です。
順伝播では、入力ベクトルが行列の積や線形規則を通じて変換されます。どの特徴が強調され、どれが抑えられるかが数学として見えます。
逆伝播では、変化の伝わり方を追う必要があり、その役割をヤコビアンが担います。連鎖律は、微小な変化が出力にどう届くかを整理する言語です。
最適化では曲率情報(ヘッセ)で更新の安定性を高められます。ヘッセは損失の地形が「平らか」「急か」を教えてくれます。
- 分類類似度と方向
- AIでの役割似た特徴を近づけ、違う特徴を遠ざける
- 中級数学の概念内積、射影
- 分類層の働き
- AIでの役割1つの層がベクトルをどう変えるか
- 中級数学の概念行列、線形変換
- 分類感度(変化量)
- AIでの役割入力が変わると出力はどう変わるか
- 中級数学の概念ヤコビアン、勾配
- 分類学習の曲率
- AIでの役割最適化の進み方の速さ
- 中級数学の概念ヘッセ、固有値
- 分類不確実性の言語
- AIでの役割複数変数の一緒の動き
- 中級数学の概念共分散、多変量正規
| 分類 | AIでの役割 | 中級数学の概念 |
|---|---|---|
| 類似度と方向 | 似た特徴を近づけ、違う特徴を遠ざける | 内積、射影 |
| 層の働き | 1つの層がベクトルをどう変えるか | 行列、線形変換 |
| 感度(変化量) | 入力が変わると出力はどう変わるか | ヤコビアン、勾配 |
| 学習の曲率 | 最適化の進み方の速さ | ヘッセ、固有値 |
| 不確実性の言語 | 複数変数の一緒の動き | 共分散、多変量正規 |