Ch.00

进阶深度学习：大模型与生成式AI范式

高级深度学习（Ch.00）把“为什么模型会变得这么大”与“生成式AI系统到底怎么运作”连在一起的入门章节。我们不仅学习如何从数据中获得表征（Representation），还会看大规模Transformer如何建立上下文、预测下一个token；并进一步理解如何通过对齐（Alignment）与控制，把这些能力变成可用、可部署的系统。

通往大规模生成模型的高级路线图

随着你从Ch01开始推进，下面的路线图会逐步填充，帮助你把每一章的贡献串成一个完整系统。

你将在 Ch01~Ch26 学到什么

Ch.01
Transformer 1：自注意力与并行化
Ch.02
Transformer：位置编码与前馈
Ch.03
Transformer 谱系：编码器（BERT）vs 解码器（GPT）
Ch.04
注意力优化：FlashAttention 与稀疏注意力
Ch.05
视觉 Transformer（ViT）与图像块
Ch.06
自监督学习（Self-Supervised Learning）
Ch.07
提示工程与上下文学习（In-Context Learning）
Ch.08
参数高效微调 1：PEFT 与 LoRA
Ch.09
参数高效微调 2：QLoRA 与量化调优
Ch.10
价值对齐与人类反馈强化学习（RLHF）
Ch.11
直接偏好优化（DPO）：无强化学习的对齐
Ch.12
检索增强生成（RAG）：幻觉控制架构
Ch.13
LLM 智能体（Agents）与工具使用（Tool Use）
Ch.14
图神经网络（GNN）与消息传递
Ch.15
深度学习中的可解释 AI（XAI）：Grad-CAM
Ch.16
自编码器（Autoencoder）与无监督降维
Ch.17
变分自编码器（VAE）：基于概率分布的生成空间
Ch.18
生成对抗网络（GAN）基础
Ch.19
条件 GAN（cGAN）与应用
Ch.20
扩散模型（Diffusion Model）1：前向与逆过程
Ch.21
扩散模型（Diffusion Model）2：潜在扩散（Latent Diffusion）
Ch.22
视觉-语言模型（Vision-Language Model）与 CLIP
Ch.23
语音识别（Speech-to-Text）与音频处理
Ch.24
模型压缩与知识蒸馏（Knowledge Distillation）
Ch.25
推理优化与服务部署（Deployment）
Ch.26
进阶深度学习总整理：AI 架构设计与未来

什么是高级深度学习？（从生成式AI系统看）

p(x_t\mid x_{<t})

理解生成式AI的一种实用方式，是把它拆成阶段： 预训练（pretraining） 获得广泛知识； 指令微调（instruction / SFT） 让模型遵循你的意图；最后通过 对齐（alignment） 让偏好、安全与事实性更稳定、更可靠。

骨架通常是 Transformer 。自注意力把“token之间的关联”写进上下文表征，再由前馈网络与归一化不断打磨，使模型在长上下文中也能保持一致性。

模型越大能力往往越强，但训练会更不稳定、成本也会迅速上升。因此，高级深度学习关注的不仅是精度，还有 训练稳定性 、 效率（算力/内存） 与 可复现性 。

现实世界里，生成式AI的核心是信任：真实、可控、安全与可靠。要做到这些，需要对齐、评估与控制机制。

另外，部署约束（延迟、成本、服务器资源）也非常关键。所以高级深度学习不会停留在训练阶段，而是延伸到 推理优化 、 压缩 与 服务策略 。

在生产环境中，系统通常遵循类似 `text/image -> tokenization -> context window -> Transformer -> decoding（greedy/beam/sample）` 的流水线。解码策略与提示词设计会显著影响输出质量。

对齐与控制也可以用多种方式实现。例如 RLHF / DPO 使用偏好来更新模型；而 RAG 通过检索外部知识，让回答更有依据。

从产品角度看， 工具调用 、缓存/批处理以及量化与蒸馏等优化，都会成为整体栈的一部分。就算是同一个底座模型，不同的运行方式也会带来完全不同的体验。

主题 下一个token预测 在AI系统中的作用 构建通用语言能力 这门课里的连接概念 概率生成、表征学习 主题 instruction / SFT 在AI系统中的作用 让回复遵循意图 这门课里的连接概念 数据格式、微调 主题 对齐（Alignment） 在AI系统中的作用 控制偏好、安全与真实性 这门课里的连接概念 偏好学习、奖励模型 主题 RAG / grounded generation 在AI系统中的作用 降低无依据的生成 这门课里的连接概念 检索、向量/嵌入、上下文拼装 主题 推理优化 在AI系统中的作用 降低延迟与成本 这门课里的连接概念 量化、缓存、蒸馏 主题 在AI系统中的作用 这门课里的连接概念 下一个token预测 构建通用语言能力 概率生成、表征学习 instruction / SFT 让回复遵循意图 数据格式、微调 对齐（Alignment） 控制偏好、安全与真实性 偏好学习、奖励模型 RAG / grounded generation 降低无依据的生成 检索、向量/嵌入、上下文拼装 推理优化 降低延迟与成本 量化、缓存、蒸馏

什么是高级深度学习？（从生成式AI系统看）

p(x_t\mid x_{<t})

理解生成式AI的一种实用方式，是把它拆成阶段： 预训练（pretraining） 获得广泛知识； 指令微调（instruction / SFT） 让模型遵循你的意图；最后通过 对齐（alignment） 让偏好、安全与事实性更稳定、更可靠。

骨架通常是 Transformer 。自注意力把“token之间的关联”写进上下文表征，再由前馈网络与归一化不断打磨，使模型在长上下文中也能保持一致性。

模型越大能力往往越强，但训练会更不稳定、成本也会迅速上升。因此，高级深度学习关注的不仅是精度，还有 训练稳定性 、 效率（算力/内存） 与 可复现性 。

现实世界里，生成式AI的核心是信任：真实、可控、安全与可靠。要做到这些，需要对齐、评估与控制机制。

另外，部署约束（延迟、成本、服务器资源）也非常关键。所以高级深度学习不会停留在训练阶段，而是延伸到 推理优化 、 压缩 与 服务策略 。

在生产环境中，系统通常遵循类似 `text/image -> tokenization -> context window -> Transformer -> decoding（greedy/beam/sample）` 的流水线。解码策略与提示词设计会显著影响输出质量。

对齐与控制也可以用多种方式实现。例如 RLHF / DPO 使用偏好来更新模型；而 RAG 通过检索外部知识，让回答更有依据。

从产品角度看， 工具调用 、缓存/批处理以及量化与蒸馏等优化，都会成为整体栈的一部分。就算是同一个底座模型，不同的运行方式也会带来完全不同的体验。

主题 下一个token预测 在AI系统中的作用 构建通用语言能力 这门课里的连接概念 概率生成、表征学习 主题 instruction / SFT 在AI系统中的作用 让回复遵循意图 这门课里的连接概念 数据格式、微调 主题 对齐（Alignment） 在AI系统中的作用 控制偏好、安全与真实性 这门课里的连接概念 偏好学习、奖励模型 主题 RAG / grounded generation 在AI系统中的作用 降低无依据的生成 这门课里的连接概念 检索、向量/嵌入、上下文拼装 主题 推理优化 在AI系统中的作用 降低延迟与成本 这门课里的连接概念 量化、缓存、蒸馏 主题 在AI系统中的作用 这门课里的连接概念 下一个token预测 构建通用语言能力 概率生成、表征学习 instruction / SFT 让回复遵循意图 数据格式、微调 对齐（Alignment） 控制偏好、安全与真实性 偏好学习、奖励模型 RAG / grounded generation 降低无依据的生成 检索、向量/嵌入、上下文拼装 推理优化 降低延迟与成本 量化、缓存、蒸馏

主题	在AI系统中的作用	这门课里的连接概念
下一个token预测	构建通用语言能力	概率生成、表征学习
instruction / SFT	让回复遵循意图	数据格式、微调
对齐（Alignment）	控制偏好、安全与真实性	偏好学习、奖励模型
RAG / grounded generation	降低无依据的生成	检索、向量/嵌入、上下文拼装
推理优化	降低延迟与成本	量化、缓存、蒸馏