Ch.00

中级深度学习：稳定学习与非结构化数据理解

了解中级深度学习学什么，以及 Ch01～Ch21 中涉及的训练稳定化与图像、文本处理概览。

按章节的中级深度学习图示

每完成一章，下方图示会逐步填满。这是目前的结构。

Ch01～Ch21 所学内容

01
权重初始化（Weight Initialization）：学习的正确起点
02
优化算法：惯性与自适应学习率
03
学习率调度（Learning Rate Scheduling）
04
损失函数深化：类别不平衡与度量学习
05
过拟合防止与正则化（Regularization）
06
归一化层（Batch & Layer Normalization）
07
数据增强（Data Augmentation）与噪声鲁棒性
08
卷积神经网络（CNN）基础：空间特征提取
09
池化（Pooling）与多通道（Multi-Channel）
10
残差连接（Skip Connection）与 ResNet
11
轻量卷积：运算效率化架构
12
视觉迁移学习（Transfer Learning）
13
视觉任务1：目标检测（Object Detection）
14
视觉任务2：图像分割（Image Segmentation）
15
自然语言处理预处理与分词（Tokenization）
16
词嵌入（Word Embedding）
17
1D 卷积（1D CNN）用于序列处理
18
循环神经网络（RNN）：顺序信息的状态保持
19
长短期记忆（LSTM）与 GRU：长期依赖控制
20
编码器-解码器与注意力（Attention）机制
21
中级深度学习总整理：架构设计与管道

什么是中级深度学习？

基础深度学习涵盖了神经元、层与梯度。中级深度学习则学习如何稳定训练以及如何应对图像与文本等结构化数据。你将学习权重初始化、优化器（动量、Adam）、学习率调度、正则化与防止过拟合、批归一化等，使训练更好收敛；进而学习卷积网络（CNN）、ResNet、迁移学习、目标检测与分割、自然语言预处理与嵌入、RNN、LSTM、GRU以及编码器-解码器与注意力。图像是像素网格，因此用卷积提取空间模式、用池化做摘要、用残差连接稳定训练深层网络。文本是序列，因此先做分词与嵌入，再用一维卷积或RNN/LSTM建模上下文，用注意力关注重要部分。训练为什么要稳定：初始化不当会导致几乎学不动；学习率过大容易发散，过小则收敛太慢。优化器不仅看当前梯度，还会利用「过去的更新惯性（动量）」或「每个参数不同的步长（Adam）」更快、更稳地接近最优点。学习率调度先大步后小步，便于精细收敛；正则化与批归一化把各层尺度控制在合理范围，减轻梯度消失或爆炸。在视觉里，像素邻域的局部模式（边缘、纹理）很重要，所以卷积很合适。池化在压缩信息的同时让表示对小幅位移更不敏感。ResNet的残差连接把前面层的输出直接加回去，即使网络很深也不会让信号消失。迁移学习复用在大规模数据上预训练好的模型，再针对你的任务微调，在数据不多时尤其有用。语言与序列中，先把文本切成词元、用嵌入变成向量，再用RNN或LSTM/GRU在时间上传递「上下文」状态并预测下一个词。注意力让模型学习「当前预测时输入的哪一段更重要」，是翻译、摘要、问答等的核心。学完本课程，你将对图像分类、检测、分割以及文本生成、翻译、摘要的基本结构有清晰理解。本课程安排如下：Ch01～Ch07 为训练稳定化（初始化、优化、调度、损失、正则化、归一化层、数据增强）；Ch08～Ch14 为视觉（CNN、池化、ResNet、轻量卷积、迁移学习、检测与分割）；Ch15～Ch21 为语言与序列（预处理、嵌入、1D CNN、RNN、LSTM/GRU、编码器-解码器与注意力、总复习）。

什么是中级深度学习？