大家的AI
机器学习AI论文
加载中…

学习

🏅我的成就

Ch.01

向量与向量空间：超越标量的大小与方向

按章节的数学图示

选择章节后，下方图示会切换为该章节内容。可一览中级数学的脉络。

向量 = 方向 + 大小

xyuvu+v

同向 · 长度为 k 倍

k·u
基准 uk·u
向量既是“按顺序排列的一组数”，也是同时承载大小与方向的对象。机器学习中每个样本是特征向量 x\mathbf xx，深度学习中嵌入与权重也都是向量。本章在 Rn\mathbb R^nRn 中建立共同语言，为下一章内积做好准备。

向量与向量空间：大小与方向一次掌握

什么是向量？ 有序数组 v=(v1,…,vn)\mathbf v=(v_1,\ldots,v_n)v=(v1​,…,vn​)，几何上可画成带长度与方向的箭头。当函数有多个实输入时，把它们写成一个向量更简洁。
“向东3公里、向北4公里”同时给出方向与路程。放到坐标平面就是一根箭头——二维向量的直觉。分量写作 (3,4)(3,4)(3,4)，长度用 32+42\sqrt{3^2+4^2}32+42​。
更准确地说，实向量空间 Rn\mathbb R^nRn 中的元素是含 nnn 个实分量的向量。加法按分量进行，数乘把每个分量乘以实数。零向量 0\mathbf 00 全为0。欧氏范数通常为 ∥v∥=∑ivi2\|\mathbf v\|=\sqrt{\sum_i v_i^2}∥v∥=∑i​vi2​​；练习中常出现整数形式的 ∥v∥2\|\mathbf v\|^2∥v∥2。
监督学习中特征为 x∈Rd\mathbf x\in\mathbb R^dx∈Rd，线性模型权重也是 w∈Rd\mathbf w\in\mathbb R^dw∈Rd。深度网络层层堆叠内积与矩阵；本章是第一步。到第10章 Hessian 会在同一向量空间上读二阶导（曲率）。
总之，向量同时给出几何（方向、大小）与代数（分量）；Rn\mathbb R^nRn 是所有 nnn 维实向量的空间。加法与数乘按分量定义，内积、矩阵、求导都建立在此之上。第02章将把“有多相似”变成数。
基础课里的“函数与连续”在这里延续为把多输入写成一个向量的习惯。机器学习中的特征、距离、分类，深度学习中的内积、矩阵乘法，都建立在向量语言之上。
“同维才能相加”“数乘对每个分量一视同仁”——这就是向量空间的结构。熟练之后，线性无关、基、秩、特征值都会更轻松。
特征向量：表格的一行写成 x\mathbf xx，预处理、归一化、距离都是向量运算。kNN、聚类常用差向量的范数。
深度学习：单个神经元对输入向量与权重向量做内积（下一章）再加偏置与激活。嵌入向量也可看作“语义空间”中的点。向量 = AI 读世界时的最小数字束。
下表为公式与符号提要，分项说明解释定义；例题覆盖十种题型各一则。
  • 公式v=(v1,…,vn)\mathbf v=(v_1,\ldots,v_n)v=(v1​,…,vn​)
  • 含义v\mathbf vv = 向量；viv_ivi​ = 第 iii 个分量。
  • 公式Rn\mathbb R^nRn
  • 含义nnn 维实向量空间。
  • 公式∥v∥2=∑ivi2\|\mathbf v\|^2 = \sum_i v_i^2∥v∥2=∑i​vi2​
  • 含义平方欧氏范数（练习中为整数）。
  • 公式u⋅v=∑iuivi\mathbf u\cdot\mathbf v=\sum_i u_i v_iu⋅v=∑i​ui​vi​
  • 含义内积（下一章详述）。
  • 公式u+v\mathbf u+\mathbf vu+v
  • 含义分量相加。
  • 公式kvk\mathbf vkv
  • 含义数乘：各分量乘 kkk。
  • 公式dim⁡(Rn)\dim(\mathbb R^n)dim(Rn)
  • 含义维数 = nnn.
  • 公式uxvy−uyvxu_x v_y - u_y v_xux​vy​−uy​vx​ (2D)
  • 含义平行四边形有向面积；为 000 则两向量平行。
公式含义
v=(v1,…,vn)\mathbf v=(v_1,\ldots,v_n)v=(v1​,…,vn​)v\mathbf vv = 向量；viv_ivi​ = 第 iii 个分量。
Rn\mathbb R^nRnnnn 维实向量空间。
∥v∥2=∑ivi2\|\mathbf v\|^2 = \sum_i v_i^2∥v∥2=∑i​vi2​平方欧氏范数（练习中为整数）。
u⋅v=∑iuivi\mathbf u\cdot\mathbf v=\sum_i u_i v_iu⋅v=∑i​ui​vi​内积（下一章详述）。
u+v\mathbf u+\mathbf vu+v分量相加。
kvk\mathbf vkv数乘：各分量乘 kkk。
dim⁡(Rn)\dim(\mathbb R^n)dim(Rn)维数 = nnn.
uxvy−uyvxu_x v_y - u_y v_xux​vy​−uy​vx​ (2D)平行四边形有向面积；为 000 则两向量平行。
分项说明
① v=(v1,…,vn)\mathbf v=(v_1,\ldots,v_n)v=(v1​,…,vn​) 括号内是有序数组；viv_ivi​ 表示“第 iii 个位置上的数”。调换顺序会得到另一个向量。平面上常写成 (vx,vy)(v_x,v_y)(vx​,vy​) 表示 x,yx,yx,y 坐标。
② Rn\mathbb R^nRn 表示“分量恰为 nnn 个实数的向量”的全体。相加或数乘后分量个数不变，因此仍落在同一空间内（对加法与数乘封闭）。
③ ∥v∥2=∑ivi2\|\mathbf v\|^2=\sum_i v_i^2∥v∥2=∑i​vi2​ 各分量平方再相加，等于欧氏长度 ∥v∥=∑ivi2\|\mathbf v\|=\sqrt{\sum_i v_i^2}∥v∥=∑i​vi2​​ 的平方，常作为沿坐标轴距离平方出现。本课程练习常只问平方以便答案为整数。
④ u⋅v=∑iuivi\mathbf u\cdot\mathbf v=\sum_i u_i v_iu⋅v=∑i​ui​vi​ 同下标相乘后全部相加；二维为 uxvx+uyvyu_xv_x+u_yv_yux​vx​+uy​vy​。结果恒为标量。值为 000 时常对应两向量正交；下一章再与夹角、投影联系。
⑤ u+v\mathbf u+\mathbf vu+v 仅在同维（同一 Rn\mathbb R^nRn）下定义，规则为 (u1+v1,…,un+vn)(u_1+v_1,\ldots,u_n+v_n)(u1​+v1​,…,un​+vn​)。减法可看作 u−v=u+(−1)v\mathbf u-\mathbf v=\mathbf u+(-1)\mathbf vu−v=u+(−1)v。
⑥ kvk\mathbf vkv 将 kkk 乘到每个分量。k<0k<0k<0 时方向相反；∣k∣>1|k|>1∣k∣>1 时仍在同一直线上但长度变为 ∣k∣|k|∣k∣ 倍；k=0k=0k=0 得零向量 0\mathbf 00。
⑦ dim⁡(Rn)=n\dim(\mathbb R^n)=ndim(Rn)=n 直观理解为“撑起该空间所需的独立方向个数为 nnn”；标准基 e1,…,en\mathbf e_1,\ldots,\mathbf e_ne1​,…,en​ 恰有 nnn 个，故维数为 nnn。
⑧ uxvy−uyvxu_x v_y-u_y v_xux​vy​−uy​vx​（二维） 与从原点出发两向量张成的平行四边形有向面积相关（逆时针为正）。若一向量是另一向量的实数倍，则共线、面积为 000，表达式也为000。

例题

例1 — 定义 对/错
问：句子正确输入 1，错误输入 0。“欧氏范数 ∥v∥\|\mathbf v\|∥v∥ 可以为负。”
解：范数非负 → 句子错 → 0。
例2 — 选择题（选项编号）
问：R5\mathbb R^5R5 的维数？
①4
②5
③6
解：dim⁡(Rn)=n\dim(\mathbb R^n)=ndim(Rn)=n → 维数为 5 → 选
② → 输入 2。
例3 — 平方范数 (R2\mathbb R^2R2)
问：v=(3,4)\mathbf v=(3,4)v=(3,4)，求 ∥v∥2\|\mathbf v\|^2∥v∥2。
解：9+16=259+16=259+16=25 → 25。
例4 — 内积
问：u=(1,2)\mathbf u=(1,2)u=(1,2), v=(3,−1)\mathbf v=(3,-1)v=(3,−1)，求 u⋅v\mathbf u\cdot\mathbf vu⋅v。
解：1⋅3+2⋅(−1)=11\cdot3+2\cdot(-1)=11⋅3+2⋅(−1)=1 → 1。
例5 — 和的分量
问：u=(2,5)\mathbf u=(2,5)u=(2,5), v=(1,−3)\mathbf v=(1,-3)v=(1,−3)，求 (u+v)x(\mathbf u+\mathbf v)_x(u+v)x​。
解：2+1=32+1=32+1=3 → 3。
例6 — 数乘的分量
问：u=(2,3)\mathbf u=(2,3)u=(2,3), k=4k=4k=4，求 (4u)x(4\mathbf u)_x(4u)x​。
解：4⋅2=84\cdot2=84⋅2=8 → 8。
例7 — Rn\mathbb R^nRn 的维数
问：R4\mathbb R^4R4 的维数（整数）？
解：dim⁡(R4)=4\dim(\mathbb R^4)=4dim(R4)=4 → 4。
例8 — 分量个数
问：R6\mathbb R^6R6 向量有多少个分量（整数）？
解：6 个。
例9 — uxvy−uyvxu_x v_y - u_y v_xux​vy​−uy​vx​（二维）
问：u=(1,2)\mathbf u=(1,2)u=(1,2), v=(3,4)\mathbf v=(3,4)v=(3,4)，求 uxvy−uyvxu_x v_y - u_y v_xux​vy​−uy​vx​。
解：1⋅4−2⋅3=−21\cdot4-2\cdot3=-21⋅4−2⋅3=−2 → -2（负答案时输入框前会显示负号）。
例10 — ∥u∥2−∥v∥2\|\mathbf u\|^2-\|\mathbf v\|^2∥u∥2−∥v∥2
问：u=(2,1)\mathbf u=(2,1)u=(2,1), v=(1,0)\mathbf v=(1,0)v=(1,0)，求 ∥u∥2−∥v∥2\|\mathbf u\|^2-\|\mathbf v\|^2∥u∥2−∥v∥2。
解：5−1=45-1=45−1=4 → 4。

문제

请阅读下列说明，求出答案（整数）并填入空白(?)处。
设 v=(1,4)\mathbf v=(1,4)v=(1,4)，求 ∥v∥2\|\mathbf v\|^2∥v∥2（整数）。
1 / 10