换到输入方向#

第一步是 $V^\top$。$V$ 的列是一组相互正交的单位方向，$V^\top$ 将原来的坐标换成沿这些方向的坐标。它不会改变圆环的大小和形状，只会改变图形相对坐标轴的朝向；如果方向的选择还包含镜像，图形也可能被翻转。

这里的“换坐标”不等于丢弃坐标。$V$ 是完整的正交矩阵，$V^\top V=VV^\top=I$，所以从新坐标乘回 $V$ 就能精确还原输入。输入方向如何选，要等三个动作组合起来再看。

沿坐标轴缩放#

第二步是 $\Sigma$。它不混合不同方向，只沿坐标轴分别缩放。二维图里，圆环通常变成椭圆；某个方向的缩放量若是 $0$，整枚圆环就会被压成线段。$\Sigma$ 的对角线上这些非负的缩放量，便是矩阵的奇异值 $\sigma_1,\sigma_2,\ldots$，约定按从大到小排列。

看图时容易把奇异值误读成“每个原始坐标轴的缩放量”。真正被单独缩放的是第一步换出的方向，未必与原始坐标轴重合。奇异值为 $0$ 则表示对应的输入方向在输出里完全消失，这也解释了矩阵的秩为什么与非零奇异值的个数有关。

摆到输出空间#

第三步是 $U$，它把缩放后的图形摆到输出空间的方向上。和 $V$ 一样，$U$ 是正交矩阵，这一步改变的是方向，不改变刚刚得到的长度。于是对二维方阵，我们能按从右到左的顺序读出

图只是二维直觉。对任意实矩阵 $A\in\mathbb{R}^{m\times n}$，SVD 都能写成

其中 $U\in\mathbb{R}^{m\times m}$、$\Sigma\in\mathbb{R}^{m\times n}$、$V\in\mathbb{R}^{n\times n}$。输入和输出甚至不必同维。此时 $V^\top$ 在 $n$ 维输入空间换坐标，矩形的 $\Sigma$ 除了缩放，还把坐标送到 $m$ 维空间；最后 $U$ 在输出空间确定朝向。$U$、$V$ 均满足“转置乘自身等于单位矩阵”，而 $\Sigma$ 只有主对角线可能非零。读公式时先检查这三个矩阵的形状，就不会把两侧的方向混为一谈。

输入与输出的配对#

上一篇已经知道，$A^\top A\in\mathbb{R}^{n\times n}$ 是实对称且半正定的，因此有一组正交的输入特征方向。取其中的单位向量 $v_i$，设其特征值为 $\lambda_i\ge0$：

为什么要开平方？由于 $\|v_i\|_2=1$，有 $\|Av_i\|_2^2=v_i^\top A^\top Av_i=\lambda_i$。所以 $\sigma_i=\|Av_i\|_2$，正是这个单位输入方向经过 $A$ 后的长度。当 $\sigma_i>0$ 时，把输出单位方向定义为 $u_i=Av_i/\sigma_i$，立刻得到

这就是图中三个动作的核心：左侧的输入方向 $v_i$ 经 $A$ 作用，被拉伸 $\sigma_i$ 倍并落到右侧的输出方向 $u_i$。$v_i$ 和 $u_i$ 也分别称为右奇异向量与左奇异向量，这里的左右说的是它们在 $U\Sigma V^\top$ 中的位置，与图中画的方向无关。对非零奇异值，$u_i$ 也是 $AA^\top$ 的特征向量，因为 $AA^\top(Av_i)=A(A^\top A v_i)=\sigma_i^2 Av_i$。两个方向必须这样配对，不能分别找出特征向量后不管顺序和正负号就拼在一起。

如果 $\sigma_i=0$，则 $Av_i=0$，无法除以 $\sigma_i$ 求 $u_i$。完整分解中仍可用其他正交方向补齐 $U$，但这部分乘上零之后不会改变 $A$。

接着算一个矩形矩阵#

回到上一篇用过的 $3\times2$ 矩阵

上一篇已经验证，后一个矩阵沿 $v_1=\frac1{\sqrt2}(1,1)^\top$ 和 $v_2=\frac1{\sqrt2}(1,-1)^\top$ 的特征值分别为 $3$、$1$。现在只需开平方：$\sigma_1=\sqrt3$、$\sigma_2=1$。沿对应方向输出，得到

两个 $u_i$ 既是单位向量，也彼此正交。把它们、奇异值和输入方向按对应顺序排好，便得到只保留非零部分的表示：

这里 $U_2=[u_1,u_2]\in\mathbb{R}^{3\times2}$，$\Sigma_2=\operatorname{diag}(\sqrt3,1)$，$V_2=[v_1,v_2]\in\mathbb{R}^{2\times2}$。两项已足以精确还原 $C$。一般矩阵也可以只保留所有非零奇异值对应的列，叫作紧凑 SVD；它不丢信息，只是省掉乘出来全为零的部分。若为了压缩只留更少的项，等号才会变为近似。

每层贡献什么#

设 $A$ 的秩为 $r$，也就是非零奇异值有 $r$ 个。把矩阵乘法按列与行展开，SVD 可以改写成

$u_i\in\mathbb{R}^m$ 是一列，$v_i^\top\in\mathbb{R}^{1\times n}$ 是一行；相乘得到 $m\times n$ 矩阵 $u_i v_i^\top$，称为外积。它的每一列都是 $u_i$ 的倍数，因此只有一个独立的列方向，是一层秩一矩阵。整张矩阵可以看成这些秩一层按 $\sigma_i$ 加权后叠起来：

拿刚才的 $C$ 举例，前两层的数值恰好是

把它们相加就得到 $C$。两层不只是两个“差不多”的方向：第一层负责两个输入坐标一起变化的部分，第二层补上它们的差异。只留下第一层时，矩阵秩从 $2$ 降到 $1$，但第二层的变化也一并丢掉了。

截断与误差#

若只保留最大的前 $k<r$ 个奇异值，得到秩不超过 $k$ 的矩阵

从 EP.0 我们已知道，$\|A-A_k\|_F^2$ 是所有矩阵元素误差的平方和。由于不同的秩一层由互相正交的 $u_i$、$v_i$ 构成，误差没有交叉项，可以像勾股定理那样相加：

更强的结论是：在所有秩不超过 $k$ 的矩阵中，$A_k$ 是 Frobenius 误差最小的一个。这是 Eckart–Young–Mirsky 定理。上面的平方和直接算出了截断的损失；定理进一步保证，即使换一种秩 $k$ 的表示，也不能得到更小的平方误差。大的奇异值优先保留，但“前几个就够好”要看它们在具体矩阵里是否真的占据主要份额。

从像素到矩阵#

接下来启动爱鞠TV，先铺上白色背景，再转为 $192\times192$ 的灰度像素矩阵。每个像素是 $0$ 到 $255$ 之间的数；这里没有对图像做中心化，求分解的是像素矩阵本身。对它实际计算 SVD，然后分别保留前 $8$、$32$、$80$ 层，裁剪重建值到可显示范围。结果如下：

原始灰度图	$k=8$
$k=32$	$k=80$

$k=8$ 时仍能辨认轮廓，但线条和五官已模糊；$k=32$ 时主体逐渐清晰；$k=80$ 则更接近原图。这些是真实像素矩阵的截断重建，不是手动画的模糊效果，也不能据此推断任意图像都能用同样的 $k$ 达到相同质量。

质量与存储#

原始灰度矩阵有 $192^2=36\,864$ 个数。若把 $\Sigma_k$ 的缩放量并入 $U_k$，只需存储两个因子，分别是 $192\times k$ 和 $k\times192$，共 $384k$ 个数。不同 $k$ 的数值数量和上述重建的像素均方根误差如下：

误差是在像素裁剪并四舍五入后，与原始灰度图逐像素比较所得。表里的百分比不是 PNG 文件大小的比例：原始像素是整数，分解后的因子通常要用浮点数保存，文件格式本身也会另外压缩。尤其当 $k$ 较大时，因子未必比原始图片占更少字节。这个实验真正展示的是奇异值如何排列“保留哪些变化最划算”的次序，而不是提出比图片编码格式更好的压缩工具。