特征不等于信息#

先看两个特征。假设每条数据同时记录温度的摄氏度和华氏度，二者满足 $f=1.8c+32$。虽然数据表里有两列，但知道摄氏度就能算出华氏度；第二列没有增加独立变化的自由度。如果我们把每个样本画成平面上的一个点，点会落在一条直线上。

真实数据往往没有这么整齐。例如身高与腿长通常相关，却不能由彼此精确算出。散点更像是围绕一条斜线形成的窄带：用沿窄带的一个坐标描述大致位置，能保留主要变化，但会丢失垂直于窄带的细节。把三种情况并排画出，就能看到区别：

左边的点需要两个方向描述；中间虽然接近一条线，但通常仍有两个独立方向；只有右边精确共线时，中心化数据的秩才真正降为 $1$。这就是近似降维与简单删掉一列的区别——我们可以保留两个原始特征的组合，而不必只选其中一个。

维度增加不一定是坏事。如果各个方向都有独立而重要的变化，强行压缩就会丢信息。在一些依赖距离或邻域的任务中，高维空间还可能让有限样本显得稀疏，但具体影响取决于数据分布，不能单凭特征数下结论。判断是否值得降维，第一步应是观察冗余在哪里。

投影与重构#

设想二维散点主要沿一条斜线分布。取沿这条线的单位向量 $w$，把样本 $x$ 投到它上面，得到一个数 $z=w^\top x$。这个数是样本沿 $w$ 方向的坐标；用 $\hat x=wz$ 将它映射回二维坐标系，得到的只是落在这条直线上的重构点，一般不等于原来的 $x$。差值 $x-\hat x$ 是没有被这个方向表示出来的部分。

图中从原点到投影点的距离由坐标 $z$ 决定，黄色虚线是与所选方向垂直的残差。灰色虚线通向同一条直线上的另一个点 $p$，比黄色虚线更长：给定这条线，正交投影就是离 $x$ 最近的重构。重构只能落在那条线上，所以保留坐标并不能找回垂直方向的细节。

若保留 $k$ 个相互垂直、长度为 $1$ 的方向，就把它们排列成 $W\in\mathbb{R}^{d\times k}$，其中 $k<d$，且 $W^\top W=I$。每个方向都提供一个坐标，全部样本可以一起计算：

$Z$ 是真正保存下来的低维数据，$\hat X$ 是从它重构出的近似数据。这样可以把编码和解码看成两次矩阵乘法：从 $d$ 个特征到 $k$ 个坐标，再回到 $d$ 个特征。方向矩阵 $W$ 也需要保存，因此若只为了压缩存储，不能忘记它的开销；样本数很少时，未必划算。

为什么要选相互垂直的单位方向？因为每个坐标都能直接用内积得到，而且一个方向已表示的分量不会在另一个方向里重复计算。更重要的是，给定这些方向之后，正交投影就是在它们张成的空间内离原始样本最近的重构点：残差与该空间垂直，从投影点再沿空间内任意方向挪动，只会让距离平方增加。

重构误差#

我们希望重构结果尽量接近原始数据。若用平方差衡量损失，所有样本的误差可以写成

这里 $\|x_i-\hat x_i\|_2$ 是两个样本向量之间的欧几里得距离，$\|\cdot\|_F^2$ 则表示把矩阵中每个元素的差平方后相加。选哪个方向，就会改变这些距离。看同一组中心化后的二维样本，分别沿数据延伸的方向和只保留第一个特征的方向投影：

两边都只给每个样本保留一个坐标，但左边的方向更贴近点云，样本到重构点的距离更短；右边虽然保留了第一个特征，却丢掉了第二个特征中的大部分变化。图中的虚线是两个样本的残差，其余样本也遵循同样的差异。降到几维之外，沿什么方向降也决定了信息损失。

保留方向越少，表示越紧凑，但通常更难还原数据。如果从 $k$ 个方向增加到 $k+1$ 个，并允许重新选择所有方向，能够达到的最小误差不会变大；不过它未必会明显变小。选 $k$ 因此不是单纯追求最小误差：若 $k=d$，保留所有方向当然可以无损重构，却失去了降维的意义。实际选择需要对照误差变化、存储与计算成本，以及下游任务效果。用公式表示，就是让所选方向上的重构误差尽可能小：

有什么帮助#

如果输入特征中有大量近似重复的信息，先压到 $k$ 维，可能降低存储量和后续模型的计算量。以一个输出宽度为 $h$ 的线性层为例，原本有 $d\times h$ 个输入权重，改用 $k$ 维输入后是 $k\times h$ 个；但如果投影本身也要在线计算，还要付出 $d\times k$ 的方向矩阵和相应计算。是否真的省资源，取决于样本量、复用方式与模型结构。

另一方面，重构误差小，不等于对预测有用的信息都被保留。一个方向虽然变化很小，却可能刚好区分两类样本；只看数据本身的重构效果，就可能把它扔掉。各列特征的量纲如果差异很大，平方误差还容易被数值尺度较大的特征主导，是否先缩放特征需要结合任务判断。做特征工程时，可以先检查特征的冗余、量纲和目标任务，再在验证集上比较降维前后的效果，而不是把“维度越低越好”当作规则。