在字里行间，理清思绪。
Code Is Elegant
本文将介绍 MoE 技术，解释其如何在扩大模型参数容量的同时控制计算成本，并逐渐成为现代 LLM 的核心技术。
从 Transformer 开始的 LLM 之旅
从稀疏激活、权重分层、CPU/GPU 并行与投机解码出发，结合源码与 RTX 4090D 实测理解 Strata 的推理设计。
先中心化再做最优低秩近似，用 MNIST 看主成分如何表示数字，以及线性假设的边界。
从三个连续的几何动作理解 SVD，弄清奇异值、秩一分量与低秩近似，并用真实图像重建观察截断带来的取舍。
从矩阵的几何作用、行列式、正交矩阵和特征方向出发，理解对称矩阵如何为矩形变换提供方向。
从特征冗余与矩阵的秩出发，理解正交投影、低维表示和重构误差，以及何时值得减少特征维度。
本文梳理 Transformer 的位置编码演进：为什么注意力需要位置信息，正弦编码、可学习编码、相对位置编码、ALiBi 与 RoPE 各自的设计取舍与长度外推。
本文以 PPO 为目标，从马尔可夫决策过程、价值函数、策略梯度讲起，经过 Actor-Critic、GAE 与信任域，最终理解 PPO 以及它在 LLM 的 RLHF 中的用法。
核对国产算力的芯片交付、超节点部署、软件适配与选型边界。
