主成分分析
Math 先中心化再做最优低秩近似,用 MNIST 看主成分如何表示数字,以及线性假设的边界。
2775 字 · 14 分钟
奇异值分解
Math 从三个连续的几何动作理解 SVD,弄清奇异值、秩一分量与低秩近似,并用真实图像重建观察截断带来的取舍。
2479 字 · 12 分钟
矩阵分析基础
Math 从矩阵的几何作用、行列式、正交矩阵和特征方向出发,理解对称矩阵如何为矩形变换提供方向。
3008 字 · 15 分钟
矩阵降维
Math 从特征冗余与矩阵的秩出发,理解正交投影、低维表示和重构误差,以及何时值得减少特征维度。
2556 字 · 13 分钟
位置编码技术的演进
LLM 本文梳理 Transformer 的位置编码演进:为什么注意力需要位置信息,正弦编码、可学习编码、相对位置编码、ALiBi 与 RoPE 各自的设计取舍与长度外推。
6263 字 · 31 分钟
国产算力
AI Infra 核对国产算力的芯片交付、超节点部署、软件适配与选型边界。
2488 字 · 12 分钟
GPU 选型
AI Infra 从模型权重、KV cache、推理吞吐和训练通信量出发,比较单卡、多卡、改装卡与云租赁的适用条件。
2459 字 · 12 分钟
GPU 性能评估
AI Infra 读懂 GPU 规格表:显存容量决定能不能跑,带宽决定推理多快,算力决定训练和 prefill,互联决定多卡效率。附可在任意 N 卡上运行的实测代码。
3593 字 · 18 分钟