How Strata Works
AI Infra 从稀疏激活、权重分层、CPU/GPU 并行与投机解码出发,结合源码和 Mac Studio 实例理解 Strata 的推理设计。
3977 字 · 20 分钟
主成分分析
Math 先中心化再做最优低秩近似,用 MNIST 看主成分如何表示数字,以及线性假设的边界。
2811 字 · 14 分钟
奇异值分解
Math 从三个连续的几何动作理解 SVD,弄清奇异值、秩一分量与低秩近似,并用真实图像重建观察截断带来的取舍。
2571 字 · 13 分钟
矩阵分析基础
Math 从矩阵的几何作用、行列式、正交矩阵和特征方向出发,理解对称矩阵如何为矩形变换提供方向。
3016 字 · 15 分钟
矩阵降维
Math 从特征冗余与矩阵的秩出发,理解正交投影、低维表示和重构误差,以及何时值得减少特征维度。
2573 字 · 13 分钟
位置编码技术的演进
LLM 本文梳理 Transformer 的位置编码演进:为什么注意力需要位置信息,正弦编码、可学习编码、相对位置编码、ALiBi 与 RoPE 各自的设计取舍与长度外推。
6531 字 · 33 分钟
从零理解 PPO
LLM 本文以 PPO 为目标,从马尔可夫决策过程、价值函数、策略梯度讲起,经过 Actor-Critic、GAE 与信任域,最终理解 PPO 以及它在 LLM 的 RLHF 中的用法。
13005 字 · 65 分钟
国产算力
AI Infra 核对国产算力的芯片交付、超节点部署、软件适配与选型边界。
2511 字 · 13 分钟