置顶
Transformer 的数学表示与代码实现

Transformer 的数学表示与代码实现

LLM

从 Transformer 开始的 LLM 之旅

5042 字 · 25 分钟
Mascot Anything

Mascot Anything

项目

开源网页桌宠工具:用 AI 生成角色立绘,一行 script 嵌入任意网页。

845 字 · 4 分钟
最新文章
主成分分析

主成分分析

Math

先中心化再做最优低秩近似,用 MNIST 看主成分如何表示数字,以及线性假设的边界。

2775 字 · 14 分钟
奇异值分解

奇异值分解

Math

从三个连续的几何动作理解 SVD,弄清奇异值、秩一分量与低秩近似,并用真实图像重建观察截断带来的取舍。

2479 字 · 12 分钟
矩阵分析基础

矩阵分析基础

Math

从矩阵的几何作用、行列式、正交矩阵和特征方向出发,理解对称矩阵如何为矩形变换提供方向。

3008 字 · 15 分钟
矩阵降维

矩阵降维

Math

从特征冗余与矩阵的秩出发,理解正交投影、低维表示和重构误差,以及何时值得减少特征维度。

2556 字 · 13 分钟
位置编码技术的演进

位置编码技术的演进

LLM
2026-10-07

本文梳理 Transformer 的位置编码演进:为什么注意力需要位置信息,正弦编码、可学习编码、相对位置编码、ALiBi 与 RoPE 各自的设计取舍与长度外推。

6263 字 · 31 分钟
从零理解 PPO

从零理解 PPO

LLM

本文以 PPO 为目标,从马尔可夫决策过程、价值函数、策略梯度讲起,经过 Actor-Critic、GAE 与信任域,最终理解 PPO 以及它在 LLM 的 RLHF 中的用法。

12402 字 · 62 分钟
国产算力

国产算力

AI Infra

核对国产算力的芯片交付、超节点部署、软件适配与选型边界。

2488 字 · 12 分钟
GPU 选型

GPU 选型

AI Infra
2026-10-03

从模型权重、KV cache、推理吞吐和训练通信量出发,比较单卡、多卡、改装卡与云租赁的适用条件。

2459 字 · 12 分钟
博客桌宠