置顶
Transformer 的数学表示与代码实现

Transformer 的数学表示与代码实现

LLM

从 Transformer 开始的 LLM 之旅

5042 字 · 25 分钟
Mascot Anything

Mascot Anything

项目

开源网页桌宠工具:用 AI 生成角色立绘,一行 script 嵌入任意网页。

845 字 · 4 分钟
最新文章
主成分分析

主成分分析

Math

先中心化再做最优低秩近似,用 MNIST 看主成分如何表示数字,以及线性假设的边界。

2775 字 · 14 分钟
奇异值分解

奇异值分解

Math

从三个连续的几何动作理解 SVD,弄清奇异值、秩一分量与低秩近似,并用真实图像重建观察截断带来的取舍。

2479 字 · 12 分钟
矩阵分析基础

矩阵分析基础

Math

从矩阵的几何作用、行列式、正交矩阵和特征方向出发,理解对称矩阵如何为矩形变换提供方向。

3008 字 · 15 分钟
矩阵降维

矩阵降维

Math

从特征冗余与矩阵的秩出发,理解正交投影、低维表示和重构误差,以及何时值得减少特征维度。

2556 字 · 13 分钟
位置编码技术的演进

位置编码技术的演进

LLM
2026-10-07

本文梳理 Transformer 的位置编码演进:为什么注意力需要位置信息,正弦编码、可学习编码、相对位置编码、ALiBi 与 RoPE 各自的设计取舍与长度外推。

6263 字 · 31 分钟
国产算力

国产算力

AI Infra

核对国产算力的芯片交付、超节点部署、软件适配与选型边界。

2488 字 · 12 分钟
GPU 选型

GPU 选型

AI Infra
2026-10-03

从模型权重、KV cache、推理吞吐和训练通信量出发,比较单卡、多卡、改装卡与云租赁的适用条件。

2459 字 · 12 分钟
GPU 性能评估

GPU 性能评估

AI Infra
2026-10-02

读懂 GPU 规格表:显存容量决定能不能跑,带宽决定推理多快,算力决定训练和 prefill,互联决定多卡效率。附可在任意 N 卡上运行的实测代码。

3593 字 · 18 分钟
博客桌宠