夜羽的小作坊 - 技术学习与分享

置顶

LLM 2026-09-23

MoE 技术原理

本文将介绍 MoE 技术，解释其如何在扩大模型参数容量的同时控制计算成本，并逐渐成为现代 LLM 的核心技术。

#LLM #MoE #Deepseek

5867 字 29 分钟

LLM 2026-09-14

Transformer 的数学表示与代码实现

从 Transformer 开始的 LLM 之旅

#LLM #深度学习 #Transformer

5180 字 26 分钟

How MiTA Works

从快权重视角理解 MiTA，用地标查询共享 Top-k 选择，并结合压缩路径实现高效注意力。

#Attention #Transformer #MiTA

4416 字 22 分钟

AI Infra 2026-10-21

How Strata Works

从稀疏激活、权重分层、CPU/GPU 并行与投机解码出发，结合源码与 RTX 4090D 实测理解 Strata 的推理设计。

#LLM #推理 #Strata

4640 字 23 分钟

LLM 2026-10-20

从零理解 MLA

本文从 KV cache 的推理开销讲起，经过 MQA 与 GQA 的共享方案，理解 DeepSeek-V2 提出的多头潜在注意力：低秩联合压缩、矩阵吸收与解耦 RoPE。

#LLM #Deepseek #MLA #KV Cache #AI Infra

5519 字 28 分钟

Math 2026-10-12

主成分分析

先中心化再做最优低秩近似，用 MNIST 看主成分如何表示数字，以及线性假设的边界。

#Math #线性代数 #PCA #降维

2811 字 14 分钟

Math 2026-10-10

奇异值分解

从三个连续的几何动作理解 SVD，弄清奇异值、秩一分量与低秩近似，并用真实图像重建观察截断带来的取舍。

#Math #线性代数 #SVD

2571 字 13 分钟

Math 2026-10-09

矩阵分析基础

从矩阵的几何作用、行列式、正交矩阵和特征方向出发，理解对称矩阵如何为矩形变换提供方向。

#Math #线性代数 #矩阵

3016 字 15 分钟

Math 2026-10-08

矩阵降维

从特征冗余与矩阵的秩出发，理解正交投影、低维表示和重构误差，以及何时值得减少特征维度。

#Math #线性代数 #降维

2573 字 13 分钟

LLM 2026-10-07

位置编码技术的演进

本文梳理 Transformer 的位置编码演进：为什么注意力需要位置信息，正弦编码、可学习编码、相对位置编码、ALiBi 与 RoPE 各自的设计取舍与长度外推。

#LLM #RoPE

6582 字 33 分钟

2 3 4 5 8

Code Is Elegant

置顶