夜羽的小作坊

从零理解 PPO

本文以 PPO 为目标，从马尔可夫决策过程、价值函数、策略梯度讲起，经过 Actor-Critic、GAE 与信任域，最终理解 PPO 以及它在 LLM 的 RLHF 中的用法。

13081 字 65 分钟

AI Infra 2026-10-04

核对国产算力的芯片交付、超节点部署、软件适配与选型边界。

2511 字 13 分钟

AI Infra 2026-10-03

从模型权重、KV cache、推理吞吐和训练通信量出发，比较单卡、多卡、改装卡与云租赁的适用条件。

2459 字 12 分钟

AI Infra 2026-10-02

读懂 GPU 规格表：显存容量决定能不能跑，带宽决定推理多快，算力决定训练和 prefill，互联决定多卡效率。附可在任意 N 卡上运行的实测代码。

3830 字 19 分钟

AI Infra 2026-10-01

从 GeForce 到 GB200 NVL72：NVIDIA 面向 AI 的完整产品线梳理，包括工作站卡、数据中心卡、出口特供版和那些不太常见的形态。

3595 字 18 分钟

LLM 2026-09-27

本文梳理大模型里的归一化技术：为什么需要它、BN 为何不适合序列模型，以及 LayerNorm、RMSNorm、Pre-Norm/Post-Norm 等方案的取舍。

4787 字 24 分钟

AI Infra 2026-05-26

一位来自工业界，一位来自学术界。两场对话之后，我对 AI Infra 的理解变了不少。

3805 字 19 分钟

SSH 直连 WSL2：AI 一键配置，或手动配置 portproxy、sshd 与防火墙，验证 CUDA。

2613 字 13 分钟