模型规模门槛#

下面是单卡常驻权重的粗算，权重体积沿用上篇的估算，不包含 KV cache 和推理框架占用。具体能否运行还取决于量化格式与推理后端。

以 Llama-3.1-70B 为例，KV cache 约 0.3 MB/token；单请求 8k token 就多占约 2.5 GB，多路并发还要乘以同时驻留的请求数。70B Q4 的 42 GB 权重放到 48G 卡上，再加这一笔和框架开销，就不能把剩下的 6 GB 全当可用上下文。买卡前先用目标模型和推理后端实际加载一次，并按计划的上下文长度与并发数压测。

交互体验#

单人 decode 可以先用 带宽 × 0.6 ÷ 权重体积 粗估，不要把结果当成实测吞吐。假设同一个 32B Q4 模型权重约 20 GB，暂不计 KV cache 读取和其他开销：

两张卡都能装下权重，但交互速度并不相同。首字延迟还包括 prefill，长 prompt 不能只看 decode；长上下文、多路请求也会增加 KV 读取。量化能减少权重读取量，但不同后端的解量化开销不同，最终以目标模型的实测结果为准。

多卡推理#

两张 24G 卡并不是一张 48G 卡：模型按张量并行切分后，每张卡仍要留出 KV cache、运行时和通信缓冲区。70B Q4 权重约 42 GB，平均每卡约 21 GB，双 24G 的剩余空间很紧，长上下文可能需要更大的卡或更低位量化。

张量并行每层都有卡间通信，延迟取决于拓扑、并发量和框架实现。8×5090 的公开测试里，高并发下 PCIe 通信占 step 时间的 3%–6%，不能据此推断双卡单请求或训练也只有这点开销。先对比单卡与多卡在目标 batch 下的吞吐和延迟，再决定是否为了容量接受互联成本。

微调门槛#

LoRA/QLoRA 只更新适配器，但底座权重、激活值和梯度计算仍占显存。32B Q4 的底座就约 20 GB；要在 24G 卡上做 QLoRA，还得控制序列长度、micro-batch，并使用激活检查点等省显存手段。先在目标训练配置上跑一个 step，记录峰值显存，而不是按推理能加载就判断能微调。

全参微调要另算 AdamW 状态。按 FP16 权重和梯度各 2 字节、FP32 master weights 4 字节、两份 FP32 优化器状态共 8 字节估算，每参数约 16 字节。7B 模型仅这些状态就约 112 GB，尚未计激活值和通信缓冲区。A100 80G 单卡装不下；多卡可用 ZeRO 分片，或者降低优化器状态精度并将部分状态卸载到内存，但后者会增加主机内存需求和传输时间。

多卡训练#

互联预算取决于并行方式，而不是”训练一定要 NVLink”：

实际比较时固定模型、micro-batch、序列长度和 GPU 数，记录每 step 的计算与通信耗时；跨机训练还要单独算网络带宽。只知道 PCIe 的标称 GB/s，推不出最终训练速度。

吞吐与延迟#

生产推理至少同时看首字延迟、逐 token 延迟和单位时间完成的请求数。单请求的 decode 常受带宽限制；连续批处理让多个请求共用一次权重读取，batch 增大后算力、KV cache 容量和调度开销也会限制吞吐。比较卡型时固定模型、量化格式、输入与输出长度、并发量，分别记录延迟分位数和 tokens/s；不同条件下的标称 TPS 不能直接比。

如果 prefill 与 decode 的占比不同，可以测分离部署：算力较强的设备处理 prefill，带宽和容量适合的设备处理 decode。不过还要传 KV cache，只有节省的计算时间超过传输和额外调度开销才值得拆开。

机房的账#

数据中心部署不能只比较卡价。GeForce 驱动许可对数据中心使用有限制；ECC、服务器质保和故障更换关系到长时间运行的风险；开放式风扇需要逐台确认机箱间距、风道和供电。更换涡轮散热只能解决部分散热问题，不能补回 ECC、许可和官方支持。若有采购或审计要求，先把这些条件列为硬约束，再在满足条件的卡里比较吞吐和总成本。

PCIe P2P 直连#

40、50 系 GeForce 没有 NVLink，官方驱动也不提供常规的卡间 P2P。社区的 open-gpu-kernel-modules 补丁尝试通过 BAR1 让 GPU 直接访问另一张卡的显存，减少主存中转；它不等于获得 NVLink 带宽，还取决于 PCIe 拓扑、驱动版本和软件栈是否支持这条路径。

三种通信路径的区别如下：

买多张消费卡之前，应在目标主板和驱动版本上验证 P2P 是否真的启用，再跑目标模型比较延迟与吞吐。无法接受自维护驱动、升级后重新验证和缺少官方支持，就不要把补丁带来的收益计入采购预算。

魔改显存#

4090 48G 是把原版 24G 的显存容量翻倍的第三方改装卡。它的主要价值是让约 42 GB 的 70B Q4 权重有机会在单卡常驻，省去双卡分片和同步；带宽仍按原卡量级计算，显存翻倍不意味着 decode 提速。已有评测报告约 5% 的核心性能损失，具体改装方案还可能限制功耗。

报价在两三万元区间时，至少要和官方 48G 工作站卡、双 24G 方案分别比总价、上下文余量、稳定性与保修。没有原厂售后和可重复验证的长期稳定性，就不能只凭显存容量替代生产环境的卡。

云租赁#

以下时租只作估算输入，不是固定报价；机型、地区、供需和是否有服务保障都会改变价格。

国内平台的 4090 也可见约 2–3 元/小时的报价。比较时先统一币种和配置，再核对实例是否独占 GPU、是否按关机时间收费以及数据存储和出口费用。

以自购 4090 为 1.5 万元、租赁 2 元/小时为例，忽略电费、主机、折旧和残值时，租赁累计约 7500 小时等于购卡价：每天 24 小时约 10 个月，每天 8 小时约 31 个月，每天 2 小时约 10 年。实际自购回本点还要加电费和维护，减去转卖残值；云实例若会被回收，训练还要计入 checkpoint、重启和数据搬运成本。