5 Inference Infra

目录

• 推理两阶段：prefill 算得快，decode 取得慢
• KV cache 账本：显存为什么是瓶颈
• PagedAttention 与 Continuous Batching：vLLM 的两板斧
• 前缀复用：SGLang RadixAttention 与缓存命中
• 长上下文与 PD 分离：百万 token 的工程
• 量化：拿精度换显存和吞吐
• 投机解码与 MoE：一眼对照
• 异构算力调度：从 HAMi 到 HAMi-DRA
• RL Infra 概念级：从 RLHF 到 Diffusion RL