简体中文
外观
流式代理、多副本负载均衡、前缀缓存路由，再搬上 K8s。实验用真实的 agent 流量，每章都对标面试。
实验负载来自公开的 agent 流量记录（FreeInference、SemiAnalysis/Weka、Mooncake），不是随机提示词。
先预测，再跑出简单实现的问题，看请求记录找原因，修好，最后换一份没见过的负载验证。
用 llm-d-inference-sim 模拟 vLLM，不需要 GPU。关键实验附 H200 和 RTX Pro 5000 的真卡对照。
每章末尾有追问、排障题和设计题。排障题给的是出故障的集群留下的请求记录和回放动画。
开发中。v0.1 计划四章，发布时公开 GitHub 仓库。