https://sre-ai-blog.pages.dev/zh/tags/gpu/Recent content in GPU on SRE & AI 实践录Hugozh-CNSun, 26 Jul 2026 01:29:48 +0800https://sre-ai-blog.pages.dev/zh/posts/llm-gpu-infra/Wed, 22 Jul 2026 00:00:00 +0000https://sre-ai-blog.pages.dev/zh/posts/llm-gpu-infra/<h2 id="一推理基础设施选型">一、推理基础设施选型</h2> <p>部署大语言模型推理服务，性能与成本是首要考量。vLLM 凭借 PagedAttention 显存管理机制，相比传统方案提升 2-4 倍吞吐量，成为我们的首选推理引擎。</p> <h2 id="二vllm-分布式部署">二、vLLM 分布式部署</h2> <p>对于 70B 以上参数的模型，单卡显存无法满足需求。我们采用 Tensor Parallelism 将模型拆分到 4 张 A100-80G 上，并配合 Ray 实现弹性扩缩容。</p> <h2 id="三gpu-显存优化策略">三、GPU 显存优化策略</h2> <p>除 vLLM 本身的优化外，我们还启用了 FlashAttention-2、量化推理（FP8/INT4）以及 Continuous Batching，将单卡吞吐量从 1200 tokens/s 提升至 4800 tokens/s。</p>