LLM Infra 搭建与 GPU 集群性能调优

一、推理基础设施选型

部署大语言模型推理服务，性能与成本是首要考量。vLLM 凭借 PagedAttention 显存管理机制，相比传统方案提升 2-4 倍吞吐量，成为我们的首选推理引擎。

二、vLLM 分布式部署

对于 70B 以上参数的模型，单卡显存无法满足需求。我们采用 Tensor Parallelism 将模型拆分到 4 张 A100-80G 上，并配合 Ray 实现弹性扩缩容。

三、GPU 显存优化策略

除 vLLM 本身的优化外，我们还启用了 FlashAttention-2、量化推理（FP8/INT4）以及 Continuous Batching，将单卡吞吐量从 1200 tokens/s 提升至 4800 tokens/s。

vLLM 部署脚本

python
from vllm import LLM, SamplingParams
from transformers import AutoTokenizer

model_name = "meta-llama/Llama-3.1-70B-Instruct"

llm = LLM(
    model=model_name,
    tensor_parallel_size=4,
    gpu_memory_utilization=0.90,
    max_model_len=8192,
    enable_prefix_caching=True,
    enforce_eager=False,
)

tokenizer = AutoTokenizer.from_pretrained(model_name)

sampling_params = SamplingParams(
    temperature=0.7,
    top_p=0.9,
    max_tokens=2048,
)

prompts = ["Explain distributed systems architecture in detail."]
outputs = llm.generate(prompts, sampling_params)
for output in outputs:
    print(output.outputs[0].text)

GPU 监控脚本

bash
#!/bin/bash
# gpu_monitor.sh - GPU 实时监控
INTERVAL=5

echo "Timestamp,GPU_ID,GPU_Util,Memory_Used(MB),Memory_Free(MB),Temperature(C),Power(W)"

while true; do
    TIMESTAMP=$(date +%Y-%m-%dT%H:%M:%S)
    nvidia-smi --query-gpu=index,utilization.gpu,memory.used,memory.free,temperature.gpu,power.draw \
               --format=csv,noheader,nounits \
    | while IFS=, read -r gpu_id util mem_used mem_free temp power; do
        echo "$TIMESTAMP,$gpu_id,$util,$mem_used,$mem_free,$temp,$power"
    done
    sleep $INTERVAL
done

四、NVIDIA MIG 切分实践

对于较小模型或开发环境，使用 MIG（Multi-Instance GPU）将 A100 切分为多个独立实例，提高 GPU 利用率和租户隔离性。

五、总结

LLM 推理基础设施的搭建需要综合考虑模型特性、硬件配置与推理框架。通过 vLLM、FlashAttention 与 MIG 的组合，我们实现了成本降低 40% 同时保持毫秒级响应延迟。