动态

分享我们在云计算、人工智能领域的技术实践与行业洞察

分类:
让 H20 撑起 1.6 万亿参数模型:DeepSeek-V4-Pro 多场景推理服务优化实录
算力服务 2026-08-20

让 H20 撑起 1.6 万亿参数模型:DeepSeek-V4-Pro 多场景推理服务优化实录

LMSYS 团队在 H20 GPU 上通过「按场景分档的 serving profile」方法论服务 1.6 万亿参数 MoE 模型 DeepSeek-V4-Pro,将单节点批处理延迟与旗舰 B300 的差距压缩到 1.42×,并让 1M 上下文成为现实——本文拆解其容量、prefill、decode 三层的可复用工程思路。

技术团队 · 9 分钟
阅读全文 →