Hugging Face 提出异步连续批处理技术,提升大模型推理 GPU 利用率
Hugging Face 于5月14日发布技术博客,详细介绍在连续批处理(continuous batching)中引入异步执行机制的优化方案。该方案通过解耦 CPU 批处理准备与 GPU 计算任务,使二者并行运行,从而大幅减少硬件空闲时间。 文章指出,传统同步连续批处理中 CPU 与 GPU 需轮流工作,导致 GPU 约 24% 的运行时间处于等待状态。新方法基于 CUDA 非默认流与事件(CUDA event)机制,在输入传输、计算、输...