技术 · 前沿动态
推理服务的批处理调度怎么做
把请求攒成一批能提升吞吐,但等待时间与显存占用要同时管住。
批处理为什么有效
一次前向计算处理多条请求,能更充分地利用算力,单位成本下降。
批越大,硬件的并行度越饱和,但单条请求的等待也越久。
等待窗口怎么定
设定一个很短的攒批窗口,窗口结束立即计算,兼顾延迟与吞吐。
窗口长度应按业务的可接受延迟反推,而不是固定一个数值。
长度不一怎么办
序列长度差异大时,填充会浪费算力,可以按长度分桶再组批。
分桶过细会降低批大小,桶的数量要与流量分布匹配。先小范围试一遍,再决定是否扩大。
显存与排队
并发过高会让显存吃紧,需要排队与限流,避免整批失败。
把长请求与短请求分开调度,减少互相拖累。不同场景下的侧重点并不相同。
观测指标
关注队列长度、批大小分布与端到端延迟的分位数,而不只看平均值。
尾延迟恶化往往说明排队策略需要调整。执行时留出调整的余地更稳妥。
读者留言
共 4 条 · 精选展示按长度分桶再组批,我们吞吐提升明显。
窗口长度按可接受延迟反推,这个方法靠谱。
只看平均延迟会漏掉尾延迟问题。
长短请求分开调度,减少互相拖累。