算力账本重算：推理需求把数据中心推向电力竞赛

从训练竞赛转向推理账单

过去两年，行业讨论算力时习惯盯着单次训练任务的规模。今年情况发生变化：模型参数趋于稳定，调用量却在持续攀升。一次训练可以摊销到很长时间，而推理是每天都在发生的开销，电费与折旧被直接计入单位调用成本。

多家云服务商在近期的技术沟通会上提到，推理负载已经占到机房总功耗的多数。这个比例的变化，让数据中心的选址逻辑跟着改变——电价、气候、水资源和并网排队时间，权重都在上升。

液冷不再是可选项

单机柜功率密度上升之后，传统风冷在大规模部署中越来越吃力。冷板式液冷在过去被认为成本偏高，如今因为可以直接降低风扇功耗、允许更高的进风温度，被更多项目纳入设计阶段而非改造阶段。

值得注意的是，液冷的价值不只体现在散热能力上。它让机房可以在更宽的温度区间运行，减少压缩机启停带来的能耗波动。对于电价采用分时计费的地区，这种弹性本身就是收益。

调度比堆硬件更省钱

在硬件供给仍然偏紧的背景下，提升利用率比追加采购更现实。批量推理请求的到达时间并不均匀，白天与深夜的峰谷差异明显。把离线任务、模型微调与在线推理混部在同一批卡上，可以显著削峰。

难点在于隔离。在线请求对延迟敏感，一旦被离线任务挤占带宽就会出现尾延迟。工程上的常见做法是给在线服务预留显存与算力配额，再用队列长度而不是平均利用率作为扩容信号。

另一个容易被忽略的环节是模型路由。把简单请求交给小模型、复杂请求交给大模型，整体成本可以下降，但需要一套可靠的置信度判断机制，否则节省下来的钱会以体验下降的形式还回去。

电价合同成了技术决策

当算力成本与电力成本高度耦合，采购部门与基础设施团队的协作方式也在变化。长期购电协议、峰谷分时、需量电费这些过去属于厂务范畴的概念，开始出现在技术评审会上。

对中型团队而言，务实的路径是先把自己的功耗画像做清楚：哪些任务可以延迟、哪些必须实时、哪些可以搬到电价更低的时段。这份画像往往比更换硬件更能省钱。

工程上的三个取舍

第一个取舍是自建还是租用。自建机房前期投入大，但长期成本可控；租用灵活，单价随行就市。多数团队会采用混合策略：核心业务自建，波动部分租用。

第二个取舍是精度与成本。把每个请求的耗时都记录下来，存储成本会快速上升。常见做法是保留全量指标、抽样日志，再对慢请求做完整追踪。

第三个取舍是延迟与能耗。为了压低尾延迟，系统往往保留冗余容量，这部分容量在平时处于低负载状态，能效并不理想。如何在体验与成本之间划线，取决于业务对延迟的敏感程度。