蚂蚁集团提出Token密度优化策略，提升万亿参数模型推理效率

OmniTools 7月8日消息，蚂蚁集团副总裁周俊在AICon大会上指出，当前万亿参数模型每运行15分钟的算力成本约相当于一辆特斯拉汽车售价，效率已成为智能体时代的关键瓶颈。团队转向“更高Token密度”策略，采用7份Lightning Attention加1份MLA的混合线性注意力架构，将256K长上下文推理成本从指数级降至线性级。

该方案通过Kpop算法区分工具调用与自然语言Token，并结合思维链剪枝、自蒸馏等技术，使Token输出减少约4倍而模型能力保持不变。在LongBench、BFCL等基准测试中表现提升显著，千亿参数模型在Agent任务中超越部分更大规模模型；小模型Flash吞吐提升至2.4倍，五轮对话综合成本下降超10倍。