OmniTools 10月16日消息,近日,拉德堡德大学与Vector Institute研究人员在arXiv发布预印本论文,测试了包括GPT-6 Astra、Claude Fable 5.1在内的20种大语言模型在《杀戮尖塔》最高难度A20下的表现。实验统一使用铁甲战士角色及10组相同随机种子。
结果显示,多数模型第一幕通关率达90%,但进入第二幕后性能显著下滑;至第三幕(最终BOSS战)时,GPT-6 Astra通关率降至10%,Claude Fable 5.1表现相近。在全部累计挑战中,最终BOSS仅被击败一次。
该研究旨在评估大模型在复杂策略推理与长期规划任务中的能力边界。