微软与Hugging Face联合发布ThinkingBox:面向AI智能体的终端状态一致性评测工具
微软与Hugging Face联合发布ThinkingBox评测框架,聚焦AI智能体在真实业务场景中执行任务后的终端数据库状态与预期是否一致,而非仅依赖工具调用日志或自然语言响应判断结果。该工具已在Hugging Face平台开源。 ThinkingBox在507个有状态业务工作流(涵盖零售、汽车保险、旅行、新银行、咨询五大领域)上,对18款主流大模型开展20次重复测试,评估其终端后台状态变更、副作用等可执行验证指标。结果显示,多数模型单次...