OmniTools 6月8日消息,腾讯混元团队联合上海交通大学、南洋理工大学等机构推出MMAE(Massive Multitask Audio Editing Benchmark),这是首个面向AI音频编辑能力的综合性评测基准。该基准聚焦模型对现有音频的理解与按自然语言指令进行精确修改的能力,而非单纯生成新音频。
MMAE包含2000个真实场景高保真音频样本、17741条细粒度评估项,覆盖声音、音乐、语音及混合等7种模态,支持6类任务复杂度(从基础修改到多跳推理与多轮编辑)和8种操作类型(从局部调整到全局重构)。当前主流模型在该基准上的精确匹配率(EMR)低于5%,反映出AI音频编辑在可靠性与可控性方面仍存在显著瓶颈。
相关论文、代码、数据集及在线演示已全部开源。