研究显示：预训练性能提升主要源于数据改进，数据贡献约为模型改进的3.24倍

OmniTools 9月9日消息，研究者 Dwarkesh Patel 发布一项实验分析，在最高达 1e19 FLOPs 的算力预算下，对 2019 至 2025 年各年度代表性模型架构与数据语料组合进行训练评估。结果表明，数据改进带来 12.0 倍的算力效率提升，模型改进贡献为 3.7 倍。数据因素对预训练进步的相对贡献约为模型因素的 3.24 倍。