行业观察官方发布 · goodfire.com
Goodfire 提出 mechanistic shaping 框架:用内部表征抑制模型走捷径
OmniTools 11月5日消息,Goodfire Research 发布研究,提出 mechanistic shaping 框架,在训练阶段约束模型解题所依赖的内部表征。
该框架包含两种手段:reliance shaping 惩罚模型对特定内部概念的依赖,expression shaping 约束模型对这些概念的表达。研究目标是让模型以正确方式完成推理,而不只是在最终答案上答对,从而抑制走捷径行为。