产品与应用媒体报道 · allenai.org
Ai2 发布 FairStress 基准，测量 LLM 决策中的公平性不对称
OmniTools 10月21日消息，Ai2 发布 FairStress 基准，用于测量 LLM 在面对说服性论据时改变决策的难易程度，是否会因候选人所属人口群体不同而存在差异。
该基准包含 300 个两候选决策场景和对抗前缀，全部组合超过 1300 万测试用例。Ai2 表示，FairStress 已开放下载，并集成进 Olmo-eval。
OmniTools 10月21日消息，Ai2 发布 FairStress 基准，用于测量 LLM 在面对说服性论据时改变决策的难易程度，是否会因候选人所属人口群体不同而存在差异。
该基准包含 300 个两候选决策场景和对抗前缀，全部组合超过 1300 万测试用例。Ai2 表示，FairStress 已开放下载，并集成进 Olmo-eval。