AllenAI 发布 FairStress 基准，深入评估 LLM 决策中的 demographic 公平性

AllenAI（Ai2）发布 FairStress，一个衡量大语言模型在影响他人的决策中人口统计学公平性的基准，正将其集成进开源评估工具 Olmo-eval。该基准覆盖招聘、医疗、贷款、教育、住房等 29 个领域的 300 个双候选场景，结合对抗性前缀后扩展为超过 1300 万个测试用例，并推出基于项目反应理论筛选的 50K 子集 FairStress-Core。