Berkeley AI Research 提出 SPEX 与 ProxySPEX 算法，规模化识别 LLM 中的关键交互

Berkeley AI Research 提出 SPEX 与 ProxySPEX 两种算法，用于在规模化下识别大语言模型中的关键交互。研究指出，模型行为源于复杂依赖与模式，随特征、训练数据点和模型组件数量增长，潜在交互数量指数级增长，穷尽分析在计算上不可行。文章阐述了基于消融（ablation）的归因思路，即通过移除组件观察预测变化来衡量影响。