斯坦福复测称44%的LLM研究结论已失效

斯坦福研究人员Owen Queen和James Zou用20个模型复测50项被广泛引用的大语言模型研究结论，结果显示44%已失效、34%显著减弱，仅16%仍成立，另有6%增强。测试覆盖8家开发者于2024年7月至2026年9月发布的模型；在22项可估计失效时间的结论中，平均有效期为15.7个月。 研究者建议论文记录所用模型、版本和日期，并公开提示词与分析代码，以便在新模型上重新检验。这表明大语言模型行为研究的结果具有较强时效性，不能脱离模型版本直接沿用。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。