Ai2 发布 LLM 研究想法新颖性评测研究 Old Ideas, Novel Problems

Ai2 发布论文 Old Ideas, Novel Problems、评测基准、数据和代码，用于测试 LLM 判断科研想法新颖性的可靠性。六个 LLM 裁判的结果显示，评测设置的细微变化可显著改变结论；GPT-5.4 在 Human+Generated 数据集上的准确率可因提示词变化从 93.5% 降至 40.9%，而增加检索与推理也未带来稳定提升。