跳到正文
热点事件持续更新

Taste-Bench基准:衡量智能体长程决策的“品味”

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Pan et al. 发布新基准 Taste-Bench 及配套方法,含 502 道二元选择题,用于评估 AI 智能体在执行长任务时能否在早期步骤中识别更优路径,基准与代码已公开。现有基准只衡量任务是否完成,作者称 Taste-Bench 旨在填补“路径质量”这一缺口,并把这能力称作智能体的“taste”。 测试覆盖 14 个来自 Claude、GPT、Grok、DeepSeek、GLM、MiniMax 和 Mistral 系列模型的智能体。在 Taste-Bench 上,GPT-5.6 Sol 平均准确率 59.7% 为最高,GPT-5.5 紧随其后为 59.5%,其余模型表现均明显更低,接近纯随机猜测的水平。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月18日
  1. The Decoder
    Taste-Bench 基准显示 AI 智能体在长期决策上"品味"欠佳,最佳模型准确率仅 59.7%

    Taste-Bench 是一个含 502 道二元选择题的新基准,用于评估 AI 智能体在执行长任务时是否能在早期步骤中识别出更好的路径。在 14 个 Claude、GPT、Grok、DeepSeek、GLM、MiniMax 和 Mistral 系列模型的测试中,表现最好的 GPT-5.6 Sol 平均准确率仅 59.7%,其余模型均远低于此,接近随机猜测。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。