具身智能观察

StartupBench:面向市场验证端到端工作流的通用智能体基准测试

产业动态

来源:AI HOT 精选发布时间待核实

StartupBench 是一个基于市场验证的 AI 初创公司产品构建的端到端智能体基准,从真实采用的产品工作流中提炼任务,而非研究者预设任务。在统一智能体框架下,最强模型也仅能完成约 30% 的任务,复杂指令遵循和领域专业知识是主要失败来源。该基准揭示了当前通用智能体在真实用户任务上的能力边界。

StartupBench:面向市场验证端到端工作流的通用智能体基准测试 | 具身智能观察