AWS 发布 Aws-Bench，用于评估云任务中的智能代理
Industry
Source: InfoQ 中文Publish time unverified
最近，亚马逊云科技发布了 aws-bench"。这是一个开源基准测试工具，用于评估 AI 代理完成真实 AWS 任务的准确性，例如诊断配置错误、配置基础设施以及运营实时云环境。 该项目声称，他们采用了与传统静态测试环境基准测试不同的方法。该公司表示，使用在一次性真实亚马逊云科技账户中创建的实际资源，可以在一些开发人员和团队经常在 AWS 上执行的工作中更准确地评估智能代理的表现。 每个基准测试都会在隔离的亚马逊云科技账户中部署一个场景，由 CDK 堆栈中定义的一组 AWS 资源组成。当场景就绪后，待评估的智能代理会使用范围限定凭证，在沙箱容器中运行一项任务。任务完成后，结果将通过自动化验证器进行评分。该验证器可以是大语言模型（LLM）评判器，也可以是对实时 AWS 状态进行程序化检查。 该基准测试附带预定义的数据集，包含基础任务和高级任务。这些任务涵盖可观测性、计算与数据、数据库与存储、EC2 多区域、无服务器、流处理与物联网、参考架构以及多服务故障排除等用例。 尽管这次发布主要面向的是人工智能研究人员和模型提供商，但工程团队也可以尝试使用该基准测试，并通过扩展现有的场景和任务来满足自…