品玩

科技创新者的每日必读

打开APP
关闭

多所高校联手推出AgentBench,可测试大语言模型能力

2023年8月9日

品玩8月9日讯, Arxiv 页面显示,由来自清华大学、俄亥俄州立大学和加州大学伯克利分校等机构的研究者组成的团队近日发布一款测试工具AgentBench,可用于对大语言模型的能力进行测试。

AgentBench目前包括8个不同的任务,可测试大语言模型在多轮开放式生成环境中的推理和决策能力。实验结果显示,GPT-4当前的表现最佳,而 Claude和GPT3.5分别排名第二、第三。

AgentBench 的数据集、环境和集成评估软件包已发布在https://github.com/THUDM/AgentBench 上。

取消 发布

下载品玩App,比99.9%的人更先知道关于「大模型」的新故事

下载品玩App

比99.9%的人更先知道关于「大模型」的新故事

iOS版本 Android版本
立即下载
AI阅读助手
以下有两点提示,请您注意:
1. 请避免输入违反公序良俗、不安全或敏感的内容,模型可能无法回答不合适的问题。
2. 我们致力于提供高质量的大模型问答服务,但无法保证回答的准确性、时效性、全面性或适用性。在使用本服务时,您需要自行判断并承担风险;
感谢您的理解与配合
该功能目前正处于内测阶段,尚未对所有用户开放。如果您想快人一步体验产品的新功能,欢迎点击下面的按钮申请参与内测 申请内测