品玩12月8日讯,据 Arxiv 页面显示,Meta近日联手 Huggingface和 AutoGPT等机构,推出了一款名为 GAIA 的基准测试,可用于对通用 AI 助手性能进行测试。
作者表示,GAIA测试涵盖了一系列现实世界的问题,需要AI助手具备推理、多模态处理、网络浏览和一般工具使用能力等基本技能。GAIA 的问题对人类来说很简单,但对大多数先进的 AI 来说具有挑战性。
研究显示,人类受访者的回答正确率为 92%,而先进的 AI 助手回答正确率只有 15%。

Meta 联手 Huggingface 等机构,推出 AI 基准测试 GAIA
2023年12月8日品玩12月8日讯,据 Arxiv 页面显示,Meta近日联手 Huggingface和 AutoGPT等机构,推出了一款名为 GAIA 的基准测试,可用于对通用 AI 助手性能进行测试。
作者表示,GAIA测试涵盖了一系列现实世界的问题,需要AI助手具备推理、多模态处理、网络浏览和一般工具使用能力等基本技能。GAIA 的问题对人类来说很简单,但对大多数先进的 AI 来说具有挑战性。
研究显示,人类受访者的回答正确率为 92%,而先进的 AI 助手回答正确率只有 15%。
下载品玩App,比99.9%的人更先知道关于「META」的新故事
下载品玩App
比99.9%的人更先知道关于「META」的新故事
0 条评论
请「登录」后评论