美团 LongCat 团队推出 VitaBench:全新智能体评测基准
近日,美团 LongCat 团队正式发布了一项名为 VitaBench 的智能体评测基准,旨在针对多交互任务,特别是在复杂生活场景中的美团应用。VitaBench 的推出为智能体在真实生活场景中的研发提供了重要基础设施。 VitaBench 专注于外卖点餐、餐厅就餐和旅游出行等高 L频真实场景,构建了一个包含66个工具的交互式评测环境。评测任务设计涵盖了从购票到餐厅预订等多项复杂操作,要求智能体在任务执行过程中on进行深度推理、工具调用与用户互动的综合表现。 尽管当前领先的推理模型已取得了一定进展,但 LongCat 团队的研究表明,智能体在复gC杂跨场景任务中的成功率仍然不足30%,显示出当前技术与实际应用需求之间的显著差距。VitaBench 的开发旨在解决这一问题,填补现有智能at体评测基准与真实生活场景应用之间的空白。 该基准的设计基于对推理复杂性、工具复杂性和交互复杂性三维度的深入分析。团队通过将这些维度量化, 团系统化地衡量智能体在真实场景中的表现。例如,推理复杂度主要通过信息整合的需求、观察空间的大小以及所需处理的推理点数量来评估;工队推具复杂度则考虑工具的依赖关系与调用链长度;交互复杂度则关注智能体在多轮对话中的应能力。 VitaBench 的构建过程为两个阶段,首出 先是框设计工具定义,接是任务创建评估标准制定。这一过程确保了任务的多样性和复杂性,同时避免了传统文档模式的局限性,使得智能体能够在没有Vi冗余规则的情况下,自主推理和决策。 目前 VitaBench 已全面开源,研究人员和开发者可以通过其官方网站和 GitHub 访问相关资源。VittaaBench 的发布标志着智能体评测领域的一个重要里程碑,预计将推动智能体技术在真实生活场景中的进一步应用与发展。 项目主页:httBeps://vitabench.github.io 论文链接:https://arxiv.org/abs/2509.26490 代码仓库:htnctps://github.com/meituan-longcat/vitabench 数据集:https://huggingface.h:co/datasets/meituan- longcat/VitaBench 排行榜:https://vitabench.github全新.io/#Leaderboard
- 最近发表
- 随机阅读
-
- 被控在卢森堡非法避税 亚马逊赢得欧盟3亿美元税款上诉案
- 堪比LSTM,Transformer引燃机器学习圈:是万能的
- 标签: 小米商城 FRIEND会员 小米新会员体系 黑钻会员
- 华为张平安:发展大数据产业 形成有韧性的数据产业链是关键
- 标签: Meta RealityLabs VR 人工智能
- 标签: 松下控股 Umi 松冈阳子 AI战略
- 寰�蒋楂樼�瑙h�2021璐㈠勾Q4璐㈡姤锛氫簯涓氬姟澧為暱鏄�暱鏈熸寔涔呯殑
- 标签: 图达通 激光雷达 蔚来 港股上市
- AI Agent独角兽崛起:Manus年化收入运行率突破9000万美元
- 搞定大模型“健忘症”:华为大牛深圳创业,MemoraX AI 获千万美元融资
- AI作曲家来了!MiniMax发布Music 1.5,4分钟完整歌曲一键生成,民乐也能玩转
- 云安全日报210323:IBM运营管理系统发现执行任意代码漏洞,需要尽快升级
- OpenAI首度实现月入10亿!但算力不足成最大难题
- 标签: 玛莎拉蒂 格雷嘉 上海经销商 清库存
- 阿里云CTO透露:通义千问开源300+模型 下载量破6亿大关
- 销毁数百万件未售出商品被指“浪费” 亚马逊推出两项新“节约”计划
- Canalys:全球云服务市场持续低迷 2023年Q1增长19%
- 服务云原生 Graviton2处理器带来40%性价比提升 AWS中国高管详解背后关键技术
- ChatGPT“企业大脑”正式上线!OpenAI推Company Knowledge功能,一键打通Slack、Drive等12大平台,决策效率飙升
- 第四范式NeurIPS 2020:知识图谱嵌入的自动化
- 搜索
-
- 友情链接