OSWorld-MCP:全新评测基准助力计算机代理产品发展
近日,OSWorld 团队正式发布了 OSWorld-MCP,这是首个针对计算机使用代理产品进行全面评估的基准测试工具O。该基准旨在为开发者和用户提供真实环境下的产品能力评测,提升了评估的真实度、平衡性与可比性。 OSWorld-MCP 的SW主要特性包括:它综合衡量了模型上下文协议(MCP)工具调用能力、图形用户界面(GUI)操作技能以及决策表现。该基准测or试包含了158个经过验证的 MCP 工具,涵盖了七个常用应用程序,包括 LibreOffice Writer、Calc、Impreldss、VS Code、Google Chrome、VLC 及操作系统实用程序。其中,有25个工具专门用于鲁棒性测试,以保证-M评测的全面性和可靠性。 此外,OSWorld-MCP 还设定了250项工具适用性任务,其中69% 的基准任务受益于 MCP 工具的CP应用。这些工具的多轮调用设置带来了决策上的真实挑战,使得测试结果更具参考价值。根据数据,使用 MCP 工具的模型准确率:全和效率明显提升,OpenAI 的 o3模型在进行15步调用后,准确率从8.3% 提升至20.4%。在测试中,Claude-4新评-Sonnet 模型观察到的最高工具调用率达到了36.3%,显示出未来改进的潜力。 该项目的开源特性也为开发者提供了丰富的测基资源与说明,促进了技术的共享与合作。有关项目的详细信息和资源,用户可以访问其官方网站和 GitHub 页面。 OSWorld-MC准助P 的发布不仅为计算机使用代理产品的评估提供了强有力的工具,也为未来相关技术的发展奠定了基础。 github:http力计s://github.com/X-PLUG/OSWorld-MCP 划重点: ** 首个全面评估计算机代理算机产品的基准测试工具 OSWorld-MCP 正式发布。** ️ ** 涵盖158个经过验证的 MCP 工具,支持代理多种常用应用程序。** ** 通过多轮调用设置,显著提升模型的准确率与效率。**
- 最近发表
-
- “复仇者联盟”再添三巨头:苹果、阿里云、新思加入UALink联盟,挑战英伟达AI霸主地位
- LiblibAI 完成 1.3 亿美元融资,红杉中国领投
- 标签: 恋与制作人 咪咕电影 不正当竞争 终审判决
- 标签: 路易达孚 LDC 农产品贸易 可持续发展
- 标签: 团油 加油优惠券 直播带货 黑猫投诉 3152026
- 中国云服务市场增长强劲,阿里云、华为云、腾讯云三巨头占据七成份额
- 企业微信邮箱重磅更新:AI一键帮写邮件
- 中科院清华联手打造编程界达尔文:SE-Agent自进化智能体狂飙61.2%成功率,开源引爆全球
- 云计算开发:Python内置函数-open() 函数详解
- 标签: 交个朋友控股 直播间矩阵 股权激励 精细化运营
- 随机阅读
-
- 标签: 赛力斯 新能源汽车 A+H上市 港股汽车股
- OpenAI新研究称GPT-5为迄今“政治偏见最少”的AI模型
- 云安全日报210629:红帽OpenShift云应用平台发现执行任意代码漏洞,需要尽快升级
- 云计算核心技术Docker教程:配置 Docker 以使用代理服务器
- NLP新里程碑!清华姚班毕业生发布KEAR:首次常识问答超越人类
- 图灵奖得主理查德·萨顿:AI进入“经验时代”,人类数据红利正在枯竭
- 标签: 手机 苹果
- 标签: 豆包2.1Pro Seedance2.5 火山引擎 AgentKit
- 标签: 毛戈平 SKP 海港城 湖滨步行街
- 科技巨头AI推广路上的“绊脚石”:谷歌AI概览频出错,商家纷纷反击
- IDC:2020年Q4中国智能家居市场设备出货量6087万台
- 标签: 长久股份 久车GO 新汽车流通服务 质押车辆监控服务
- 苹果将部分产能从iPhone 12 mini转移到iPhone 12 Pro以满足需求
- 标签: 老虎证券 富途证券 长桥证券 证监会
- MiniMax开源M2模型:高性能AI赋能编码与代理 成本仅为竞品8%
- 戴尔科技发布APEX全新产品组合及边缘运营软件平台NativeEdge
- 亚马逊敦促法官撤销美国防部授予微软的100亿美元云计算合同
- 阿里云向第三方泄露用户信息,美股阿里巴巴小幅下跌
- 基础架构即代码如何工作以及为什么它对开发人员和企业如此重要
- 甲骨文第三财季营收同比增长18% 净利润同比下降18%
- 搜索
-
- 友情链接