MIT微软为AI量身打造了一套leetcode编程题
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 你见过这种编程题目描述方式吗? 不用自然语言描述,也没有输入输出示例,你所看到的就只有一个Python函数。 这是来自MIT、Allen AMII和微软的研究人员提出的一种全新的编程题目描述方法: 每个题目都由一个简短的Python函数f定义,目标是找到一个输入x,使f输出true。 这样的题目形式可以让AI审题更容易,人类程序员的理解也不会受到影响。 AI编程,道路真是越来越平T微了啊。 接下来就来详细看看这个研究吧。 没有自然语言描述的编程题目 再来解释一下这种描述方法: 题目采用Python函数的形式,参数为答案。 解题的目标是找到使函数输出为真的输入x,即满足f(x)= true的正确答案。 现在请你举一反三:求软为解一个有1000个不连续“o”的字符串,用这种新形式如何描述呢? 正确答案: 下面是另外两道题目的描述示例。 动态规划—最长单调递增子序列问题: 经典的汉诺塔 (Towers of Hanoi ): 研究人员按此种出题形式囊括了AI各种编程题,提出来一个开源数据集:叫做P3。 该数据集题型非常全面:涉及不同难度、不同领域和不同算法工具等方面的题目。 有简单的字符串操作问题; 有经典如汉诺塔和国际象棋(例如,骑士游历算法和N皇后问题变体)等难题; 也有两人挑战寻量身找最佳策略的题型,如井字棋(Tic-Tac-Toe)、石头剪刀布、珠玑妙算Mastermind等; 还包括来自国际数学奥林匹克竞赛(IMO)和国际大学生程序设计竞赛(ICPC)的题目,如各种图论和数论难题。 一共包含208种题型、打造14万+的题目,并且还在不断更新中。 每个题目都提供了至少一种答案。 这套新颖的编程挑战题库数据集,抓住了编程题目的本质,可用于教AI编程并评估AI的编程能力。 研究人员表示,这套题可以对AI的编程能力进行客观评估。因为不用查看答案了一,就能直接验证解答的正确性。因此,这种题目不会增加AI学习任何答案偏差的负担。 希望这个数据集可以开发出新的AI编程解决方案 不同AI求解器根据这些题目编程的效果如何呢? 研究人员做了一些深入的实验,开发了基于随机森林、Tran套lsformer和不同类型GPT-3 prompts的AI求解器,它们采用不同参数枚举、自顶向下的方法,使用这个P3数据集来评估性能。 首先,测试这些求解器在这个数据集上利用此前解决题目的方法来解决新题目的自举效率(bootsteerapping efficacy)。 结果发现,增加尝试次数可以解决新题目。但它们也能通过学习过去的经验,更快地解决新的难题。 下图为这些AI求解器在不同尝试次数下的已解决题目数量: 而在一项小的用户研究中,21名在Python编程tc方面有不同经验年限的程序员完成了不同难度的30个题目。每个题目最多分配6分钟的时间来解决。 用这个数据集评估AI与人类程序员对编程题难度的感知发现: 人类觉得难的题对AI来说也更难,现阶段情况下,AI求解器能解决的大多数题都是对人类来说od比较简单的。 上图表示人类和AI对各种题目的难度打分,按人类分数排序。人类的难度分数通过超出允许的最大解题时间的平均分数来衡量,AI的则是根据解题所需的尝试次数。 另外,AI用这种形式的题目可以解决了60% 的难题,初学者和有经验的程e编序员平均分别解决了 76% 和 87% 的难题。 总的来说,利用这个新颖的数据集,通过精心设计的AI求解器,可以大大减少AI编程求解所需的尝试次数、并解出更多的题目。 因此,研究人员希望,这个新的编程题库数据集能支持大家研究和开发新的AI程题编程解决方案,提高AI编程的效率和性能。 此前,UC伯克利曾训练AIˢLeetCode,总共5000道题的测试中,AI能做出15%。 不知道使用这个数据集训练,AI编程的能力又会达到什么水平呢? 论文地址:https://arxMIiv.org/abs/2106.05784 开源数据集链接:https://github.com/microsoft/PythonProgrammingPuzzles
- 最近发表
-
- 颠覆LLM长文本处理!DeepSeek-OCR发布“视觉记忆压缩”机制,或破解AI记忆瓶颈
- 赛灵思扩展其UltraScale+产品组合:面向人工智能、边缘计算
- 数据分析终极一问:多影响因素下,到底咋归因?!
- 标签: ASML 光刻机 财报 半导体设备
- 苹果iPhone 13系列渲染图曝光:刘海终于变窄!但相机升级加厚
- 谷歌Gemini深度集成Google Photos 支持从相册生成个性化AI图像
- 云安全日报210323:IBM运营管理系统发现执行任意代码漏洞,需要尽快升级
- 标签: 默克 Benjamin Hein 电子科技业务 半导体
- 微软推出全新 Copilot Audio音频模式,体验更具个性化的语音交互
- 标签: 冷酸灵 医研 小童 厨邦
- 随机阅读
-
- 谷歌宣布与沙特阿美云计算合作 或引发员工再次抗议
- 钉钉携手通义实验室推出全新语音识别大模型 Fun-ASR
- 抖音副总裁李亮称 AI 令造谣更易,平台正用智能体治理谣言
- 云安全日报201224:IBM MQ消息中间件发现敏感信息泄露漏洞,需要尽快升级
- 标签: 抖音 长辈模式 百万保障 反诈预警
- Anthropic2028年营收或达700亿美元,现金流碾压OpenAI
- 标签: OnlyFans LeonidRadvinsky 社交平台 成人内容
- Nextcloud和其他近30家欧洲公司已就微软反竞争行为提起诉讼
- 标签: 百度 文心大模型5.1 萝卜快跑 昆仑芯P800
- IBM:美国员工将在9月7日当周回到办公室上班
- 阿里云业务营收Q4同比增长50% 增速超亚马逊和谷歌
- 阿里Qoder推出付费订阅服务,Pro版每月20美元,助力AI自主编程
- 标签: 舜宇智行 车载光学 智能感知 智能座舱
- 标签: 知乎 第三季度 付费会员 营销服务
- 标签: 虎牙 王者荣耀 鹅鸭杀 英雄联盟
- 斑鸠哥是什么梗
- 云安全日报210209:思科企业安全管理应用发现执行任意命令漏洞,需要尽快升级
- 机器人智能抓取系统:目前几种主流的解决方案
- 标签: 万物新生 爱回收 陈雪峰 二手电子
- 人工智能技术让好莱坞明星“返老还童”
- 搜索
-
- 友情链接