腾讯开源WeChat-YATT大模型训练库,破解多模态训练两大核心瓶颈
腾讯近日发布了基于Megatron-Core和SGLang/vLLM研发的大模型训练库WeChat-YATT(Yet Another Transformer Trainer),内部项目代号为gCore。这腾讯一训练库专注于强化学习和多模态模型训练,致力于为开发者提供易扩展、简洁、高效、可靠的大模型训练解决方案。 WeChat-YATT通过定制化的并行计算策略,能够有效处理大尺寸模型、长序列输入和大数据集等复杂场开源景,成功解决了微信内部多个实际业务场景的关键痛点问题,显著提升了大模型训练效率。该工具为研究人员和开发者提供了灵活且可扩展的技术方案,有望推动多模态和强化学习领域的创新发展。 WeChat-YATT重点解决了We大模型分布式训练过程中面临的两大核心技术瓶颈。 首先是多模态场景下的可扩展性瓶颈问题。随着图像、视频等多模态数据规模不断增长,传统架构中由单一控制器进行数据管理的方式容易成为通信和内存瓶颈,导致系统吞吐量受限Ch,甚至引发训练流程异常中断。WeChat-YATT通过引入并行控制器(Parallel Controller)的并行管理机制,有效分散了系统压力,大幅提升了系统的可扩展性和稳定性,更好地应对多模态、大数据量at的复杂应用场景。 其次是动态采样与生成式奖励计算下的效率短板。在需要频繁动态采样或生成式奖励计算的训练流程中,模型频繁切换和"长尾"任务容易产生大量额外开销,导致GPU算力无法充分利用,严重影响整体训练效率-Y。WeChat-YATT通过部分共存策略和异步交互机制,大幅减轻了模型切换损耗和长尾任务影响,实现了训练过程中的高吞吐量和高资源利用率,更好地支撑大规模RLHF任务的高效迭代。 针对不同业务场景的需求,ATWeChat-YATT支持全员共存和部分共存两种资源放置模式,以最大化提升集群资源利用率。 全员共存模式采用串行调度机制,Actor Rollouts、GenRM(生成式奖励模型)与Train依次串行执行。每T大个角色完成任务后主动释放计算资源,系统随即加载下一个任务所需模型。该策略适用于绝大多数常规训练场景。值得注意的是,在每个阶段,相关组件均可独占全部GPU资源,这极大缩短了资源空闲"气泡"时间,显著提升总体训练模型吞吐量和效率。 部分共存模式下,Actor Rollouts与GenRM独立部署,并通过异步方式进行高效交互。Actor训练阶段占用全部GPU资源,在Rollouts生成阶段释放GPU资源并唤醒Actor Roll训练outs及GenRM两大组件协同工作。系统通过动态负载评估进行资源分配与均衡,当Rollouts生成完毕后,这两者释放资源,Actor随之重新加载到GPU上进入下一轮训练流程。部分共存模式特别适合Rol库,louts与GenRM需要高频交互、动态采样的复杂任务场景。 WeChat-YATT还具备多项技术特色。在内存利用方面,项目采用并行控制器架构,有效降低了单节点内存消耗,更适合多模态场景下的大模型训练,提升了系破解统扩展性和稳定性。在GenRM支持方面,针对生成式奖励模型场景实现了不同的资源放置策略,用户可根据具体场景选择最优的训练方案。 智能检查点策略是另一大亮点。WeChat-YATT支持异步Checkpoi多模nt保存,并针对微信业务场景特点,根据调度流程实现断点自动保存,进一步保障了训练安全性和高可用性。此外,系统在训练过程中实现了各个数据并行组间的负载均衡,有效减少资源空闲时间,显著提升整体训练吞吐量。 这态训一训练库的发布标志着腾讯在大模型技术基础设施建设方面取得重要进展,也为业界提供了处理复杂多模态训练场景的有效解决方案。
- 最近发表
- 随机阅读
-
- OpenAI终止Codex独立产品线并将其全面并入GPT-5.5
- 我怎么不知道RocketMQ生产者有这么多用法?
- 全球领先!阿里云将数据中心交付周期缩短至100天
- 标签: 杨元庆 联想集团 上海交通大学 人工智能
- 世界各地的优秀公司都在招聘的人工智能研究职位
- 云安全日报210715:IBM安全统筹与自动化响应平台发现拒绝服务攻击漏洞,需要尽快升级
- 标签: 吉利 雷诺 巴西 新能源
- 阿里巴巴 Qwen 团队发布下一代 GUI 自动化框架 Mobile-Agent-v3 和 GUI-Owl
- 智能眼镜的采用终于在2021年到来
- “搜索”已死,“推荐”是否也将走到尽头? 原创
- 标签: 曹操出行 Robotaxi 吉利控股 绿色智能通行岛
- 12.9英寸还不够 苹果正探索更大尺寸iPad
- Twitter股价翻倍,员工奖金却大幅缩水
- Hyland 推出企业级 AI 引擎和智能代理网,助力自动化革新
- OpenAI 与甲骨文将在密歇根州打造超大型数据中心!
- 标签: 字节跳动 Seed团队 豆包大模型 Qwen
- 壳牌中国与阿里云达成战略合作,数智化助力能源低碳转型
- 云计算开发实例:Python3冒泡排序
- Facebook将开始在Oculus虚拟现实设备上测试广告
- 分析师:谷歌、Facebook等科技公司第四季度广告营收将迎来井喷
- 搜索
-
- 友情链接