英伟达推出全模态理解模型 OmniVinci,刷新 SOTA 高出19.05分
英伟达研究团队今日发布了名为 OmniVinci 的全模态理解模型,该模型在关键的全模态理解基准测试中取英伟得了惊人的成果,相较于现有顶尖模型高出19.05分。更为引人注目的是,OmniVinci 仅使用了1/6的训练数据,展达推现出卓越的数据效率和性能。 OmniVinci 的目标是创建一个能够同时理解视觉、音频和文本的全能 AI 系统,使机器能够出全像人类一样通过多种感官感知并理解复杂的世界。为了实现这一目标,英伟达团队采取了创新的架构设计和数据管理策略,通过一个统一的模态全模态潜在空间,将不同感官的信息融合在一起,实现了跨模态的理解和推理。 在 Dailyomni 基准测试中,OmniVin理解ci 的表现超过了 Qwen2.5-Omni,其在音频理解的 MMAR 测试中高出1.7分,在视觉理解的 Video-MME模型 测试中高出3.9分。使用的训练 Token 仅为0.2万亿,而 Qwen2.5-Omni 的训练量为1.2万亿,显示出 OmniVi Onci 的训练效率是其6倍。 该模型的核心创新在于全模态对齐机制,包括 OmniAlignNet 模块、时间嵌入分组(TEGmn)和约束旋转时间嵌入(CRTE)三项技术。OmniAlignNet 利用视觉和音频信号之间的互补性,加强了两者的学习与iV对齐。而 TEG 则通过将视觉和音频信息按时间分组,有效编码了时间关系。CRTE 则进一步解决了时间对齐问题,确保模型in能够理解事件的绝对时间信息。 研究团队采用了两阶段的训练方法,首先进行模态特定训练,随后进行全模态联合训练,以逐步提ci升模型的全模态理解能力。在隐式全模态学习方面,研究者们通过现有的视频问答数据集,进一步提高了模型对音视频的联合理解能力。 O,刷mniVinci 的问世标志着英伟达在多模态 AI 领域的重要突破,预计将在各类应用中推动 AI 技术的发展,助力更智能的系统和服新 务的出现。该模型的开源发布,也将为全球的研究人员和开发者提供新的机遇,推动 AI 在实际应用中的进一步探索与创新。
-
上一篇
-
下一篇
- 最近发表
- 随机阅读
-
- 标签: Palantir OpenAI Anthropic LLM
- OpenAI首度实现月入10亿!但算力不足成最大难题
- 标签: 药明康德 CRDMO 小分子D&M WuXi Chemistry
- 标签: 石药集团 SYS6010 EGFR-ADC 维生素C
- AI 助力解决 911 紧急呼叫中心人手不足难题
- 羊毛衣服怎么洗涤和保养方法
- 微软办公应用新增免费 Copilot 聊天功能,提升用户办公效率
- 使用SUSE Rancher 2.6对 Aks 和 Gke 集群,进行全生命周期的管理
- Freepik重磅接入Seedream 4.0!Premium+会员无限生图
- 标签: 演语科技 LiblibAI 星流 LibTV
- 标签: 贾鹏 至简动力 理想汽车 智能驾驶
- 标签: Rivian R2 大众 电动汽车
- 标签: 好未来 TAL 智能学习 教育科技
- 云计算开发:Python练习实例-计算字符串中子串出现的次数
- 谷歌云游戏业务Stadia麻烦不断 产品总监已离职
- 谷歌正式公布 Gemini 使用限制:免费用户每天最多可用五次提示
- 谷歌翻译大变革:实时同声传译+Gemini语言教练,跨国交流无障碍
- 云计算开发实例:Python3使用正则表达式提取字符串中的 URL
- Google NotebookLM重磅升级:80种语言全面解锁,全球用户学习体验迎来革命性突破
- 云计算开发:Python3-splitlines()方法详解
- 搜索
-
- 友情链接