英伟达开源 OmniVinci 全模态理解模型,训练数据仅为 1/6
近日,英伟达研究团队发布了全新的 OmniVinci 全模态理解模型,该模型在多个全模态理解基准测试中,表现出色,超越了英目前最顶尖的模型19.05分。更令人瞩目的是,OmniVinci 在训练过程中仅使用了0.2万亿的训练 Token,相较于竞伟达争对手的1.2万亿,其数据效率是其六倍。 OmniVinci 的核心目标是打造一个可以同时理解视觉、音频和文本的人工智能系统,使机开源器能够像人类一样,通过不同感官感知和理解复杂的世界。为了实现这一目标,研究团队不仅仅是简单地增加数据量,而是通过创新的网络架 O构和数据管理策略,成功实现了性能和效率的双重提升。 在设计上,OmniVinci 采用了全模态潜在空间的概念,旨在融合来自不同mn感官的信息,实现跨模态的理解与推理。研究团队发现,不同模态之间在感知和推理层面能够相互强化,这一发现为多模态 AI 系统的构建指iV明了方向。 OmniVinci 的架构设计具有可组合的跨模态理解能力,整合了图像、视频、音频和文本等异构输入。通过统一的全in模态对齐机制,该模型能够将不同模态的嵌入信息整合到一个潜在空间中,进一步输入到大语言模型(LLM)中。该机制包括三项ci关键技术,其中 OmniAlignNet 模块有效对齐视觉和音频信息,而时间嵌入分组和约束旋转时间嵌入则提升了模型对时间 全信息的理解。 为了培养 OmniVinci 的全模态理解能力,研究团队采用了两阶段的训练方法。首先是模态特定训练,接着进行全模态模态联合训练,利用隐式和显式学习数据,显著提升了模型的联合理解能力。 随着 OmniVinci 的发布,英伟达再次展示了其在人工智能领理解域的技术创新,预示着未来 AI 系统将更加智能、灵活。 github:https://github.com/NVlabs/OmniV模型inci 划重点: OmniVinci 模型在全模态理解基准测试中超越了顶尖模型19.05分。 训练数据,训量仅为竞争对手的1/6,数据效率提升至六倍。 采用创新架构和两阶段训练方法,显著提升模型的多模态练数理解能力。
- 最近发表
- 随机阅读
-
- 云安全日报201224:IBM MQ消息中间件发现敏感信息泄露漏洞,需要尽快升级
- 灌水论文为何泛滥?Reddit小哥揭露机器学习领域残酷现状
- 马斯克挖角 NVIDIA 核心团队,xAI 加速 “世界模型” 研发
- 标签: 松果出行 翟光龙 共享电单车 港股上市
- 标签: 双十一 京东 抖音 淘宝
- 研究表明:欧盟技术规则也应限制IBM等云计算供应商
- 模糊的指标掩盖了云计算企业价值 投资人更关注股票而非业绩
- 标签: 万科 泊寓 万物云 万纬物流
- 英特尔第一财季营收197亿美元 净利同比降41%
- 标签: 奥比中光 3D视觉感知 具身智能 数字孪生
- 苹果加速布局人工智能:传闻将收购两大 AI 初创公司!
- 亿万富翁丹・洛布减持台积电,转投另一家万亿人工智能公司
- 云安全日报210518:思科统一通信解决方案发现跨站点脚本漏洞,需要尽快升级
- 微软正式推出首款自家 AI 图像生成器 MAI-Image-1
- 美国云计算软件股纷纷大涨 需求仍强劲
- 数据可视化,我习惯于用这些工具
- 谷歌推出AI智能体代购新协议AP2,让智能助手轻松购物
- 阿里云CTO周靖人成为阿里合伙人
- 谷歌Robotics研究科学家:记住5个问题,快速理解ML论文要点
- 云安全日报210809:Debian自动化运维管理系统发现信息泄露漏洞,需要尽快升级
- 搜索
-
- 友情链接