全面开源的 LLaVA-OneVision-1.5,超越 Qwen2.5-VL 的多模态模型登场
近日,开源社区迎来了 LLaVA-OneVision-1.5,这是一款全新的多模态模型,标志着技术的一次重大进步。LLaV全A(大型语言与视觉助手)系列历经两年开发,逐步从简单的图文对齐模型演变为能够处理图像、视频等多种输入形式的综合性框架。 LLaVA-面开OneVision-1.5的核心理念是提供一个开放、高效且可复现的训练框架,让用户能够轻松构建高质量的视觉语言模型。其训源的练过程分为三个阶段:首先,通过语言 - 图像对齐的预训练阶段,模型学习将视觉特征转化为语言词嵌入。 接着,在第二阶段 “高质量知识学 L习” 中,模型在8500万的训练样本上进行全参数训练,注入大量视觉和知识信息,显著提升模型能力。最后,在视觉指令微调阶段,使用精心设La计的数据集进行训练,使模型具备处理多种复杂视觉指令的能力。 在效率方面,团队采用了一种创新的离线并行数据打包方法,显著提高了训VA练效率。在8500万样本的基础上,数据处理的压缩比高达11倍,训练过程仅需3.7天便可完成。同时,LLaVA-OneVi-Osion-1.5还采用了 RICE-ViT 作为视觉编码器,具备区域感知的视觉理解能力,特别适合处理文档中的文字。 数据是模型能力ne的基础,LLaVA-OneVision-1.5的预训练数据集广泛多样,并引入了 “概念均衡” 的采样策略,确保模型在各类任务Vi上的表现均衡。该模型在各项基准测试中表现出色,尤其是80亿参数的版本在27个基准中超越了 Qwen2.5-VL 的表现。 项目: htsitps://github.com/EvolvingLMMs-Lab/LLaVA-OneVision-1.5 https://huonggingface.co/lmms-lab/LLaVA-OneVision-1.5-8B-Instruct 划重点: LLaVA--1OneVision-1.5是最新的开源多模态模型,具有处理图像和视频等多种输入的能力。 训练过程分.5为三个阶段,旨在高效提升模型的视觉与语言理解能力。 在基准测试中,LLaVA-OneVision-1.5,超表现优异,超越了 Qwen2.5-VL 模型。
- 最近发表
-
- 谷歌收集iPhone数据遭起诉 英国最高法院驳回
- 如何快速搭建Kubernetes实验环境?
- 微软研究院推出 Skala:深度学习的交换 - 关联泛函,以半局部成本实现混合级精度
- 标签: 同程旅行 中东局势 伊朗 酒店免费取消
- 标签: 特斯拉 Cybercab 自动驾驶出租车 奥斯汀发布会
- Brave浏览器推出Ask Brave功能:AI搜索新模式提供深度报告式回答,主打隐私保护
- 标签: 壁仞科技 BR106 BR166 智算集群
- 社交网络Parler起诉亚马逊因“政治敌意”终止为其提供托管服务
- 标签: 凌动科技 新能源汽车热管理 AI热管理系统 普华资本
- 为什么美国政府一再想要迫使Facebook出售Instagram和WhatsApp?
- 随机阅读
-
- 标签: 远大医药 易甘泰 莱特灵 STC3141
- 标签: 高途集团 陈向东 AI教育 素质素养
- 看如何用Python数据可视化来分析用户留存率,建议收藏
- Facebook:苹果隐私新政将影响第三季度广告收入
- 在识别细胞结构上,AI做到了人类不能做的事情
- 标签: 普诺威 IC封装基板 MEMS 歌尔微
- 字节的新AI视频模型 Waver 1.0 发布,支持多种艺术风格的视频生成
- 云安全日报220531:IBM资产管理预测分析解决方案发现执行任意代码漏洞,需要尽快升级
- 粉笔发布事业单位AI刷题班新品:垂域大模型赋能个性化备考
- 鑵捐�浜戦煶瑙嗛�瀹e竷鏀�寔H.266/VVC缂栬В鐮佹爣鍑�
- 为在元宇宙里摸到东西,扎克伯格整出一款新电子皮肤,成本6美元
- 告别PPT制作噩梦!谷歌Gemini“一键生成”演示文稿,文件秒变幻灯片
- 标签: 标签 魔视智能 智能驾驶
- 清华团队开源 GUAVA:0.1秒一张照片秒变 3D 数字人,
- 谷歌推新AI学习工具Learn Your Way,用 AI 打造个性化教科书
- OpenAI牵头六大巨头结盟:AGENTS.md标准横空出世,AI编程从此告别盲人摸象时代
- 标签: 国家移民局 同程旅行 出入境便利 签证服务
- 标签: 苹果 库克 iPhone Apple 50周年
- 标签: ASML EUV光刻机 傅恪礼 半导体设备
- NotebookLM视频概览新增支持80多种语言,支持中文
- 搜索
-
- 友情链接