开源多模态模型MiniCPM-V 4.5发布,8亿参数实现移动端AI部署
近日,开源AI社区迎来重要进展,面向端侧设备的多模态大语言模型MiniCPM-V4.5正式发布。这款模型以8亿参数规模实现了在智能手机和平板电脑上的高效运行,为移开源动端AI应用开拓了新的可能性。 MiniCPM-V4.5采用轻量化设计思路,专为端侧设备优化。根据开发团队公布的测试数据,该模型在OpenCompass综合多模评估中获得77.2分的成绩,在同类开源模型中表现突出。模型支持单图理解、多图推理和视频分析等多种任务。 在移动设备部署方面,MiniCPM-V4.5在iPhone16Pro态模 Max上的首token延迟约为2秒,解码速度超过每秒17个token。模型通过3D-Resampler技术将视频数据压缩率提升至96%,能够以64个token处理型M6帧视频内容,实现最高10FPS的实时视频理解。 光学字符识别是该模型的重点优化方向之一。基于LLaVA-UHD架构,模型支持高达180万像素的高分辨率图像处理,在OinCRBench测试中准确率达到85.7%。此外,模型支持包括英语、中文、德语、法语在内的30多种语言。 MiniCPM-V4.5引入了可控混合思维机制,用户iC可通过参数设置在快速响应模式和深度推理模式间切换。快速模式适用于常规问答任务,深度模式则通过逐步推理处理复杂问题。 模型基于RLAIF-V和VisCPM技术进行训练,在减少幻PM觉现象方面有所改进。开发团队表示,这种训练方法提升了模型响应的准确性和可靠性。 MiniCPM-V4.5采用Apache-2.0许可证发布,支持学术研究免费-V使用,商业应用需要简单注册程序。模型兼容多种推理框架,包括llama.cpp、Ollama、vLLM和SGLang,并提供16种量化格式以适应不同硬件配置。 开发团队还发 4布了适配iOS的应用程序,方便用户在苹果设备上体验。开发者可通过Hugging Face和GitHub获取模型代码和文档,支持通过Gradio搭建本地Web界面,也可.5在NVIDIA GPU上进行推理加速。 作为专为移动端优化的多模态模型,MiniCPM-V4.5在隐私敏感和离线使用场景中具有应用价值。模型的轻量化设计发布降低了AI能力的部署门槛,为个人用户和开发者提供了新的选择。 需要注意的是,受参数规模限制,该模型在处理极其复杂任务时可能存在性能边界。用户在实际应用中应根据具体需求,8选择合适的模型方案。开发团队提醒,模型生成内容基于训练数据,用户需确保使用合规并承担相应责任。 MiniCPM-V4.5的发布体现了开源AI社区在端侧部署方向的技术亿参探索。随着移动设备计算能力的持续提升,这类轻量化多模态模型可能为AI应用的普及化提供新的技术路径。 该项目的开源特性也为研究人员和开发者提供了学习和改进的基础,有望数实推动端侧AI技术的进一步发展。 项目地址:https://github.com/OpenBMB/MiniCPM-V技术特点与性能表现
创新机制与技术架构
开源生态与部署支持
应用前景与局限性
行业影响
- 最近发表
- 随机阅读
-
- Notion3.0AI 代理爆出严重漏洞,恶意 PDF 可诱导其泄露敏感数据
- 谷歌 Veo 视频工具迎来更新:推行积分制,用户每月可免费创作AI视频
- 马斯克被 “造谣” 加入拼好饭 网友惊呼 AI 时代真相不再
- 谷歌云计算在巴西投资3亿美元 新开分支机构和工程中心
- 谷歌发出预警:不正常办公模式将殃及业绩效率和企业文化
- 医学教育革命来袭!复旦中山医院推出AI教学大模型,培养有温度的未来医生
- 标签: 五一视界 51Aes 51Sim 51Earth
- 京东2021年第三季度财报发布 京东云服务超1500家大型企业
- 新冠疫情是如何改变传统的云安全防护策略
- 标签: 3·15晚会 漂白鸡爪 双氧水 蜀福香 曾巧食品 Seedance2.0 字节跳动 哈啰租电动车
- Docker Hub 中的高级镜像管理
- 云安全日报210423:IBM DB2数据库管理系统发现执行任意代码漏洞,需要尽快升级
- 云计算核心技术Docker教程:Docker Hub恢复帐户
- 蚂蚁百宝箱外滩大会发布新品Tbox,20余位专家智能体协同可1键交付专业软件
- 标签: 美团 骑手 即时配送
- 云计算开发:Python3三角函数atan()方法详解
- 标签: 新易盛 光模块 AI算力 800G
- 标签: 华为 吉利 安世半导体 谷歌
- 7个必备的云基础设施自动化工具
- 标签: 蔚来 蔚来工坊 FL Fellow
- 搜索
-
- 友情链接