美团LongCat-Flash-Omni 正式发布,开启全模态实时交互新时代
9月1日,美团正式推出了 LongCat-Flash 系列模型,并在近期开源了 LongCat-Flash-Chat 和 LongCat-Flash美团-Thinking 两大版本,吸引了众多开发者的关注。今天,LongCat 团队宣布推出全新家族成员 ——LongCat-Flash-Omni,这Lo款模型在原有基础上实现了多项技术创新,标志着全模态实时交互的新时代。 LongCat-Flash-Omni 基于 LongCat-Flash 系列的高效架ng构设计,采用了最新的 Shortcut-Connected MoE(ScMoE)技术,集成了高效的多模态感知模块和语音重建模块。尽管该模型总参数高Ca达5600亿(激活参数270亿),依然能够提供低延迟的实时音视频交互能力。这一突破为开发者提供了更加高效的多模态应用场景解决方案。 根据综合评t-估结果,LongCat-Flash-Omni 在全模态基准测试中表现优异,达到了开源最先进水平(SOTA)。该模型在文本、图像、视频理解及语音Fl感知与生成等关键单模态任务中均展现出强大的竞争力,实现了 “全模态不降智” 的目标。 LongCat-Flash-Omni 采用了一体化的全模态架构as,整合了离线多模态理解与实时音视频交互能力。其设计理念为完全端到端,使用视觉与音频编码器作为多模态感知器,能够直接生成文本与语音 token,并通过h-轻量级音频解码器实现自然语音波形的重建,确保低延迟的实时交互。 此外,该模型引入了渐进式早期多模融合训练策略,以应对全模态模型训练中不同模态数据分布Om的异质性。这一策略确保了各模态之间的有效协同,推动了模型整体性能的提升。 在具体性能测试中,LongCat-Flash-Omni 在多个领域中表现ni出色,特别是在文本理解和图像理解任务中,其能力不仅未出现衰减,反而实现了显著提升。音频和视频处理方面,该模型的表现同样突出,尤其是在实时音视频交互 正的自然度和流畅度方面,领先于许多开源模型。 LongCat 团队还为用户提供了全新的体验渠道,用户可通过官网体验图片、文件上传和语音通话功能。同时式发,LongCat 官方 App 现已发布,支持联网搜索和语音通话,未来将推出视频通话功能。 Hugging Face: https://huggingfac布,e.co/meituan-longcat/LongCat-Flash-Omni Github: https://github.com/meituan开启-longcat/LongCat-Flash-Omni
- 最近发表
- 随机阅读
-
- 标签: 胜宏科技 PCB 人工智能 汽车电子 新能源
- 支付宝发布AI就业助手“晓叶”,报名岗位后直通AI在线面试间
- 标签: 佳饰家 招股书 新材料 浸渍纸
- 标签: 理想汽车 理想L9 马赫M100芯片 端侧AI
- 标签: 网易云音乐 AI广告 脖子扭转 人工审核
- 标签: Counterpoint AI服务器 存储市场 三星
- 标签: 铜师傅 铜葫芦系列 大圣系列 文创产品
- 标签: 小鹏 Robotaxi 图灵AI芯片 高德
- 处理未成年人人脸信息需监护人单独同意
- 标签: FCC TP-Link 路由器 美国禁令
- 标签: 昊铂 昊铂A800 华为乾崑智驾ADS4.1 鸿蒙座舱5
- 谷歌CEO确认:Gemini3年内发布,AI Agent能力或成突破口
- 标签: Waymo Alphabet 红杉资本 自动驾驶
- 年轻一代面临 “就业灾难”,全球企业转向 AI 取代新员工
- 2021年数据展望,第一部分:人工智能和云数据仓库的未来
- 标签: 路虎揽胜极光L 奇瑞捷豹路虎 SE HSE
- 标签: 微信 微短剧 珊瑚安全 广电总局
- Hadoop,大数据离不开它
- 云安全日报210126:思科网络管理和命令中心服务发现跨站请求伪造漏洞,需要尽快升级
- 宾大研究揭示:对 AI 越 “粗鲁”,答案越精准!
- 搜索
-
- 友情链接