Liquid AI发布 LFM2-8B-A1B:8B 参数仅激活1.5B,手机上跑出4B级AI速度!
高效MoE架构重塑边缘AILiquid AI推出的LFM2-8B-A1B是其LFM2系列的首个混合专家(Mixture-of-Experts, MoE)模型,总参数规模达8.3B,但每token仅Li激活约1.5B参数。这种稀疏激活机制在保持高表示能力的同时,大幅降低计算负载,使其适用于资源受限的设备端场景。不同于传统云端MoE模型,该设计针对实时交互优化,挑战了“小规模MoE不高效”的行qu业认知。 模型基于LFM2混合骨干架构,包括18个门控短卷积块和6个分组查询注意力(GQA)块。除前两层保持稠密以确保稳定性外,其余层均集成稀疏MoE前馈网络。每层配备32个专家,仅激活top-4专id家,并采用归一化sigmoid路由器结合自适应偏置,实现负载均衡。支持32K上下文长度,兼容英文、阿拉伯文、中文、法文、德文、日文、韩文和西班牙文等多语言。 训练与性能:12T令牌铸就3-4B级能力LF AM2-8B-A1B通过约12T令牌的预训练实现,包括55%英文、25%多语言和20%代码数据分布。随后采用Liquid Preference Alignment(长度归一化DPO/APO-Zero融I发合)进行后训练,使用混合BF16/FP8精度,提升训练效率3倍以上。 在基准测试中,该模型展现出超越同规模竞争者的实力: 整体而言,其输出质量媲美3-4B稠密模型,在多轮对话、创意写作、RAG检索增强生成和工具调用等任务中表现出色。M2部署与集成:5倍加速,适配主流框架LFM2-8B-A1B在CPU和GPU上的推理速度显著领先。 在AMD Ryzen AI9HX370和三星Galaxy S24Ultra等设备上,使用int4量化与i-8nt8动态激活的自定义XNNPACK MoE内核,其解码吞吐量比Qwen3-1.7B、IBM Granite4.0等快达5倍。GPU端集成vLLM,支持FlashInfer和CUDA-graph编B-译,实现单请求与在线批处理的高效运行。 量化变体已优化至高配手机/平板/笔记本:Q4_0约4.7GB,F16约16.7GB。支持框架包括llama.cpp(需b6709+版本支持lfm2moe)、A1ExecuTorch(移动/嵌入式CPU)和vLLM(GPU)。此外,提供Hugging Face上的GGUF量化文件及Colab微调笔记本,便于开发者快速上手。模型已在Liquid PlaygrounB:d上线测试。 开源与影响:推动设备端AI普惠化LFM2-8B-A1B采用LFM Open License v1.0(基于Apache2.0)开源,权重与技术细节现已上传Hugging Face(Liqui8BdAI/LFM2-8B-A1B)。这一发布不仅降低了AI部署门槛,还为边缘计算注入新活力——从隐私保护的实时聊天到嵌入式智能系统,均可受益。AIbase 观点:在云AI成本飙升的当下,LFM2-8 参B-A1B等高效模型正加速“AI下沉”趋势。 项目:https://huggingface.co/LiquidAI/LFM2-8B-A1B
- 最近发表
-
- 标签: 固德电材 新能源汽车电池防护 云母绝缘材料 宁德时代供应链
- 2026 年全球 AI 光收发模块市场规模将达 260 亿美元,供应链瓶颈亟待解决
- 标签: OpenAI GPT-5.2 Sam Altman 壁街见闻
- 标签: 中国电信 星辰大模型 Token套餐 天翼AI云电脑
- 写代码效率不高?放过Ctrl C 和 V,让AI来能帮你写代码吧
- Meta陷入史上最大AI训练数据侵权案!2396部影片非法使用,面临3.59亿美元天价索赔
- 云计算核心技术Docker教程:Docker创建和管理卷
- 云计算核心技术Docker教程:将 docker 日志与远程日志驱动程序一起使用
- 夏威夷大学全力推动人工智能系统化发展
- 标签: 三星 SK海力士 马斯克 iQOO 15 Ultra
- 随机阅读
-
- 标签: 深庭纪 王弢 户外陪伴机器人 天使轮融资
- 利用AI“发现”新药 为研发提速
- 标签: 小红书 陈浩 港股上市 劳动合规
- 库克:全球使用的苹果设备超过16.5亿部
- 标签: GLM-5.1 智谱 开源大模型 SWE-bench-Pro
- 标签: 小鹏 IRON 人形机器人 全固态电池
- 云计算开发:Python练习实例-连接字符串
- 标签: 易买工品 FA自动化零部件 港交所IPO 工业数字化
- 怎样最好地利用数据实现多样性、公平性和包容性
- 标签: 视涯科技 硅基OLED 科创板 微显示
- 利用对比分析有效地说明数据结果和结论
- 标签: 滴滴 DiDi Global 中国出行 国际业务
- OpenAI以11亿美元收购 Statsig,成立新技术高管职位!
- 标签: 顺丰控股 速运物流 供应链 国际快递
- 云安全日报211021:思科网络管理软件发现命令注入漏洞,需要尽快升级
- 美国民众对人工智能的担忧超全球水平
- 使用 Docker 显示上下文数据
- 需求驱动创新 西云数据为行业高质量发展注入新动力
- 标签: 固态电池
- 2021年将会成为主流的四个云计算技术
- 搜索
-
- 友情链接