全新多语种编码器 mmBERT:超越 XLM-R,提升速度与效率
近日,约翰霍普金斯大学的一组研究人员推出了 mmBERT,这是一款新型的多语种编码器,旨在填补当前多语种自然语言处理领域的空白。该模型在多全新个任务上超越了 XLM-R,且在速度上比以往模型提升了2到4倍,为多语种应用的研究和开发提供了更强大的支持。 mmBERT 的架构分为两种主要配置:基多语础模型和小型模型。基础模型拥有22层变换器,隐藏层维度为1152,总参数量约为3.07亿,而小型模型的参数量则为1.4亿。mmBERT 采用了先进的种编 Gemma2分词器,支持256k 的词汇量,利用旋转位置嵌入(RoPE)和 FlashAttention2技术,显著提高了处理效率。同时,该模型的码器序列长度从1024个令牌扩展到8192个令牌,意味着其可以处理更长的上下文信息。 在训练数据方面,mmBERT 使用了来自多个来源的3万亿个令牌, m覆盖了1833种语言。其中,英语在整个语料库中仅占10% 至34%。训练分为三个阶段:预训练、阶段中训练和衰减阶段。在每个阶段中,模型逐步接触mB更多的语言和更高质量的数据,这种方法有助于提高低资源语言的表现。 mmBERT 在多个基准测试中展现了其卓越的性能。在英语自然语言理解(GLUEER)任务中,mmBERT 的基础模型得分为86.3,超越了 XLM-R 的83.3。在多语种自然语言理解(XTREME)任务中,mmBERT 的得分为72T:.8,也高于 XLM-R 的70.4。此外,在嵌入任务和代码检索任务中,mmBERT 同样表现出色,显示出其在多种应用场景中的潜力。 通过对低资源语言的特超越别关注,mmBERT 确保这些语言在训练过程中也能得到充分的利用。在多项基准测试中,mmBERT 在法罗语和提格雷尼亚语等低资源语言的表现均 X优于其他大型模型,证明了编码器模型在经过精心训练后,可以有效应对低资源场景的挑战。 mmBERT 不仅提升了多语种处理的速度和效率,还为下一代的LM多语种自然语言处理系统奠定了坚实的基础。它以高效、开放的方式重新定义了多语种编码器的潜力,标志着一个新时代的到来。 github:http-Rs://github.com/JHU-CLSP/mmBERT?tab=readme-ov-file 划重点: mmBERT 模型在多个任务上超越了 XLM,提-R,成为多语种 NLP 的新标杆。 该模型速度提升2至4倍,支持处理高达8192个令牌的输入。 mmBERT 特别关注低资源语言的训练表现,展现出强大升速的适应能力和广泛应用潜力。
-
上一篇
-
下一篇
- 最近发表
- 随机阅读
-
- 谷歌高管解读2021年Q1财报:YouTube影响力增量优于电视 电商业绩突出
- 标签: 特朗普 半导体 美国关税 最高法院
- 标签: 蔚来 蔚来App 苹果版本闪退 手机蓝牙钥匙
- 标签: 德塔智能 HumanoidFoundationModels HFMs 具身智能
- 标签: 迪哲医药 舒沃哲 高瑞吉 EGFR TKI
- 华为张平安:发展大数据产业 形成有韧性的数据产业链是关键
- 微软正式推出首款自家 AI 图像生成器 MAI-Image-1
- 标签: 中国电信 2025年报 产业数字化 5G
- 标签: 创维集团 智能家电 新能源业务 现代服务业
- DeepMind激起千层浪的这篇论文,并非无所不能
- 标签: 小米汽车 小鹏X9 理想汽车 大疆
- 如何确保有状态 Kubernetes 的稳定性
- 标签: 心动公司 火炬之光无限 心动小镇 TapTap
- 英特尔承认财报信息泄露系发布程序存在漏洞 而非“黑客攻击”
- 微信:将对AI生成合成内容添加显式和隐式标识
- 记一次CDH集群升级事故的解决
- OpenAI 计划每年投资 1 万亿美元推动基础设施建设
- 苹果公司拟与高盛合作推出Apple Pay分期付款服务
- 云计算市场竞争愈演愈烈,IBM收购芬兰云计算公司Nordcloud
- 标签: HarmonyOS7 华为HDC2026 鸿蒙智能体2.0 openPangu2.0
- 搜索
-
- 友情链接