Grab 自研语言模型解决亚洲语言识别难题
新加坡超级应用程序公司 Grab 近日在其工程博客上分享了其自研语言模型的开发经历,指出现有的大型语言模型在理解东南亚语言Gr时表现不佳。Grab 的超级应用程序提供打车、外卖、购物和金融服务等功能,覆盖新加坡、马来西亚、印尼、菲律宾、越南、泰国、柬ab埔寨和缅甸等国家,这些地区的文档通常使用非拉丁字母的脚本。 图源备注:图片由AI生成 在执行如客户身份验证等合规工作时,Grab 自 需要准确提取身份证、驾照和注册证书等信息。尽管尝试过光学字符识别(OCR)系统,但 Grab 发现这些技术在处理多样化的文档模研语板时效果不理想。 在2025年,Grab 开始探索是否可以利用大型语言模型来解决这一问题。尽管一些强大的商业模型具备能力,言模但在理解东南亚语言时常出现错误和延迟,而开源的视觉大型语言模型虽然更高效,但准确性仍不足。因此,Grab 决定自行构建一型解个视觉大型语言模型,该模型能将图像向量化,方便提取文本。 Grab 选择了阿里巴巴云的 Qwen2-VL2B 模型作为基础,因为决亚它的体积适中,支持东南亚语言,并能动态处理不同分辨率的图像。随后,Grab 从 Common Crawl 中提取了东南亚语言的洲语内容,并建立了内部合成数据管道,以生成各种字体和背景下的文本图像。团队采用低秩适配技术对 Qwen2-VL 进行微调,取得了言识在印尼文档处理上的良好效果。 尽管在泰语和越南语的识别上仍然存在挑战,Grab 最终决定进行完整参数微调。通过训练模型,使其学习别难东南亚语言的独特视觉模式,Grab 成功开发了一个轻量级的视觉大型语言模型,其表现超越了多种 OCR 工具和通用模型。Grab 表Gr示,战略性地使用高质量数据,能够使小型专业模型实现高效与有效的结合。 未来,Grab 计划继续开发更多自有模型,以扩展其文档处理技术ab。 划重点: Grab 发现现有大型语言模型在东南亚语言识别上效果不佳,决定自研模型解决问题。 自研的视觉 自大型语言模型在处理身份证和驾照等文档时取得了显著进展。 Grab 将继续开发更多模型,以满足日益复杂的文研语档处理需求。
- 最近发表
- 随机阅读
-
- 标签: 九龙仓置业 海港城 投资物业 酒店
- 如何采用人工智能规划试点项目
- 亚马逊CEO贝索斯出售了98673股公司股份
- 云安全日报210922:红帽NodeJS软件开发平台发现重要安全漏洞,需要尽快升级
- 云安全日报210803:红帽HTTP加速器发现请求走私攻击漏洞,需要尽快升级
- Salesforce公司是如何发现人工智能人才以及如何提升人才技能的
- 从实验到实施:人工智能如何证明其在金融服务中的价值
- 标签: 日产汽车 刘新宇 日产中国 东风日产
- 用Python进行人脸识别「包括源代码」
- 标签: 安世半导体 荷兰安世 东莞ATGD 供应链
- 标签: iPhone 17e 小米汽车 智谱 苹果
- NVIDIA GeForce RTX 3060发布日期确定2月25日
- 标签: YouTube 谷歌 尼尔・莫汉 自愿离职计划
- 标签: 三星电子 OPU芯片 Tsavorite 4nm制程
- 加州新法案:聊天机器人必须明确告知用户其为 AI
- 云安全日报210831:红帽RHEL系统内核发现特权提升漏洞,需要尽快升级
- 速卖通“新品闪电推”亮相:AI Agent自动整合资源,新品7天破零率翻倍
- 标签: OpenAI 迪士尼 Sora ChatGPT
- 标签: 曹操出行 Robotaxi 阿布扎比 吉利控股
- 谷歌Gemini 3.0 Pro内测流出:编程能力大跃进,下周即将上线
- 搜索
-
- 友情链接