让Transformer的推理速度提高4.5倍,这个trick还能给你省十几万
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 最近,NLP明星公司Hugging Face发布了一个叫做Infinity的产品,可以以1ms延时完成Transfo让Trmer的推理,性能相当高了。 但是,厉害归厉害,还是有点贵——1年至少要十几万块 (2万美元)。 那有没有什么平替的方法呢? 有的!还是开源的、“不费吹灰之力”就可以达到Infinity一些ra公共基准的那种。 并且现在,通过在该方法上施加一个小trick,将Transformer的推理速度提高4.5倍! △ 帖子发布不到一天就收获了250+热度 那么,一个“平替”到底为什么能达到“付费”的效果ns呢? 一个trick让Transformer推理速度提高4.5倍 先来认识一下这个方法:Transformer-deploy。 它可以用一行命令优化和部署Hugging Face上的Transformerfo模型,并支持大多数基于Transformer编码器的模型,比如Bert、Roberta、miniLM、Camembert、Albert、XLM-R、Distilbert等。 Transformermr-deploy推理服务器用的是Nvidia Triton。 推理引擎为Microsoft ONNX Runtime(用于CPU和GPU推理)和Nvidia TensorRT(仅限 GPU)。 如果想在GPUer上获得一流的性能,Nvidia Triton+Nvidia TensorRT这样的组合无疑是最佳选择。 虽然TensorRT用起来有点难,但它确实能比用Pytorch快5~10倍。 在实际性能测试中,的推Transformer-deploy在batch size为1、token分别为16和128的输入序列中的推理速度,都比付费的Hugging Face Infinity要快: Transformer-depl理速oy在token为16时要1.52ms,Infinity则需要1.7ms;token为128时需要1.99ms,Infinity则需要2.5ms。 那前面说的能让Transformer的推理性能度提进一步提高的小trick是什么呢? GPU量化(quantization)。 作者表示: 据我所知,目前任何OOS云服务都还没用到过这个方法。 不过执行GPU量化需要修改模型源代码(需在矩阵乘法等代高4价高昂的操作上添加一些叫做QDQ的特定节点),既容易出错,又很无聊,并且还需自己维护修改后的代码。 因此作者已经为多个基于Transformer的模型手动完成了这项工作。 后来,他们又发现似乎只.5需修补模型模块的抽象语法树 (AST)也可以自动完成。 在用户端,在GPU上执行模型的基本量化类似这样: 最终,该方法在Roberta-base模型和MNLI数据集(分类任务)上实现了4.倍,53倍的推理速度。 当然这也牺牲了0.4个点的精度;如果一点不牺牲的话,也可以加速3.2倍左右。 作者表示,与Transformer-deploy原来的版本相比,这已经是一个很大的改进了,毕竟原版本这个的加速成本需要超过1个点的精确度。 最终他们用Albert、Bert(包括miniLM)、Distilbert、Roberta(包括 Camembert、XLM-R、DistilRoberta等)、Eltrectra测试了该trick。 结果是对于任何可以导出为ONNX格式的Transformer模型,都可以“开箱即用”。
-
上一篇
-
下一篇
- 最近发表
- 随机阅读
-
- 一季度营收超出预期 Facebook股价盘后涨超5%
- 标签: 三瑞智能 无人机动力系统 eVTOL CubeMars
- 标签: Anthropic ClaudeMythos ProjectGlasswing 网络安全AI
- 标签: 苹果 库克 中国发展高层论坛2026 新质生产力
- 我买了一双巴黎世家什么梗
- 标签: 魔法原子 陈春玉 具身智能 人形机器人
- ChatGPT“企业大脑”正式上线!OpenAI推Company Knowledge功能,一键打通Slack、Drive等12大平台,决策效率飙升
- 标签: SpaceX IPO 马斯克 特斯拉
- 标签: 巴菲特 伯克希尔 Greg Abel 股神
- 手把手教你对文本文件进行分词、词频统计和可视化(附源码)
- 云计算核心技术Docker教程:查看当前正在运行的docker swarm的解锁密钥
- 港科大&MSRA研究:关于图像到图像转换,Finetuning is all you need
- 从代码到资源,王坚:AI的“开放”之路,远不止于开源
- 腾讯推出 AI 公考通,公考信息获取变得更简单!
- Altman押注GPT-6记忆革命 OpenAI战略转向代理系统开发
- 云计算开发:Python练习实例-打印字符
- 云计算开发:Python内置函数-enumerate() 函数详解
- Facebook旗下WhatsApp起诉印度政府,称新规终结了隐私权
- 苹果悄然研发ChatGPT式应用,Siri即将重大改版
- 英伟达市值突破5万亿美元,推动 AI 行业蓬勃发展
- 搜索
-
- 友情链接