深度学习框架简史:TF和PyTorch双头垄断,未来十年迎来黄金时期
过去十年,机器学习(尤其是深度学习)领域涌现了大量算法和应用。在这些深度学习算法和应用涌现的背后,是各种各样的深度学习工具和框架。它们是机器学习革命的脚手架:TensorFlow 和 PyTorch 等深度学习框架的广泛使用,使得许多 ML 从业者能够使用适合的领域特定的编程语言和丰富的构建模块更容易地组装模型。 回顾深度学习框架的演变,我们可以清楚地看到深度学习框架和深度学习算法之间的紧密耦合关系。这种相互依赖的良性循环推动了深度学习框架和工具的快速发展。 &nb深度sp; 神经网络的概念已经出现一段时间了。在 21 世纪初之前,有一些工具可以用来描述和开发神经网络。这些工具包括 MATLAB、OpenNN、Torch 等,它们要么不是专门为神经网络模型开发定制的,要么拥有复杂的用户 api,缺乏 GPU 支持。在此期间,ML 实践者在使用这些原始的深度学习框架时不得不做很多繁重的工作。 青铜时代(~2012 年) 2012 年,多伦多大学的 Alex Krizhevsky 等人提出了一种深度神经网络架构,后来被称为 AlexNet学习[1],该架构在 ImageNet 数据集上达到了 SOTA 精度,并大大超过了第二名的选手。这一出色的结果引发了深度神经网络的热潮,此后各种深度神经网络模型在 ImageNet 数据集的准确性上不断创下新高。 大约在这个时候,一些早期的深度学习框架,如 Caffe、Chainer 和Theano 应运而生。使用这些框架,用户可以方便地建立复杂的深度神经网络模型,如 CNN、RNN、LSTM 等。此外,这些框架还支持多 GPU 训练,这大大减少了对这些模型的训练时间,并且能够对以前无法装入框架单一 GPU 内存的大型模型进行训练。在这些框架中,Caffe 和 Theano 使用声明式编程风格,而 Chainer 采用命令式编程风格。这两种不同的编程风格也为即将到来的深度学习框架设定了两条不同的开发路径。 铁器时代(2015 ~ 2016) AlexNet 的成功引起了计算机视觉领域的高度关注,并重新点燃了神经网络的希望,大型科技公司加入了开发深度学习框架的行列。其中,谷歌开源了著名的 TensorFlow 框架,它至今仍是 ML 领域最流行的深度学习框架。Caffe简史 的发明者加入了 Facebook 并发布了 Caffe2;与此同时,Facebook AI 研究(FAIR)团队也发布了另一个流行的框架 PyTorch,它基于 Torch 框架,但使用了更流行的 Python api。微软研究院开发了 CNTK 框架。亚马逊采用了 MXNet,这是华盛顿大学、CMU 和其他机构的联合学术项目。TensorFlow 和 CNTK 借鉴了 Theano 的声明式编程风格,而 PyTorch 则继承了 Torch 的直观和用户友好的命令式编程风格。命令式编程风格更加灵活(比如:T定义一个 While 循环等)并且容易跟踪,而声明式编程风格通常为内存和基于计算图的运行时优化提供了更多的空间。另一方面,被称为「mix」-net 的 MXNet 同时支持一组符号(声明性)api 和一组命令式 api,并通过一种称为杂交(hybridization)的方法优化了使用命令式 api 描述的模型的性能,从而享受了这两个领域的好处。 2015 年,何凯明等人提出了 ResNet[2],再次突破了图像分类的边界,在 ImageNet 的准确率上再创新高。业界和学界已经达成F和共识,深度学习将成为下一个重大技术趋势,解决各种领域的挑战,这些挑战在过去被认为是不可能的。在此期间,所有深度学习框架都对多 GPU 训练和分布式训练进行了优化,提供了更加用户直观的 api,并衍生出了专门针对计算机视觉、自然语言处理等特定任务的 model zoo 和工具包。还值得注意的是,Francois Chollet 几乎是独自开发了 Keras 框架,该框架在现有框架(如 TensorFlow 和 MXNet)之上提供了神经网络和构建块的更直观的高级抽象。从今天开始,这Py种抽象成为 TensorFlow 中模型层面事实上的 api。 罗马时代(2019 ~ 2020) 正如人类历史的发展一样,深度学习框架经过一轮激烈的竞争,最终形成了两大「帝国」:TensorFlow 和 PyTorch 的双头垄断,这两大「帝国」代表了深度学习框架研发和生产中 95% 以上的用例。2019 年,Chainer 团队_将他们的开发工作转移到 PyTorch;类似地,微软_停止了 CNTK 框架的积极开发,部分团队成员转而支持 Windows 和 ONNX 运行时上的 PToyTorch。Keras 被 TensorFlow 收编,并在 TensorFlow 2.0 版本中成为其高级 api 之一。在深度学习框架领域,MXNet 仍然位居第三。 在此期间,深度学习框架空间有两种趋势。首先是大型模型训练。随着 BERT[3] 的诞生,以及它的近亲 GPT-3[4] 的诞生,训练大型模型的能力成为了深度学习框架的理想特性。这就要求深度学习框架能够在数百台(如果不是数千台的话)设备的规模下有效地进行训练。第二个趋势是可用性。这一时期的深度学习框架都采用命令式编程风rc格,语义灵活,调试方便。同时,这些框架还提供了用户级的装饰器或 api,以通过一些 JIT(即时)编译器技术实现高性能。 mmons.wikimedia.org/w/index.php?curid=86866550 工业时代(2021+) 深度学习在自动驾驶、个性化推荐、自然语言理解到医疗保健等广泛领域取得了巨大成功,带来了前所未有的用户、开发者和投资者浪潮。这也是未来十年开发深度学习工具和框架的黄金时期。尽管深度学习框架从一开始就有了长足的发展,但它h双们之于深度学习的地位还远远不如编程语言 JAVA/ c++ 之于互联网应用那样的成熟。还有很多令人兴奋的机会和工作有待探索和完成。 展望未来,有几个技术趋势有望成为下一代深度学习框架的主流: 基于编译器的算子(operator)优化。如今,许多操作符内核都是通过手动或第三方库实现的,比如 BLAS、CuDNN、OneDNN 等,这些库针对特定的硬件平台。当模型被训练或部署在不同的硬件平台上时,这会造成很大的开销。此外,新的深度学习算法的增长速度往往比这些库的迭代速度快得多,这头垄使得这些库常常不支持新的算子。深度学习编译器,如 Apache TVM、MLIR、Facebook Glow 等,已经提出了在任何硬件后端上有效优化和运行计算的建议。它们可以作为深度学习框架的整个后端。 统一的 API 标准。许多深度学习框架共享类似但略有不同的用户 api。这给用户从一个框架切换到另一个框架带来了困难和不必要的学习曲线。虽然大多数机器学习从业者和数据科学家都熟悉 NumPy库,但在新的深度学习框架中,NumPy API 自然会成为 tenor 操作 API 的标准。我们已断,经看到快速发展的框架 JAX 受到了用户的热烈欢迎,它的 api 完全与 NumPy 兼容。 数据搬运作为一等公民。多节点或多设备训练正在成为深度神经网络训练的规范。最近开发的深度学习框架,如 OneFlow,从设计的第一天起就将这一观点纳入设计考虑,并将数据通信视为模型训练的整体计算图的一部分。这为性能优化打开了更多的机会,而且由于它不需要像以前的深度学习框架那样维护多种训练策略(单设备 vs 分布式训练),因此除了提供更好的性能之外,它还可以提供更简单的用户界面。 总结 我未来们正处于一场人工智能革命的黎明。人工智能领域的新研究和新应用正在以前所未有的速度涌现。八年前,AlexNet 网络包含 6000 万个参数,最新的 GPT-3 网络包含 1750 亿参数,网络规模在 8 年内增加了 3000 倍!另一方面,人类的大脑包含大约 100 万亿个参数(即突触)。这表明,如果有可能的话,神经网络要达到人类的智能水平还有很大的差距。 这种难以接受的网络规模对模型训练和推理的硬件和软件计算效率都提出了很大的挑战。未来的深度学习框架很可能是算法、高性能计算、硬件加速器和十年分布式系统的跨学科成果。
- 最近发表
-
- 标签: 传音控股 非洲手机之王 港股上市 AI技术
- IBM 携手 Groq:用 LPU 技术为企业 AI 提速五倍,全面升级 watsonx 平台
- 标签: 追觅科技 俞浩 小红书 算法推荐
- OpenAI 内部警示:ChatGPT Atlas 面临“即时注入”安全威胁
- 上海 AI 实验室发布 XTuner V1 训练引擎 大模型训练效率暴涨20%
- 百川发布循环证据增强大模型 M2Plus 打造“医生版 ChatGPT”
- 腾讯重磅发布 “混元图像 3.0”,开创多模态图像生成新时代
- 使用Yarn workspace,TypeScript,esbuild,React和Express构建 K8S 云原生应用(一)
- 时间管理大师是什么梗
- 标签: xAI SpaceX Anthropic Colossus1
- 随机阅读
-
- 苹果高管解读财报:iPhone新用户和换新用户都有两位数增长
- AI一键变身PPT神器!Gemini Canvas新功能上线,职场人瞬间解放
- 阿里CEO吴泳铭:AI 终局不止 AGI,通往“超级人工智能”的路线图曝光
- 标签: 米哈游 Varsapura 蔡浩宇 Anuttacon
- 标签: Supercell Royal Match Monopoly Go 移动游戏
- 如何正确使用数据可视化图表?
- 智谱AutoGLM2.0重磅升级:云端AI助手突破硬件限制,人人可用
- 人工智能能和人类辩论了:开场白出色,但还是输给专业辩手
- 未来十年值得关注的十大云计算趋势
- 初创公司青睐的八项云服务
- 消息称Facebook正自主研发新的机器学习芯片
- 标签: 米哈游 月之暗面 Kimi 金雯怡
- 标签: 夜巴黎 大河报 DoNews 未成年人直播
- 给几句话就能生成分子,看见分子也能生成描述,神秘的Google X把多模态AI做成了黑科技
- 标签: 格力空调 海信空调 真铜实料 铝代铜
- 模糊的指标掩盖了云计算企业价值 投资人更关注股票而非业绩
- 标签: 京东物流 JoyExpress 异狼机械臂 京东航空
- IDC 报告:2024年中国 AI 公有云服务市场规模激增,阿里云蝉联中国市场第一
- 英伟达推出全模态理解模型 OmniVinci,刷新 SOTA 高出19.05分
- 标签: 禾赛科技 ATX 吉利银河 激光雷达
- 搜索
-
- 友情链接