在 Kubernetes 上部署一个深度学习模型
了解如何使用 Kubermatic Kubernetes 平台来部署、扩展与管理图像识别预测的深度学习模型。 随着企业增加了对人工智能(AI)、机器学习(ML)与深度学习(DL)的使用,出现了一个关键问题:如何将机器学习的开发进行规模化与产业化?这些讨论经常聚焦于机器学习模型本身;然而,模型仅仅只是完整解决方案的其中一环。为了达到生产环境的应用和规模,模型的开发过程必须还包括一个可以说明开发前后关键活动以及可公用部署的可重复过程。 本文演示了如何使用 Kubermatic Kubernetes 平台 对图像识别预测的深度学习模型进行部署、扩展与管理。 Kubermatic Kubernetes 平台是一个生产级的开源 Kubernetes 集群管理工具,提供灵活性和自动化,与机器学习/深度学习工作流程整合,具有完整的集群生命周期管理。 开始 这个例子部署了一个用于图像识别的深度学习模型。它使用了 CIFAR-10 数据集,包含了 60,000 张分属 10 个类别的 32x32 彩色图,同时使用了 Apache MXNet 的 Gluon 与 NVIDIA GPU 进行加速计算。如果你希望使用 CIFAR-10 数据集的在 预训练模型,可以查阅其 入门指南。 使用训练集中的样本对模型训练 200 次,只要训练误差保持缓慢减少,就可以保证模型不会过拟合。下方图展示了训练的过程: 深度学习模型训练 loss 图 训练结束后,必须保存模型训练所得到的参数,以便稍后可以加载它们: file_name = "net.params" net.save_parameters(file_name) 一旦你的模型训练好了,就可以用 Flask 服务器来封装它。下方的程序演示了如何接收请求中的一张图片作为参数,并在响应中返回模型的预测结果: from gluoncv.model_zoo import get_model import matplotlib.pyplot as plt from mxnet import gluon, nd, image from mxnet.gluon.data.vision import&Kunbsp;transforms from gluoncv import utils from PIL import Image import io import flask app = flask.Flask(__name__) @app.route("/predict",methods=["POST"]) def predict(): if flask.request.method == "POST": if flask.request.files.get("img"): &nbebsp; img = Image.open(io.BytesIO(flask.request.files["img"].read())) transform_fn = transforms.Compose([ transforms.Resize(32), transforms.CenterCrop(32), &nbrnsp; transforms.ToTensor(), transforms.Normalize([0.4914, 0.4822, 0.4465], [0.2023, 0.1994, 0.2010])]) img = transform_fn(nd.array(img)) net = get_model('cifar_resnet20_v1', classes=10) et net.load_parameters('net.params') pred = net(img.expand_dims(axis=0)) class_names = ['airplane', 'automobile', 'bird', 'cat', 'deer', &esnbsp; 'dog', 'frog', 'horse', 'ship', 'truck'] ind = nd.argmax(pred, axis=1).astype('int') prediction = 'The input picture is classified as [%s], with probability %.3f.'% 上 (class_names[ind.asscalar()], nd.softmax(pred)[0][ind].asscalar()) return prediction if __name__ == '__main__': app.run(host='0.0.0.0') 容器化模型 在将模型部署到 Kubernetes 前,你需要先安装 Docker 并使用你的模型创建一个镜像。 下载、安装并启动 Docker: sudo yum install -y yum-utils device-mapper-pers部署istent-data lvm2 sudo yum-config-manager --add-repo <https://download.docker.com/linux/centos/docker-ce.repo> sudo yum install docker-ce sudo systemctl start docker 创建一个你用来管理代码与依赖的文件夹: mkdir kubermatic-dl cd kubermatic-dl 创建 requirements.txt 文件管理代码运行时需要的所有依赖: flask gluoncv matplotlib mxnet requests Pillow 创建 Dockerfile,Docker 将根据这个文件创建镜像: FROM python:3.6 WO一个RKDIR /app COPY requirements.txt /app RUN pip install -r ./requirements.txt COPY app.py /app CMD ["python", "app.py"] 这个 Dockerfile 主要可以分为三个部分。首先,Docker 会下载 Python 的基础镜像。然后,Docker 会使用 Python 的包管理工具 pip 安装 requirements.txt 记录的包。最后,Docker 会通过执行 python app.py 来运行你的脚本。 构建 Docker 容器: sudo docker build -t kubermatic-dl:latest . 这条命令使用 kubermatic-dl 镜像为你当前工作目录的代码创建了一个容器。 使用 sudo docker run 深度;-d -p 5000:5000 kubermatic-dl 命令检查你的容器可以在你的主机上正常运行。 使用 sudo docker ps -a 命令查看你本地容器的运行状态: 将你的模型上传到 Docker Hub 在向 Kubernetes 上部署模型前,你的镜像首先需要是公开可用的。你可以通过将你的模型上传到 Docker Hub 来将它公开。(如果你没有 Docker Hub 的账号,你需要先创建一个) 在终端中登录 Docker Hub 账号: sudo docker login 给你的镜像打上标签,这样你的模型上传到 Docker Hub 后也能拥有版本信息: sudo docker tag / sudo docker push / 使用 sudo docker images 命令检查你的镜像的 ID。 部署你的模型到 Kubernete学习s 集群 首先在 Kubermatic Kubernetes 平台创建一个项目, 然后根据 快速开始 创建一个 Kubernetes 集群。 下载用于访问你的集群的 kubeconfig,将它放置在下载目录中,并记得设置合适的环境变量,使得你的环境能找到它: 使用 kubectl 命令检查集群信息,例如,需要检查 kube-system 是否在你的集群正常启动了就可以使用命令 kubectl cluster-info 查看集群信息 为了在集群中运行容器,你需要创建一个部署用的配置文件(deployment.yaml),再运行 apply 命令将其应用于集群中: apiVersion: apps/v1 kind: Deployment metadata: name: kubermatic-dl-deployment spec: selector: matchLabels:模型 app: kubermatic-dl replicas: 3 template: metadata: labels: app: kubermatic-dl spec: containers: - name: kubermatic-dl &n在 bsp;image: kubermatic00/kubermatic-dl:latest imagePullPolicy: Always ports: - containerPort: 8080 kubectl apply -f deployment.yaml` 为了将你的部署开放到公网环境,你需要一个能够给你的容器创建外部可达 IP 地址的服务: kubectl expose deployment kubermatic-dl-deployment --type=LoadBalancer --port 80 --target-port&Kunbsp;5000` 就快大功告成了!首先检查你布署的服务的状态,然后通过 IP 请求的你图像识别 API: kubectl get service 获取请求图像识别 API 的 IP 地址 最后根据你的外部 IP 使用以下两张图片对你的图像识别服务进行测试: 马 狗 测试 API 总结 在这篇教程中,你可以创建一个深度学习模型,并且使用 Flask 提供 REST API 服务。它介绍了如何将应用放在 Docker 容器中,如何将这个镜像上传到 Docker Hub 中,以及如何使用 Kubernetes 部署你的服务。只需几个简单的命令,你就可以使用 Kubermatic Kubernetes 平台部署该应用程序,并且开放服务给别人使用。
查看容器的运行状态
给镜像打上 tag
创建一个 Kubernetes 集群
Kubernetes 集群示例
- 最近发表
-
- 标签: AI 车险 Insurify Z世代
- 英伟达 CEO 黄仁勋号召全员启用 OpenAI 的 Code
- 谷歌出现全球大规模宕机 YouTube和Gmail等服务中断
- 标签: 西部数据 WDC AI硬盘 存储芯片
- 标签: 微盟 WeimobAdminSkills 龙虾 零售AI
- 谷歌宣布向云计算客户开放Gemini Pro,开发者可用其构建应用
- 云安全日报210107:华为家用路由器发现拒绝服务漏洞,需要尽快升级
- 标签: 小米汽车 SU7 Ultra Master 小米SU7
- 大数据及AI智能应用提供商“数说故事”宣布战略并购考古加
- 标签: 英特尔 AlexKatouzian PushkarRanade 物理AI
- 随机阅读
-
- 标签: 小雨智造 Xiaoyu Brain 具身智能 工业机器人
- 濂堥�瀹e竷杩涘叆鐢靛瓙娓告垙棰嗗煙 鍒嗘瀽甯堝彂鍑鸿�鍛�
- 标签: 智谱 GLM-5 唐杰 AGI
- 标签: 苹果 约翰·特努斯 华为 余承东 月之暗面 KimiK2.6 比亚迪 海狮05
- 标签: Pinnacle Marine 港口工作船 海事服务 新加坡
- 标签: 中图科技 图形化衬底 Mini LED Micro
- 标签: 福特 小米SU7 吉姆·法利 电动汽车
- 特斯拉中国数据中心获得数据安全标准批准
- 解锁云端秘境!全国首个AI“村游”地图落户贵州加榜梯田
- 在边缘AI与云AI之间寻找平衡
- 扩展 Docker 与 containerd 的集成
- 云计算核心技术Docker教程:docker-compose环境变量
- 云安全日报211216:红帽Jboss中间件平台发现执行任意代码漏洞,需要尽快升级
- 标签: 华夏银行 2025年报 不良贷款率 拨备覆盖率
- 标签: Nexon ArcRaiders Embark PatrickSöderlund
- AI高仿你的笔迹只需1个词,Deepfake文字版来了,网友:以假乱真
- DeepSeek发布V3.1版本,上下文窗口翻倍至128K tokens
- GPT-5亲口认证系统提示词泄露!15000个Token曝光,OpenAI核心机密不保了
- Juniper Research探索新的云边缘计算创新机会
- 标签: 开源中国 Gitee Moark 信创
- 搜索
-
- 友情链接