更新时间:2024-04-03 GMT+08:00
分享

部署到推理调试

在开发环境容器内调试完成后,开发者可以将自己开发好的AI应用和ModelBox runtime镜像打包成新的运行镜像,并发布到ModelArts推理服务,直接测试部署的服务并查看日志,以确保开发好的AI应用可以在ModelArts推理平台正常运行。具体调试步骤如下:

  1. 构建镜像

    鼠标右键工程列表中当前工程,单击“Build Image”,输入镜像名称、镜像版本、OBS路径(用于保存当前工程的文件)、SWR组织,展开高级设置,可以设置代理以及是否重新编译打包当前工程。单击“Confirm”开始制作镜像,镜像制作的日志将保存在当前工程log/docker-build.log中。

    图1 构建镜像
  2. 发布AI应用

    鼠标右键工程列表中当前工程,单击“Public”,输入应用名称、应用版本、请求方式以及镜像地址。单击高级选项可以配置更加丰富的选项。

    图2 发布AI应用

  3. 部署在线服务

    鼠标右键工程列表中当前工程,单击“Deploy”部署在线服务。选择元模型来源、请求模式、资源池、资源规格以及实例数。单击“Confirm”将会执行该作业。单击高级选项可以配置更加丰富的选项。

    图3 部署在线服务

    执行成功后,服务ID会打印在控制台日志。

  4. 查看服务日志

    如果在上一步部署在线服务的步骤中,开启了日志收集功能,可以通过如下命令查看服务运行的日志。 service_id 指定服务ID,start_time指定日志搜索起始时间,end_time指定日志搜索结束时间。单击菜单中的Terminal> New Terminal新建终端窗口,输入如下命令查看该服务日志:

    python manage.py list-logs --service_id xxx --start_time '2021-12-10 14:39:30' --end_time '2021-12-10 14:59:30'

    执行成功后,将在控制台打印从start_time到end_time LTS服务收集的服务日志信息。

分享:

    相关文档

    相关产品