更新时间:2022-03-30 GMT+08:00
分享

部署到推理调试

在开发环境容器内调试完成后,开发者可以将自己开发好的AI应用和ModelBox runtime镜像打包成新的运行镜像,并发布到ModelArts推理服务,直接测试部署的服务并查看日志,以确保开发好的AI应用可以在ModelArts推理平台正常运行。具体调试步骤如下:

  1. 构建镜像

    鼠标右键工程列表中当前工程,点击“Build Image”,输入镜像名称、镜像版本、OBS路径(用于保存当前工程的文件)、SWR组织,展开高级设置,可以设置代理以及是否重新编译打包当前工程。点击“Confirm”开始制作镜像,镜像制作的日志将保存在当前工程log/docker-build.log中。

    图1 构建镜像
  2. 发布AI应用

    鼠标右键工程列表中当前工程,点击“Public”,输入应用名称、应用版本、请求方式以及镜像地址。点击高级选项可以配置更加丰富的选项。

    图2 发布AI应用

  3. 部署在线服务

    鼠标右键工程列表中当前工程,点击“Deploy”部署在线服务。选择元模型来源、请求模式、资源池、资源规格以及实例数。点击高级选项可以配置更加丰富的选项。当请求模式选择为“async”异步请求方式时(当前推理异步服务功能受限开放,如需使用需要先提工单申请),可以通过设置输入输出配置作业,点击“Confirm”将会执行该作业。点击高级选项可以配置更加丰富的选项。

    图3 部署在线服务

    执行成功后,服务ID会打印在控制台日志。

  4. 查看服务日志

    如果在上一步部署在线服务的步骤中,开启了日志收集功能,可以通过如下命令查看服务运行的日志。 service_id 指定服务ID,start_time指定日志搜索起始时间,end_time指定日志搜索结束时间。点击菜单中的Terminal> New Terminal新建终端窗口,输入如下命令查看该服务日志:

    python manage.py list-logs --service_id xxx --start_time '2021-12-10 14:39:30' --end_time '2021-12-10 14:59:30'

    执行成功后,将在控制台打印从start_time到end_time LTS服务收集的服务日志信息。

  5. 查看作业状态、作业日志
    python manage.py task-info --service_id xxx --task_id xxx

    指定服务ID和任务ID,查看作业状态,运行成功后,可以登录OBS服务进入相关的目录查看推理结果。

    作业运行时,可以执行上述的查询服务日志命令,服务日志包含了作业日志,可以查看作业运行的详细信息。

分享:

    相关文档

    相关产品

close