更新时间:2024-08-08 GMT+08:00
分享

自定义镜像创建Notebook样例

Notebook提供了在线的开发和调试工具,用于编写和调测模型训练代码,在创建Notebook时,平台为您提供了系统镜像。同时,您也可以使用自定义镜像,创建Notebook,满足个性化的开发需求。

本章节介绍如何使用自定义镜像创建Notebook(在基础镜像中安装化学分子格式转换工具Open Babel),详细步骤如下所示:

步骤1:安装容器引擎

在制作自定义镜像时,您需要准备一台安装有Docker的机器。请使用自己的电脑搭建Docker环境,或者使用华为云弹性云服务器ECS搭建Docker环境。

例如,在Linux操作系统下,可以使用如下命令快速安装容器引擎。

curl -fsSL get.docker.com -o get-docker.sh
sh get-docker.sh

步骤2:获取Notebook基础镜像

创建Notebook时所需的自定义镜像,依赖于医疗智能体平台自研的基础镜像,您需要基于获取的基础镜像制作自定义镜像。

先连接容器镜像服务,参考步骤1.连接容器镜像服务操作,然后使用如下的镜像地址拉取基础镜像。

# 基础镜像
docker pull swr.${region}.myhuaweicloud.com/eihealth-notebook/eihealth-notebook:${image_version}
  • ${region}:需根据用户实际购买reigon填写。例如,${region}为cn-north-4。
  • ${image_version}:需根据实际版本填写。例如,${image_version}为cuda11.0-custom-v1.0.8。

在基础镜像中,为您内置了CUDA11.0环境。使用CUDA11.0环境前,需要执行以下命令导入环境变量。

export PATH=$PATH:/usr/local/nvidia/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/nvidia/lib64

步骤3:制作并上传镜像

  1. 制作镜像。
    1. 【可选】根据网络情况,配置基础镜像中的PyPi Mirror,对下载进行加速。基础镜像中的PyPi Mirror,默认配置为华为云软件开发云的PyPi mirror。您可以在容器中执行如下命令,查看PyPi Mirror。如果您想用其他PyPi Mirror,可将命令中的index-url参数修改为您需要的PyPi mirror。
      cat /root/.pip/pip.conf.product
      [global]
      index-url = http://repo.myhuaweicloud.com/repository/pypi/simple
      format = columns
      [install]
      trusted-host=repo.myhuaweicloud.com
    2. 安装所需软件。本例中使用cpu基础镜像,并安装化学分子格式转换工具Open Babel。
      # 创建并进入Dockerfile文件
      vi Dockerfile
      # 编写Dockerfile文件,安装Open Babel
      FROM swr.cn-north-4.myhuaweicloud.com/eihealth-notebook/eihealth-notebook:cuda11.0-custom-v1.0.8
      RUN sudo apt-get update
      RUN sudo apt-get install -y openbabel
      • Dockerfile中不可以指定CMD以及ENTRYPOINT,否则会覆盖基础镜像启动脚本,引起异常。
    3. 按键盘Esc键,并执行:wq保存退出Dockerfile。
    4. 执行docker build -t image:tag .命令,自动完成镜像制作。

      命令中image为镜像名称,tag为镜像标签,名称可自定义。

      详细镜像制作过程请参见制作Docker镜像Dockerfile参考

  2. 上传镜像。
    1. 上传镜像
    2. “项目管理”页面“镜像”页签中,中查看已上传的镜像。
    3. 在平台镜像管理列表中,将已上传的镜像分类为“NOTEBOOK”。

步骤4:创建并使用Notebook

  1. 在医疗智能体平台选择“项目管理 > 开发”,进入Notebook管理页面。
    图1 创建Notebook
  2. 单击“创建Notebook”,并参考如下的参数说明进行填写。
    表1 参数说明

    参数名称

    说明

    名称

    Notebook的名称。名称长度1-63,仅支持小写字母、数字、中划线(-),开始只能是小写字母,结束只能是小写字母或数字。

    描述

    Notebook的简要描述。

    镜像类型

    选择自定义镜像。

    工作环境

    选择已上传的自定义镜像。

    CPU

    设置CPU大小。

    GPU

    设置GPU大小。

    内存

    设置内存大小。

    存储路径

    单击“存储路径”右侧文件夹图标,设置用于存储Notebook数据的OBS路径。如果想直接使用已有的文件或数据,可将数据提前上传至对应的OBS路径下。

    用户在Notebook列表的所有文件读写操作是基于所选择的OBS路径下的内容操作。

  3. 参数确认无误后,单击“立即创建”,完成Notebook的创建操作。
  4. 在Notebook列表中,当“状态”由“启动中”转变为“运行中”后,单击操作列的“打开”。
    您可以直接使用该Notebook,编写和调测模型,进行开发工作。关于Jupyter Notebook的详细操作指导,请参见Jupyter Notebook使用文档
    图2 Notebook

相关文档