更新时间:2025-11-20 GMT+08:00

创建Notebook实例(新版页面)

为了提升创建Notebook实例的效率,ModelArts对创建页面进行了一系列的易用性改进。现推出新版页面,旨在简化操作流程并增强界面的直观性。

在开始进行模型开发前,您需要创建Notebook实例,并打开Notebook进行编码。

创建Notebook实例有以下两种方式:

约束限制

  • 在创建Notebook时,默认会开启自动停止功能,在指定时间内停止运行Notebook,避免资源浪费。
  • 只有处于“运行中”状态的Notebook,才可以执行打开、停止操作。
  • 一个账户最多创建10个Notebook。
  • Snt9B23资源池或D310P-300资源池单卡的实例规格不支持创建挂载EVS(“存储配置”选择“云硬盘EVS”)的Notebook实例。
  • Notebook不支持开放端口对外提供服务。

计费说明

Notebook使用涉及到计费,具体收费项如下:
  • 处于“运行中”状态的Notebook,会消耗资源,产生费用。根据您选择的资源不同,收费标准不同,价格详情请参见产品价格详情。当您不需要使用Notebook时,建议停止Notebook,避免产生不必要的费用。
  • 创建Notebook时,如果选择使用云硬盘EVS存储配置,实例不删除,云硬盘EVS会一直收费,建议及时停止并删除Notebook,避免产品不必要的费用。更多信息,请参见开发环境计费项

创建Notebook实例

  1. 登录ModelArts管理控制台,在左侧导航栏中选择“权限管理”,检查是否配置了访问授权。如果未配置,请先配置访问授权。参考使用委托授权完成操作
    图1 查看委托配置信息
  2. 登录ModelArts管理控制台,在左侧导航栏中选择“开发空间 > Notebook”,进入“Notebook”页面。
  3. 单击右上角“创建”,进入“创建Notebook”页面,参照如下参数说明配置相关信息。
    表1 创建Notebook参数说明

    参数名称

    说明

    基础信息

    名称

    Notebook的名称。系统会自动生成一个名称,您可以根据业务需求重新命名,命名规则:只能包含数字、大小写字母、下划线和中划线,长度不能超过128位且不能为空。

    添加描述

    单击“添加描述”,可以对Notebook进行自定义描述,长度不能超过512位。

    标签

    如果您需要使用同一标签标识多种云资源,即所有服务均可在标签输入框下拉选择同一标签,建议在TMS中创建预定义标签,具体操作,请参见创建预定义标签

    单击“添加标签”,输入标签的键和值。最多可添加20个标签。

    添加标签后,可在Notebook实例详情页查看标签内容,也可进行修改、删除标签。

    说明:

    可以在标签输入框下拉选择TMS预定义标签,也可以自己输入自定义标签。预定义标签对所有支持标签功能的服务资源可见。租户自定义标签只对自己服务可见。

    自动停止

    默认开启,当Notebook实例运行时开始计时,运行时间超出您预设的时长时,将自动停止运行Notebook实例。

    “停止方式”支持“定时停止”。开启定时停止功能后,该Notebook实例将在运行时长超出您所选择的时长后,自动停止。支持选择“1小时”“2小时”“4小时”“6小时”“自定义”几种模式。选择“自定义”模式时,可指定1~72小时范围内任意整数。
    注意:

    出于对用户任务进度的保护,在您设置的自动停止时间到达后,Notebook不会立即自动停止,可能会有2-5分钟的延迟,方便您进行续约。

    环境配置

    镜像

    单击图标,按需选择预置镜像或自定义镜像。

    • 预置镜像:即预置在ModelArts内部的AI引擎。
    • 自定义镜像:用户创建的自定义镜像。您可以任选以下方式制作自定义镜像。
      • 将基于预置镜像创建的实例保存下来,作为自定义镜像使用,请参考保存Notebook实例
      • 基于公共镜像或第三方镜像制作自定义镜像。制作自定义镜像需要遵循镜像规范,构建完成后需要在ModelArts“镜像管理”页面注册,才能在Notebook中使用,详情请参考Notebook的自定义镜像制作方法

    一个镜像对应支持一种AI引擎,创建Notebook实例时选择好了对应AI引擎的镜像。用户可以根据需要选择镜像。在右侧搜索框中输入镜像名称关键字,可快速查找镜像。

    Notebook运行停止后,可以在同一个Notebook实例中变更镜像。

    资源配置

    资源池类型

    支持公共资源池和专属资源池。专属资源池支持CPU、NPU和GPU异构资源池混布能力,例如当节点规格支持GPU和CPU时,“实例规格”可以选择GPU或CPU。

    “公共资源池”:无需单独购买,即开即用,按需付费,即按您的Notebook实例运行时长进行收费。

    “专属资源池”:在“资源池”区域,单击“选择资源池”,在“选择专属资源池”页面按实际情况选择物理资源池或逻辑子池,单击“确定”。如果没有专属资源,需要单独购买并创建。具体操作,请参见创建Standard专属资源池

    说明:

    如果您购买的专属池是单节点的Tnt004规格:GPU: 1*tnt004 | CPU: 8 核 32GiB (modelarts.vm.gpu._tnt004u8),使用该集群创建Notebook实例时,Tnt004卡空闲但是规格显示售罄或者创建失败显示资源不足时,请联系技术支撑。

    实例规格

    根据选择的芯片类型(CPU、GPU)不同,可选资源规格也不同。请根据界面实际情况和需要选择。

    • CPU规格示例如下,请以实际环境为准。

      “2核 8GB”:Intel CPU通用规格,用于快速数据探索和实验。

      “8核 32GB”:Intel CPU算力增强型,适用于密集计算场景下运算。

    • GPU规格示例如下,请以实际环境为准。

      “GPU: 1*Vnt1(32GB)|CPU: 8 核 64GB”:GPU单卡规格,32GB显存,适合深度学习场景下的算法训练和调测。

      “GPU: 1*Tnt004(16GB)|CPU: 8核* 32GB”: GPU单卡规格,16GB显存,推理计算最佳选择,覆盖场景包括计算机视觉、视频处理、NLP等。

      “GPU: 1*Pnt1(16GB)|CPU: 8核 64GB”:GPU单卡规格,16GB显存,适合深度学习场景下的算法训练和调测

    存储配置

    存储类型

    包括“”“云硬盘 EVS”“并行文件系统 PFS”“对象存储服务 OBS”“弹性文件服务 SFS”。请根据界面实际情况和需要选择。关于存储类型的介绍,请参见Notebook选择存储说明

    说明:

    “对象存储服务 OBS”“并行文件系统 PFS”是白名单功能,如果有试用需求,请提工单申请权限。

    • 选择“云硬盘 EVS”作为存储位置。

      根据实际使用量设置磁盘规格。磁盘规格默认5GB。磁盘规格的最大值请以实际界面显示为准。

      从Notebook实例创建成功开始,直至实例删除成功,磁盘每GB按照规定费用收费。

    • 选择“弹性文件服务 SFS”作为存储位置。仅专属资源池支持,并需要在专属资源池对应的网络打通VPC才能生效,具体操作请参见ModelArts网络
      说明:

      如果需要设置SFS Turbo的文件夹权限,请参考权限管理文档配置。

      • “弹性文件服务”:选择已创建的SFS Turbo(在弹性文件服务控制台创建SFS Turbo)。
      • “云上挂载路径”:默认为/home/ma-user/work/。
      • “子目录挂载”:选择SFS Turbo的存储位置。
      • “挂载方式”:当用户配置了文件夹控制权限,则显示此参数。根据SFS Turbo存储位置的权限显示“读写”“只读”
    • 选择“对象存储服务 OBS”“并行文件系统 PFS”作为存储位置。

      “存储位置”下方单击图标,在“存储配置”对话框,选择用于存储Notebook数据的OBS路径,单击“确定”。如果想直接使用已有的文件或数据,可将数据提前上传至对应的OBS路径下。“存储位置”不能设置为OBS桶的根目录,需设置为对应OBS桶下的具体目录。

    “云硬盘 EVS”“弹性文件服务 SFS”的存储路径挂载在/home/ma-user/work目录下。

    Notebook实例运行中,可以通过动态挂载OBS并行文件系统操作来增加数据存储路径。

    停止或重启Notebook实例时,存储的内容会被保留,不丢失。

    删除Notebook实例时,EVS存储会一起释放,存储的内容不保留。SFS可以重新挂载到新的Notebook,可以保留数据。

    扩展存储

    “扩展存储”功能是白名单功能,如果有试用需求,请提工单申请权限。

    • 子目录挂载:单击图标,在“存储配置”对话框,按需选择目录,单击“确定”
    • 云上挂载路径:按需输入挂载路径。

    如果有多个数据存储路径,可以按需单击“添加扩展存储PFS配置”“添加扩展存储OBS配置”“添加扩展存储SFS配置”,增加指定的存储挂载目录。

    约束限制:

    • 每种存储类型最多支持挂载5个。
    • 扩展存储挂载目录不允许重复,不允许挂载到黑名单目录,允许嵌套挂载。不允许挂载的黑名单目录为以下前缀匹配的目录:

      /data/、/cache/、/dev/、/etc/、/bin/、/lib/、/sbin/、/modelarts/、/train-worker1-log/、/var/、/resource_info/、/usr/、/sys/、/run/、/tmp/、/infer/、/opt/

    添加扩展存储后,可进入Notebook实例详情页,单击“存储配置 > 扩展存储”,查看或编辑扩展存储信息。在存储个数未达到最大个数时,也可以单击“添加扩展存储”

    认证信息

    凭据

    “存储类型”选择“对象存储服务OBS”“并行文件系统PFS”时,需要设置此参数。

    选择已有的凭据或单击右侧的“创建凭据”,跳转至数据加密控制台创建凭据,凭据键/值填写用户的AK、SK信息

    更多配置

    SSH远程开发

    开启此功能后,用户可以在本地开发环境中远程接入Notebook实例的开发环境。

    实例在停止状态时,用户可以在Notebook详情页中更新SSH的配置信息。

    开启此功能的实例中会预置VS Code插件(python、jupyter等)以及VS Code Server包,会占用约1G左右的持久化存储空间。

    密钥对

    开启“SSH远程开发”功能后,需要设置此参数。

    您可以选择已有密钥对,也可以单击密钥对右侧的“创建密钥对”,跳转到数据加密控制台,在密钥对管理 > 账号密钥对页面,单击“创建密钥对”

    创建完Notebook后,可以在Notebook详情页中修改密钥对。

    注意:

    创建好的密钥对,请下载并妥善保存,使用本地IDE远程连接云上Notebook开发环境时,需要用到密钥对进行鉴权认证。

    远程访问白名单

    可选,开启“SSH远程开发”功能后,可以设置此参数。

    设置为允许远程接入访问这个Notebook的IP地址(例如本地PC的IP地址或者访问机器的外网IP地址,最多配置5个,用英文逗号隔开),不设置则表示无接入IP地址限制。

    如果用户使用的访问机器和ModelArts服务的网络有隔离,则访问机器的外网地址需要在主流搜索引擎中搜索“IP地址查询”获取,而不是使用ipconfigifconfig/ip命令在本地查询。

    图2 查询外网IP地址

    创建完Notebook后,可以在Notebook详情页中修改白名单IP地址。

    配置网络

    开启后,可配置VPC相关信息使该Notebook实例接入网络。配置网络是白名单功能,如果有试用需求,请提工单申请权限。

    开启此功能后,实例能够挂载在用户的VPC下,实现多网络平面接入。

    使用此功能前,您需要参考权限管理配置VPC细粒度访问授权。如果您有“VPC Administrator”权限,则无需配置。

    • 虚拟私有云:从下拉菜单中选择已有的VPC,或根据需求单击“新建虚拟私有云”,在“创建虚拟私有云”面板配置相关信息,单击“确定”,在下拉菜单中选择新建的VPC。
    • 子网:选择VPC后此处会显示默认的子网。您也可以从下拉菜单中选择已有的子网,或根据需求单击“新建子网”,在“新建子网”面板配置相关信息,单击“确定”,在下拉菜单中选择新建的子网。
    • 安全组:选择已有的安全组,或单击“新建安全组”,在“使用预设规则创建安全组”面板配置相关信息,单击“确定”,在下拉菜单中选择新建的安全组。
  4. 参数填写完成后,页面右侧会显示配置概要信息,页面下方会显示配置费用,请确认无误后,单击“立即创建”

    实际扣费请以账单为准。进入Notebook列表,正在创建中的Notebook状态为“创建中”,创建过程需要几分钟,请耐心等待。当Notebook状态变为“运行中”时,表示Notebook已创建并启动完成。

  5. 在Notebook列表,单击实例名称,进入实例详情页,查看Notebook实例配置信息。

    “SSH远程开发”功能开启时,在“白名单”右侧单击修改,可以修改允许远程访问的白名单IP地址。实例在停止状态时,在“认证”右侧单击修改,用户可以更新密钥对。

    单击“存储配置”页签的“添加数据存储”,可以挂载OBS并行文件系统,方便读取数据,具体操作参见动态挂载OBS并行文件系统

    如果存储使用的是云硬盘EVS,单击存储容量右侧的“扩容”,可以动态扩充云硬盘EVS的容量,具体操作参见动态扩充云硬盘EVS容量

打开Notebook实例

针对创建好的Notebook实例(即状态为“运行中”的实例),可以打开Notebook并在开发环境中启动编码。

ModelArts提供的Notebook实例默认是以ma-user启动。用户进入实例后,工作目录默认是/home/ma-user/work。

图3 工作目录示例

专属池的部分Notebook实例以root用户身份启动。具体说明如下:

  • 当以root用户身份登录终端时,系统会自动执行source /home/ma-user/.bashrc命令,以同步ma-user用户的环境变量。如果需要禁用此功能,可以通过在自定义镜像中设置环境变量export DISABLE_MA_USER_BASHRC=true,即可阻止加载/home/ma-user/.bashrc文件。
  • 以root用户启动的实例,仅支持使用root用户进行SSH远程连接。
    图4 使用root用户进行SSH远程连接

Notebook容器挂载目录说明

创建Notebook实例,存储选择EVS时,Notebook会使用/home/ma-user/work目录作为用户的工作空间持久化存储。

存放在work目录的内容,在实例停止、重新启动后依然保留,其他目录下的内容不会保留,使用开发环境时建议将需要持久化的数据放在/home/ma-user/work目录。

更多Notebook实例的目录挂载情况(以下挂载点在保存镜像的时候不会保存)如表2所示。

表2 Notebook挂载目录说明

挂载点

是否只读

备注

/home/ma-user/work/

客户数据的持久化目录。

/data

客户PFS的挂载目录。

/cache

裸机规格时支持,用于挂载宿主机NVMe的硬盘。

/train-worker1-log

兼容训练作业调试过程。

/dev/shm

用于PyTorch引擎加速。

Notebook选择存储说明

不同存储的实现方式都不同,在性能、易用性、成本的权衡中可以有不同的选择,没有一个存储可以覆盖所有场景,了解下云上开发环境中各种存储使用场景说明,更能提高使用效率。

表3 云上开发环境中各种存储使用场景说明

存储类型

建议使用场景

优点

缺点

云硬盘EVS

比较适合只在开发环境中做数据、算法探索,性能较好。

块存储SSD,可以理解为一个磁盘,整体IO性能比NFS要好,可以动态扩充,最大可以到4096GB。

云硬盘EVS作为持久化存储挂载在/home/ma-user/work目录下,该目录下的内容在实例停止后会被保留,存储支持在线按需扩容。

只能在单个开发环境中使用 。

并行文件系统PFS

说明:
  • 并行文件系统PFS为白名单功能,如需使用,请联系华为技术支持开通。
  • 仅支持挂载同一区域下的OBS并行文件系统(PFS)。

适合直接使用PFS桶作为持久化存储进行AI开发和探索,使用场景如下。

  1. 数据集的存储。将存储在PFS桶的数据集直接挂载到Notebook进行浏览和数据处理,在训练时直接使用。直接在创建Notebook的时候选择并行文件系统PFS。

    或在实例运行后,将承载数据集的OBS并行文件系统动态挂载至Notebook中,详细操作请参考动态挂载OBS并行文件系统

  2. 代码的存储。在Notebook调测完成,可以直接指定对应的对象存储路径作为启动训练的代码路径,方便临时修改。
  3. 训练观测。可以将训练日志等输出路径进行挂载,在Notebook中实时查看和观测,特别是利用TensorBoard可视化功能完成对训练输出的分析。

PFS是一种经过优化的高性能对象存储文件系统,存储成本低,吞吐量大,能够快速处理高性能计算(HPC)工作负载。在需要使用对象存储服务场景下,推荐使用PFS挂载。

说明:

建议上传时按照128MB或者64MB打包或者切分,使用时边下载边解压后在本地存储读取,以获取更好的读写与吞吐性能。

小文件频繁读写性能较差,例如直接作为存储用于模型重型训练,大文件解压等场景慎用。

说明:

PFS挂载需要用户对当前桶授权给ModelArts完整读写权限,Notebook删除后,此权限策略不会被删除。

对象存储服务OBS

说明:
  • OBS对象存储为白名单功能,如需使用,请联系华为技术支持开通。
  • 仅支持挂载同一区域下的OBS对象存储。

在开发环境中做大规模的数据上传下载时,可以通过OBS桶做中转。

存储成本低,吞吐量大,但是小文件读写较弱。建议上传时按照128MB或者64MB打包或者切分,使用时边下载边解压后在本地读取。

对象存储语义,和Posix语义有区别,需要进一步理解。

弹性文件服务SFS

目前只支持在专属资源池中使用;针对探索、实验等非正式生产场景,建议使用这种。开发环境和训练环境可以同时挂载一块SFS存储,省去了每次训练作业下载数据的要求,一般来说重IO读写模型,超过32卡的大规模训练不适合。

实现为NFS,可以在多个开发环境、开发环境和训练之间共享,如果不需要重型分布式训练作业,特别是启动训练作业时,不需要额外再对数据进行下载,这种存储便利性可以作为首选。

性能比EVS云硬盘块存储低。

OceanStor Pacific存储(SFS容量型2.0)

目前只支持在天工资源池中使用。

适合直接使用SFS容量型2.0提供的文件系统作为训练作业所需的存储进行AI模型的训练和探索。同时提供OBS接口,支持从云外导入训练数据。

提供高性能文件客户端,满足重型训练作业中对存储高带宽诉求,同时提供OBS访问功能,同一份训练数据通过OBS接口导入到存储之后不需要再进相关转化,即可支持模型训练。

提供对象存储语义,和Posix语义有区别,需要进一步理解。

本地存储

重型训练作业首选

运行所在虚拟机或者裸金属机器上自带的SSD高性能存储,文件读写的吞吐量大,建议对于重型训练作业先将数据准备到对应目录再启动训练。

默认在容器/cache目录下进行挂载,/cache目录可用空间请参考开发环境中不同Notebook规格资源“/cache”目录的大小

存储生命周期和容器生命周期绑定,每次训练都要下载数据。

常见问题

  1. 在开发环境中如何使用云硬盘EVS块存储?

    例如,在创建Notebook实例时选择云硬盘EVS存储小容量,Notebook运行过程中如果发现存储容量不够,可以扩容,请参考动态扩充云硬盘EVS容量

  2. 在开发环境中如何使用OBS并行文件系统?

    例如,在Notebook中训练时,可直接使用挂载至Notebook容器中的数据集,在运行过程中可以动态挂载OBS并行文件系统

  3. 使用JupyterLab 4.3.1版本时启动出现问题,如何切换回JupyterLab 3.2.3版本?

    在Notebook实例列表的“操作”列,单击目标实例对应的“启动”,在弹出的对话框中,选择JupyterLab 3.2.3版本,单击“确定”后即可启动JupyterLab 3.2.3版本。

  4. 可以在一个项目中同时使用JupyterLab 3.2.3和4.3.1版本吗?
    不建议在同一个项目中同时使用两个版本。每个JupyterLab实例独立运行,因此需要为每个版本分别创建实例。如果您希望尝试不同版本,可以在不同的容器或环境中分别启动它们,但请注意以下几点:
    • 不同版本的配置文件和数据路径可能不同,需确保数据和配置的独立性。
    • 同时运行多个版本可能会导致端口冲突或其他资源竞争问题。
  5. Notebook是否支持使用gdb工具?

    Notebook目前不支持gdb工具的使用。gdb工具的运行依赖开启特权容器(privileged container)的Docker,而开发环境的容器出于安全考虑,无法开启特权容器,因此不支持在Notebook中使用gdb工具。