Notebook使用说明
在软件开发领域,随着技术的发展,降低开发者成本和提升开发体验一直是追求的目标。然而,在AI开发阶段,开发者们面临着工具链复杂、资源管理困难等挑战,这与传统软件开发形成了鲜明对比。如何解决这些问题,提升AI开发的效率和体验?ModelArts提供灵活开放的开发环境,通过云原生的资源使用和开发工具链的集成,旨在为不同类型AI开发、探索、教学用户提供更好的云化AI开发体验,降低开发门槛。
Notebook主要用于代码开发与业务调测,不支持长时间稳定运行,不得用于生产类业务。
控制台导航栏说明
为了提升创建Notebook的效率,ModelArts对导航栏进行了一系列的易用性改进。现推出新版导航栏入口样式,旨在简化操作流程并增强界面的直观性。
- 本文档中的“新版”:是指“西南-贵阳一”区域的默认控制台界面,部分新版功能需要切换至该区域查看使用,对应的文档适用于此区域新版控制台。
- 本文档中的“旧版”:是指除“西南-贵阳一”区域外的其他区域默认控制台界面(“西南-贵阳一”区域也可切回旧版)。
Notebook导航栏入口:
- 新版:选择,进入“Notebook”页面。 图1 新版入口
- 旧版:选择,进入“Notebook”页面。 图2 旧版入口
Notebook入门案例
ModelArts新版控制台提供了很多Notebook的入门案例,您可以登录ModelArts新版控制台,在左侧导航栏选择“快速入门”,在“开发实践”页签单击案例卡片,了解案例详细说明,也可以在案例卡片中单击“开发”,快速实现对应的功能。
使用Notebook
创建Notebook
ModelArts提供了云化版本的Notebook,无需关注安装配置,即开即用,具体参见创建Notebook实例(新版页面)。
打开Notebook
- JupyterLab:支持通过JupyterLab工具在线打开Notebook,具体请参见通过JupyterLab在线使用Notebook实例。 图4 使用JupyterLab在线开发调试代码
- 本地IDE:支持本地IDE的方式开发模型,通过开启SSH连接,用户本地IDE可以远程连接到ModelArts的Notebook开发环境中,调试和运行代码。本地IDE方式不影响用户的编码习惯,并且可以方便快捷地使用云上的Notebook开发环境。
本地IDE当前支持VS Code、PyCharm、SSH工具。PyCharm和VS Code还分别有专门的插件PyCharm Toolkit、VS Code Toolkit,让远程连接操作更便捷。具体参见通过PyCharm远程使用Notebook实例、通过VS Code远程使用Notebook实例、通过SSH工具远程使用Notebook。
图5 本地IDE远程访问Notebook
管理Notebook
在Notebook的使用中,可以快速查找实例,可以在同一个Notebook实例中切换镜像,方便用户灵活调整实例的AI引擎;可以切换节点运行规格,方便用户灵活调整规格资源;可以初期存储使用量较小时选择小存储,可以在创建完成后根据需要扩充EVS容量;使用动态挂载OBS将OBS对象存储模拟成本地文件系统;还可以在Notebook异常时查看实例的事件定位等。
| 操作 | 说明 | 相关文档 |
|---|---|---|
| 查找Notebook实例 | Notebook页面展示了所有创建的实例。如果需要查找特定的实例,可根据筛选条件快速查找。 | |
| 接入环境 | 针对创建好的Notebook实例(即状态为“运行中”的实例),可以打开Notebook并在开发环境中启动编码。 | |
| 保存镜像 | 通过预置镜像创建Notebook实例,在基础镜像上安装对应的自定义软件和依赖,将运行的实例环境以容器镜像的方式保存下来。 | |
| 停止/启动/删除Notebook实例 | 由于运行中的Notebook将一直耗费资源,您可以通过停止操作,停止资源消耗。对于停止状态的Notebook,可通过启动操作重新使用Notebook。 针对不再使用的Notebook实例,可以删除以释放资源。Notebook删除后不可恢复,请谨慎操作。实例删除后,挂载目录下的数据也将一并删除,请谨慎操作。 | |
| 设置自动停止 | 开启后,可设置Notebook实例自动停止方式及对应时长,超出您预设的时长,将自动停止运行 (可能存在2-5分钟的延迟,此过程正常计费)。 | |
| 变更镜像 | ModelArts允许用户在同一个Notebook实例中切换镜像,方便用户灵活调整实例的AI引擎。Notebook实例状态需在“停止”中才可以变更镜像。 | |
| 变更实例规格 | ModelArts允许用户在同一个Notebook实例中切换节点运行规格,方便用户灵活调整规格资源。只有处于“停止”、“运行中”和“启动失败”的Notebook实例才能变更规格。 | |
| 节点亲和性调度 | 通过节点亲和性,可以确保Pod被调度到满足特定条件的节点上,从而实现更细粒度的资源管理和优化。仅允许停止或启动失败状态且“资源池类型”为“专属资源池”的Notebook实例开启、修改或关闭节点亲和性调度。 | |
| SSH远程开发 | ModelArts允许用户在Notebook实例中更改SSH配置信息,Notebook实例状态需在“停止”时才可以修改。“远程SSH开发”开关打开后不可关闭。 | |
| 编辑标签 | 标签可用于标识、分类、搜索和管理Notebook实例。 | |
| 动态扩充云硬盘EVS容量 | 在Notebook开发过程中,初期存储使用量较小时, 创建Notebook可以选择小容量EVS, 例如5G大小; 开发完成后,需要大规模数据集训练,此时再将存储容量扩容至当前阶段所需容量,可以节约成本。 | |
| 动态挂载OBS并行文件系统 | 在ModelArts运行态的Notebook容器中,采用动态挂载特性,将OBS对象存储模拟成本地文件系统。 | |
| 查看Notebook实例事件 | 在Notebook的整个生命周期,包括实例的创建、启动、停止、规格变更等关键操作以及实例的运行状态等在后台都有记录,用户可以在Notebook实例详情页中查看具体的事件,通过实例的事件,从而看到实例的运行或者异常等状态详情。 | |
| Notebook Cache盘告警上报 | 创建Notebook时,可以根据业务数据量的大小选择CPU、GPU或者Ascend资源,对GPU或Ascend类型的资源,ModelArts会挂载硬盘至“/cache”目录,用户可以使用此目录来储存临时文件。 当前开发环境的Cache盘使用时,没有容量告警,在使用时很容易超过限制,并直接重启Notebook实例。重启后多种配置重置,会导致用户数据丢弃,环境丢失,造成很不好的使用体验。因此需要提供cache盘使用情况的监控和告警,并将数据上报至AOM平台。 | |
| 升级JupyterLab版本 | JupyterLab 3版本将于2026年4月正式下线,建议您使用JupyterLab 4版本。JupyterLab 4版本在用户体验、功能完善和性能提升方面均有显著改进。 |
上传文件至Notebook
- 将本地文件上传,请参考支持上传本地文件。
- GitHub的开源仓库的文件上传,请参考支持Clone GitHub开源仓库。
- 存放在OBS中的文件上传,请参考支持上传OBS文件。
- 类似开源数据集这样的远端文件上传,请参考支持上传远端文件。
CodeLab
ModelArts提供了CodeLab功能,一方面,一键进入开发环境,同时预置了免费的算力规格,可直接免费体验Notebook功能;另一方面,针对AI Gallery社区发布的Notebook样例(.ipynb格式文件),可直接在CodeLab中打开,查看他人分享的样例代码,具体请参见使用CodeLab免费体验Notebook。
ModelArts CLI
ModelArts CLI集成在ModelArts开发环境Notebook中,用于连接ModelArts服务并在ModelArts资源上执行管理命令。ma-cli支持用户在ModelArts Notebook及线下虚拟机中与云端服务交互,使用ma-cli命令可以实现命令自动补全、鉴权、镜像构建、提交ModelArts训练作业、提交DLI Spark作业、OBS数据复制等,具体参见ModelArts CLI命令参考。
MoXing
ModelArts Notebook内置MoXing Framework模块,ModelArts mox.file提供了一套更为方便地访问OBS的API,允许用户通过一系列模仿操作本地文件系统的API来操作OBS文件。具体参见在Notebook中使用MoXing命令。