更新时间:2026-05-15 GMT+08:00
分享

Notebook作业开发

Notebook当前为受限使用功能。如需使用该特性,请联系客服或技术支持人员

目前仅支持华东二局点申请开放使用。

约束限制

作业最大配置为100000个。

项目目录(作业树)只能保存1Mb(含执行结果)的Notebook作业。

创建Notebook作业

  1. 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
  2. DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
  3. 在数据开发主界面的左侧导航栏,选择数据开发 > 作业开发
  4. 右键单击作业目录树,单击“新建Notebook”作业。
    进入数据开发主界面,您也可以从下面标注的快捷入口创建Notebook作业。
    图1 创建Notebook作业快捷入口
  5. 输入“作业名称”,选择作业所属的目录,可以对作业进行描述。

    作业名称不区分大小写。

    作业名称只能包含:英文字母、数字、中文、中划线、下划线和点号。

  6. 单击“确定”,Notebook作业创建完成。进入Notebook作业开发界面,后续操作请参见下面的步骤。

开发Notebook作业

进入Notebook作业开发界面后,在Notebook作业开发页面,输入代码,并运行单元格,查看执行结果。

图2 开发Notebook作业
  • 支持创建多个单元格,每个单元格可以“编辑单元格标题”。
  • 每个单元格右上方会显示Python,代码类型当前都是Python开发。
  • 项目目录(作业目录树)下的Notebook作业的单元格操作与Notebook环境目录下的Notebook作业操作,支持的能力相同。
  • 单击右上角默认的Python引擎,可以看到已创建的计算引擎的信息,可以选择您所需要的计算引擎。一个Notebook作业当前仅支持一个计算引擎,选择计算引擎以后,该Notebook作业下的所有单元格都使用这一个计算引擎。

进行Notebook作业时,常用的功能按钮介绍如下列举。

此处列举的功能按钮是针对Notebook作业进行操作。

图3 常用功能按钮介绍
表1 常用功能介绍

功能按钮

说明

全部运行

停止运行

运行全部单元格。

停止运行全部单元格。

保存

对Notebook作业进行保存。

在右侧的“版本”页签,可以查看保存的版本。可以进行回滚和查看,支持版本对比。

说明:

进行版本对比时,若只勾选一个版本,则比较选中的版本和开发态的内容。若勾选两个版本,则比较两个版本的内容。

提交

对Notebook作业进行提交版本。提交版本后,才能进行后续的作业调度。

进行提交时,系统会提示“作业未执行调度, 提交新版本后需手动单击“执行调度”,本次新提交的版本将在调度周期生效!”。

在右侧的“版本”页签,可以查看提交的版本。可以进行回滚和查看,支持版本对比。

说明:

进行版本对比时,若只勾选一个版本,则比较选中的版本和开发态的内容。若勾选两个版本,则比较两个版本的内容。

解锁

抢锁

如果Notebook作业被锁定时,可以进行解锁。

如果Notebook作业被其他人锁定时,可以进行抢锁。

执行调度

停止调度

Notebook作业提交后,单击“执行调度”,本次新提交的版本将在调度周期生效。

执行调度后,可以手动停止调度。

手工调度

停止手工调度

Notebook作业手工调度(测试运行)

停止Notebook作业手工调度(停止测试)

新建单元格

在已有的单元格底下新建一个单元格。

清除运行结果

清除全部单元格的运行结果。

更多 > 重启内核

重启Notebook内核。

更多 > 关闭内核

关闭Notebook内核。

更多 > 运维监控

快速跳转到运维监控页面,查看作业监控信息(作业实例、作业监控、作业属性)。

单击节点名称,可以查看节点监控和节点属性信息。

单击“实例DAG”页签,查看作业依赖关系图。支持DAG视图和列表视图两种方式。

当DAG节点数过多时,可使用列表视图快速筛选与排查。

作业调度运行的详细信息,请参见批作业监控

更多 > 导出

导出当前Notebook作业。

导出方式:导出到本地、导出到OBS

说明:

导出到OBS时,需要选择一个OBS路径。

导出范围:只导出作业、导出作业及其依赖脚本和资源定义。

导出状态:开发态、提交态

说明:

当选择提交态时,若待导出的作业未提交过任何版本,则跳过该作业。

Python

系统默认为Python引擎,不依赖计算资源。

单击右上角默认的Python引擎,可以看到已创建的计算引擎的信息,可以选择您所需要的计算引擎。一个Notebook作业当前仅支持一个计算引擎,选择计算引擎以后,该Notebook作业下的所有单元格使用这一个计算引擎。

右上角的连接颜色图标。

绿色:已连接,表示当前在线调试功能连接正常。

红色:不可用,表示当前在线调试连接已断开,功能不可用,可尝试重连内核以连接。

作业配置

基本信息配置,详细信息请参见配置作业基本信息

作业参数配置,详细信息请参见配置作业参数

如果Notebook作业要进行参数运算的话,请在Notebook作业的parameters单元格的下一个新的单元格进行参数运算,请勿在参数单元格做计算。具体示例如下所示。

图4 作业参数运算示例一
图5 作业参数运算示例二

作业参数是字符串形式,涉及参数运算,需要进行类型转换后,再进行运算

例如:参数配置为test,实际要进行test + 5这样的运算,需要进行类型转换,具体示例如下所示。
图6 作业参数类型转换运算

依赖包,详细信息请参见依赖包

调度配置

在右侧的“调度配置”页签,进行Notebook作业的调度配置。

调度配置的详细信息,请参见调度作业

提交版本

作业保存后,需要提交版本后,再执行调度。

提交版本的详细信息,请参见提交版本

查看作业调度

作业启动调度后,在“作业监控 > 批作业监控”页面,查看Notebook作业的调度状态,单击作业名称前面的,可以查看最近实例的运行状态,也可以查看运行日志。

单击作业名称,可以查看作业实例、作业属性。作业参数等信息。单击节点名称,可以查看节点监控和节点监控信息。

作业调度运行的详细信息,请参见批作业监控

相关文档