Notebook作业开发
Notebook当前为受限使用功能。如需使用该特性,请联系客服或技术支持人员。
目前仅支持华东二局点申请开放使用。
约束限制
作业最大配置为100000个。
项目目录(作业树)只能保存1Mb(含执行结果)的Notebook作业。
创建Notebook作业
- 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
- 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
- 在数据开发主界面的左侧导航栏,选择。
- 右键单击作业目录树,单击“新建Notebook”作业。
进入数据开发主界面,您也可以从下面标注的快捷入口创建Notebook作业。图1 创建Notebook作业快捷入口
- 输入“作业名称”,选择作业所属的目录,可以对作业进行描述。
作业名称不区分大小写。
作业名称只能包含:英文字母、数字、中文、中划线、下划线和点号。
- 单击“确定”,Notebook作业创建完成。进入Notebook作业开发界面,后续操作请参见下面的步骤。
开发Notebook作业
进入Notebook作业开发界面后,在Notebook作业开发页面,输入代码,并运行单元格,查看执行结果。
- 支持创建多个单元格,每个单元格可以“编辑单元格标题”。
- 每个单元格右上方会显示Python,代码类型当前都是Python开发。
- 项目目录(作业目录树)下的Notebook作业的单元格操作与Notebook环境目录下的Notebook作业操作,支持的能力相同。
- 单击右上角默认的Python引擎,可以看到已创建的计算引擎的信息,可以选择您所需要的计算引擎。一个Notebook作业当前仅支持一个计算引擎,选择计算引擎以后,该Notebook作业下的所有单元格都使用这一个计算引擎。
进行Notebook作业时,常用的功能按钮介绍如下列举。
此处列举的功能按钮是针对Notebook作业进行操作。
| 功能按钮 | 说明 |
|---|---|
| 全部运行 停止运行 | 运行全部单元格。 停止运行全部单元格。 |
| 保存 | 对Notebook作业进行保存。 在右侧的“版本”页签,可以查看保存的版本。可以进行回滚和查看,支持版本对比。 说明: 进行版本对比时,若只勾选一个版本,则比较选中的版本和开发态的内容。若勾选两个版本,则比较两个版本的内容。 |
| 提交 | 对Notebook作业进行提交版本。提交版本后,才能进行后续的作业调度。 进行提交时,系统会提示“作业未执行调度, 提交新版本后需手动单击“执行调度”,本次新提交的版本将在调度周期生效!”。 在右侧的“版本”页签,可以查看提交的版本。可以进行回滚和查看,支持版本对比。 说明: 进行版本对比时,若只勾选一个版本,则比较选中的版本和开发态的内容。若勾选两个版本,则比较两个版本的内容。 |
| 解锁 抢锁 | 如果Notebook作业被锁定时,可以进行解锁。 如果Notebook作业被其他人锁定时,可以进行抢锁。 |
| 执行调度 停止调度 | Notebook作业提交后,单击“执行调度”,本次新提交的版本将在调度周期生效。 执行调度后,可以手动停止调度。 |
| 手工调度 停止手工调度 | Notebook作业手工调度(测试运行) 停止Notebook作业手工调度(停止测试) |
| 新建单元格 | 在已有的单元格底下新建一个单元格。 |
| 清除运行结果 | 清除全部单元格的运行结果。 |
| 更多 > 重启内核 | 重启Notebook内核。 |
| 更多 > 关闭内核 | 关闭Notebook内核。 |
| 更多 > 运维监控 | 快速跳转到运维监控页面,查看作业监控信息(作业实例、作业监控、作业属性)。 单击节点名称,可以查看节点监控和节点属性信息。 单击“实例DAG”页签,查看作业依赖关系图。支持DAG视图和列表视图两种方式。 当DAG节点数过多时,可使用列表视图快速筛选与排查。 作业调度运行的详细信息,请参见批作业监控。 |
| 更多 > 导出 | 导出当前Notebook作业。 导出方式:导出到本地、导出到OBS 说明: 导出到OBS时,需要选择一个OBS路径。 导出范围:只导出作业、导出作业及其依赖脚本和资源定义。 导出状态:开发态、提交态 说明: 当选择提交态时,若待导出的作业未提交过任何版本,则跳过该作业。 |
| Python | 系统默认为Python引擎,不依赖计算资源。 单击右上角默认的Python引擎,可以看到已创建的计算引擎的信息,可以选择您所需要的计算引擎。一个Notebook作业当前仅支持一个计算引擎,选择计算引擎以后,该Notebook作业下的所有单元格使用这一个计算引擎。 |
|
| 右上角的连接颜色图标。 绿色:已连接,表示当前在线调试功能连接正常。 红色:不可用,表示当前在线调试连接已断开,功能不可用,可尝试重连内核以连接。 |
作业配置
基本信息配置,详细信息请参见配置作业基本信息。
作业参数配置,详细信息请参见配置作业参数。
如果Notebook作业要进行参数运算的话,请在Notebook作业的parameters单元格的下一个新的单元格进行参数运算,请勿在参数单元格做计算。具体示例如下所示。
作业参数是字符串形式,涉及参数运算,需要进行类型转换后,再进行运算。
依赖包,详细信息请参见依赖包。
查看作业调度
作业启动调度后,在“作业监控 > 批作业监控”页面,查看Notebook作业的调度状态,单击作业名称前面的
,可以查看最近实例的运行状态,也可以查看运行日志。
单击作业名称,可以查看作业实例、作业属性。作业参数等信息。单击节点名称,可以查看节点监控和节点监控信息。
作业调度运行的详细信息,请参见批作业监控。

