更新时间:2026-11-03 GMT+08:00
发布数据流使配置正式生效
完成数据流编排后,需通过发布操作使配置正式生效并进入可调度状态。
发布数据流
- 登录数据智能平台。
- 在左侧导航栏选择,进入数据流页面。
- 在目录树中找到目标数据流,双击进入数据流可视化编排页面。
- 检查并确保数据流中已配置输入节点和输出节点,然后在画布顶部菜单栏单击“发布”,进入数据流发布确认页面。 图1 确认发布配置
发布确认页面包含以下配置项:
- 数据流配置:用于配置数据流运行属性,包括数据流描述、执行优先级、运行超时时长和异常数据过滤开关。如尚未配置,请参考为数据流配置运行属性进行配置。
- 计算引擎:用于配置数据流执行时Spark作业的运行参数。当Spark运行参数为空或取值为0时,表示未指定该参数,系统将自动采用预设默认值。参数说明请参见表1。
表1 Spark运行参数 运行参数
说明
Driver CPU 核数(vCPU)
指定Driver可用的CPU核数。取值范围为0~32,支持不配置(为空)。
Driver 内存(GB)
指定Driver可用内存大小。
取值范围为0~32,支持不配置(为空)。
Executor 个数(个)
指定Executor实例数量。
取值范围为0~500,支持不配置(为空)。
Executor CPU 核数(vCPU)
指定单个Executor的CPU核数。
取值范围为0~64,支持不配置(为空)。
Executor 内存(GB)
指定单个Executor的内存大小。
取值范围为0~256,支持不配置(为空)。
- 调度配置:用于定义数据流的触发方式与执行规则,支持单次调度和周期调度。如尚未配置,请参考为数据流配置调度执行规则进行配置。
- 确认发布配置信息后,单击“确定”。
- 查看版本发布记录。
发布成功后,可在画布右侧配置面板单击“版本”,展开版本发布记录,支持通过操作列的“查看详情”链接查看目标版本详情。
详细操作请参见 查看版本记录及详情。