更新时间:2026-11-03 GMT+08:00
分享

发布数据流使配置正式生效

完成数据流编排后,需通过发布操作使配置正式生效并进入可调度状态。

发布数据流

  1. 登录数据智能平台。
  2. 在左侧导航栏选择“本体 > 本体集成 > 数据流”,进入数据流页面。
  3. 在目录树中找到目标数据流,双击进入数据流可视化编排页面。
  4. 检查并确保数据流中已配置输入节点和输出节点,然后在画布顶部菜单栏单击“发布”,进入数据流发布确认页面。

    图1 确认发布配置

    发布确认页面包含以下配置项:

    • 数据流配置:用于配置数据流运行属性,包括数据流描述、执行优先级、运行超时时长和异常数据过滤开关。如尚未配置,请参考为数据流配置运行属性进行配置。
    • 计算引擎:用于配置数据流执行时Spark作业的运行参数。当Spark运行参数为空或取值为0时,表示未指定该参数,系统将自动采用预设默认值。参数说明请参见表1。
      表1 Spark运行参数

      运行参数

      说明

      Driver CPU 核数(vCPU)

      指定Driver可用的CPU核数。取值范围为0~32,支持不配置(为空)。

      Driver 内存(GB)

      指定Driver可用内存大小。

      取值范围为0~32,支持不配置(为空)。

      Executor 个数(个)

      指定Executor实例数量。

      取值范围为0~500,支持不配置(为空)。

      Executor CPU 核数(vCPU)

      指定单个Executor的CPU核数。

      取值范围为0~64,支持不配置(为空)。

      Executor 内存(GB)

      指定单个Executor的内存大小。

      取值范围为0~256,支持不配置(为空)。

    • 调度配置:用于定义数据流的触发方式与执行规则,支持单次调度和周期调度。如尚未配置,请参考为数据流配置调度执行规则进行配置。

  5. 确认发布配置信息后,单击“确定”。
  6. 查看版本发布记录。

    发布成功后,可在画布右侧配置面板单击“版本”,展开版本发布记录,支持通过操作列的“查看详情”链接查看目标版本详情。

    详细操作请参见 查看版本记录及详情。

相关文档