创建数据流时,需定义其基本信息并配置数据源表。数据流基本信息用于标识数据流并确定其执行方式,便于后续管理与调度;数据源表配置用于明确数据流的数据来源和读取范围,为输入节点及后续流转逻辑提供基础。
约束与限制
- 单个工作空间下最多支持创建10000条数据流。
- 单数据流最多支持添加10个数据源表作为输入节点。
- 同一数据流中,节点名称(包括输入节点和输出节点)需保持唯一。
前提条件
已提前准备好可用的数据连接。如尚未准备,请参见创建数据连接创建。
配置数据流基本信息与数据源表
- 登录数据智能平台。
- 在左侧导航栏选择,进入数据流页面。
- 单击数据流目录树上方的
, 右侧打开“新建数据流”页面。 如需在指定目录下新建数据流,可在目录树中找到目标目录,右键单击并在弹出的菜单中选择
“新建数据流”。如现有目录不满足需要,请参考
新建目录创建目录。
图1 新建数据流
- 填写数据流基本信息,参考表1定义数据流名称、目录、作业类型及描述等属性。
图2 填写数据流基本信息
表1 数据流基本信息 | 字段 | 说明 |
| 数据流名称 | 用于作为数据流的标识,方便检索查找。 必填,名称建议体现业务含义,且需在当前工作空间内保持唯一,仅支持英文字母、数字、中划线和下划线。 |
| 选择目录 | 用于指定数据流存放位置。 必填,未指定目录时,默认选中“数据流”根目录,单击 图标可选择其他目录。 |
| 作业类型 | 用于指定数据流的执行方式,仅支持“批处理”,表示按批次执行数据流。 |
| 描述 | 简要说明数据流的用途或处理逻辑。 非必填,长度不能超过 1024 个字符。 |
- 为数据流配置数据源及数据表,完成输入节点配置。
- 在“选择源”下方单击“添加”,打开“选择源”页面。
如果数据源列表中无数据,可直接单击“添加源”。
图3 选择数据源
- 单击数据连接选择框,在下拉弹框中选择数据库类型,然后选择该类型下对应的数据连接。
系统会根据已选数据连接自动获取该数据库下的数据表。
- 在已获取的数据表列表中,勾选目标数据表后,单击“确定”。
原始字段类型与系统类型映射关系,请参考表1。
- 如果此前添加数据源表时未达10个的上限且需继续添加,请参考5.a至5.c继续操作。
- 已选数据表将显示在数据源列表中,确认后单击“创建”,完成数据流创建与其输入节点配置。
图4 选择源列表
创建成功后,系统自动进入数据流可视化编排页面,并在画布中为每个数据源表生成对应的输入节点。
图5 输入节点