session_id 会话ID internal_query 内部查询（查询那些导致错误的信息，如果有的话） session_line_num 每个会话的行数 internal_query_pos 内部查询指针 command_tag 命令标签 context 环境 session_start_time

查看更多 →

session_id 会话ID internal_query 内部查询（查询那些导致错误的信息，如果有的话） session_line_num 每个会话的行数 internal_query_pos 内部查询指针 command_tag 命令标签 context 环境 session_start_time

查看更多 →

从OBS读取 CS V数据 概述 从OBS（ 对象存储服务 ）中读取csv格式的数据。 输入 无 输出 数据集 参数说明 参数 参数说明 obs_data_path OBS中csv数据文件或数据所在文件夹的绝对路径，例如：obs://桶名称/文件夹/数据文件，obs://桶名称/文件夹 has_header

查看更多 →

session_id 会话ID internal_query 内部查询（查询那些导致错误的信息，如果有的话） session_line_num 每个会话的行数 internal_query_pos 内部查询指针 command_tag 命令标签 context 环境 session_start_time

查看更多 →

session_id 会话ID internal_query 内部查询（查询那些导致错误的信息，如果有的话） session_line_num 每个会话的行数 internal_query_pos 内部查询指针 command_tag 命令标签 context 环境 session_start_time

查看更多 →

传入数据为NULL值，不做转换处理。 配置输入字段列数，大于原始数据实际包含字段列数，全部数据成为脏数据。 样例 通过“CSV文件输入”算子，生成三个字段A、B和C。 源文件如下： 配置“字符串空格清除转换”算子，生成三个新字段D、E和F。 转换后，依次输出这六个字段，结果如下： 父主题： 转换算子

查看更多 →

^[a-zA-Z0-9][\w_-]{1,64}$ 高级配置项 并行数： 配置项英文名：parallelism 说明： 并行数，指定算子执行时的并行任务个数。对于性能要求越高的算子，可以设置较高的并行数，但是占用资源越多。如果此参数不设置，那么作业运行时本算子使用作业的并行数设置。 类型： INTEGER 必选：

查看更多 →

<sensitive> 注意：标记为敏感项的输出变量在输出时会自动被隐藏，但其输出值仍然可以通过以下方式可见： 输出变量的值记录在 state 文件中，其值对所有能够访问state 文件的用户均可见。 子模块中敏感输出变量值被父模块调用，通过父模块的相关输出和资源引用后可以在CLI中显示。

查看更多 →

程序输出 代码片段描述 缩写 扩展内容 将表达式发送到标准输出 “print” print(my_expression) 父主题： 后缀片段

查看更多 →

输出算子 Hive输出 Spark输出 表输出 文件输出 HBase输出 ClickHouse输出 父主题： 算子帮助

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储格

查看更多 →

创建申请 用数方可以在数据目录选取需要的数据集，创建数据申请并描述需求，发送至供数方审视需求。 支持的数据源类型：CSV或者二进制的本地文件、MySQL、Hive，其中MySQL和Hive的数据集配置可参照管理数据章节。 前提条件 空间组建完成，参考组建空间。 空间成员完成计算节

查看更多 →

传入数据为NULL值，不做转换处理。 配置输入字段列数，大于原始数据实际包含字段列数，全部数据成为脏数据。 样例 通过“CSV文件输入”算子，生成三个字段A、B和C。 源文件如下： 配置“字符串空格清除转换”算子，生成三个新字段D、E和F。 转换后，依次输出这六个字段，结果如下： 父主题： Loader转换类算子

查看更多 →

位置：分隔后字段的位置。 输出字段名：分隔后的字段名。 map 是 无 数据处理规则 将输入字段的值按指定的分隔符分隔后，依次赋给配置的新字段。 配置分割后字段列数，大于原始数据实际可分割出来的字段列数，当前行成为脏数据。 样例 通过“CSV文件输入”算子，生成一个字段A。 源文件如下： 配置

查看更多 →

随机值转换 概述 “随机值转换”算子，用于配置新增值为随机数的字段。 输入与输出 输入：无 输出：随机值字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出字段名 配置生成随机值的字段名。 string 是 无 长度 配置字段长度。 map 是 无 类型

查看更多 →

配置输入字段列数，大于原始数据实际包含字段列数，全部数据成为脏数据。 样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下： abcd,product FusionInsight ,Bigdata 配置“字符串逆序转换”算子后，生成两个新字段C和D： 转换后，依次输出四个字段，结果如下：

查看更多 →

配置输入字段列数，大于原始数据实际包含字段列数，全部数据成为脏数据。 样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下： abcd,product FusionInsight,Bigdata 配置“字符串逆序转换”算子后，生成两个新字段C和D： 转换后，依次输出四个字段，结果如下：

查看更多 →

位置：分隔后字段的位置。 输出字段名：分隔后的字段名。 map 是 无 数据处理规则 将输入字段的值按指定的分隔符分隔后，依次赋给配置的新字段。 配置分割后字段列数，大于原始数据实际可分割出来的字段列数，当前行成为脏数据。 样例 通过“CSV文件输入”算子，生成一个字段A。 源文件如下： 配置

查看更多 →

C 配置抽取字段。 value 必填项。 值字段，支持四则运算和dalab平台提供的公共计算函数。 name 选填项。 别名，保存到csv文件的列名。 说明： 如果不填写，则根据value值生成对应别名。 type 字段类型，固定值为“string”。 只填需要抽取事件body里

查看更多 →

反引号 MySQL中别名、列名带反引号， GaussDB (DWS)不支持，DSC迁移改为双引号。 输入示例 1 select `name` as `mingzi` from t1; 输出示例 1 2 3 4 SELECT "name" AS "mingzi" FROM t1;

查看更多 →

随机值转换 概述 “随机值转换”算子，用于配置新增值为随机数的字段。 输入与输出 输入：无 输出：随机值字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出字段名 配置生成随机值的字段名。 string 是 无 长度 配置字段长度。 map 是 无 类型

查看更多 →