max_record_num_per_file 否 文件最大记录数，当编码格式为csv（append为false）、json（append为false）、orc、avro、avro_merge和parquet时需配置，表明一个文件最多存储记录数，当达到最大值，则另起新文件。 dump_interval

查看更多 →

。 变量文件限制如下： 导入的文件格式：.csv（UTF-8无BOM格式）和.xlsx。 文件的名称长度上限：50字节（含后缀）。 文件大小限制： xlsx：专业版10M，企业版20M。 csv ：专业版10M ，企业版默认80M。 单击“文件变量导入”，导入格式为csv或xlsx的文件。

查看更多 →

前N行为标题行 “文件格式”选择“ CS V格式”时才有该参数。在迁移CSV文件到表时， CDM 默认是全部写入，如果该参数选择“是”，CDM会将CSV文件的前N行数据作为标题行，不写入目的端的表。 否 标题行数 “前N行为标题行”选择“是”时才有该参数。抽取数据时将被跳过的标题行数。 说明：

查看更多 →

Map数”同时配置。当使用关系型数据库连接器时，不支持“Map数据块大小”，请配置“Map数”。 - 设置数据转换 单击“下一步”，进入“转换”界面，设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 CSV文件输入

查看更多 →

p数量相同，文件名格式为“import_part_xxxx”，“xxxx”为系统生成的随机数，具有唯一性。 FILE Map数 配置数据操作的MapReduce任务中同时启动的Map数量。不可与“Map数据块大小”同时配置。参数值必须小于或等于3000。 20 Map数据块大小

查看更多 →

前N行为标题行 “文件格式”选择“CSV格式”时才有该参数。在迁移CSV文件到表时，CDM默认是全部写入，如果该参数选择“是”，CDM会将CSV文件的前N行数据作为标题行，不写入目的端的表。 否 标题行数 “前N行为标题行”选择“是”时才有该参数。抽取数据时将被跳过的标题行数。 说明：

查看更多 →

columnLabel) 按列名获取int型数据。 - String getString(int columnIndex) 按列标获取String型数据。 字段类型为整型且带有ZEROFILL属性时， GaussDB 按照ZEROFILL属性要求的宽度信息用0进行补位后输出结果，MySQL直接输出结果。 String

查看更多 →

以下为一些查询操作举例。 获取记录数 为了获取在CarbonData table中的记录数，可以运行以下命令。 select count(*) from x1; 使用Groupby查询 为了获取不重复的deviceinformationid记录数，可以运行以下命令。 select

查看更多 →

以下为一些查询操作举例。 获取记录数 为了获取在CarbonData table中的记录数，可以运行以下命令。 select count(*) from x1; 使用Groupby查询 为了获取不重复的deviceinformationid记录数，可以运行以下命令。 select

查看更多 →

脏数据导致CSV数据类型问题插入MySQL报错 问题描述 客户作业失败，提示invalid utf-8 charater string '' 故障分析 根据报错，考虑用户数据中存在脏数据，个别字段类型不匹配导致。 解决方案 后台排查客户sqoop日志，考虑客户源端数据类型格式问题导致异常

查看更多 →

测试值 测试环境 表数 10000 3个节点，每个executor 4个CPU核，20GB。Driver内存5GB，3个Executor。 总列数：107 String：75 Int：13 BigInt：7 Timestamp：6 Double：6 表的列数 2000 3个节点，

查看更多 →

columnLabel) 按列名获取int型数据。 - String getString(int columnIndex) 按列标获取String型数据。 字段类型为整型且带有ZEROFILL属性时，GaussDB按照ZEROFILL属性要求的宽度信息用0进行补位后输出结果，MySQL直接输出结果。 String

查看更多 →

的数据大小，单位为MB。参数值必须大于或等于“100”，建议配置值为“1000”。不可与“Map数”同时配置。当使用关系型数据库连接器时，不支持“Map数据块大小”，请配置“Map数”。 HBASE HBase实例 在HBase作业中，Loader支持从集群可添加的所有HBase

查看更多 →

的数据大小，单位为MB。参数值必须大于或等于“100”，建议配置值为“1000”。不可与“Map数”同时配置。当使用关系型数据库连接器时，不支持“Map数据块大小”，请配置“Map数”。 HBASE HBase实例 在HBase作业中，Loader支持从集群可添加的所有HBase

查看更多 →

表输出 概述 “表输出”算子，用于配置输出的字段对应到关系型数据库的指定列。 输入与输出 输入：需要输出的字段 输出：关系型数据库表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出分隔符 配置分隔符。 说明： 该配置仅用于MySQL专用连接器，当数据列内容

查看更多 →

取并发数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数，超出规格的Task排队等待运行。 因此作业抽取并发数和集群最大抽取并发数参数设置为适当的值可以有效提升迁移速度。 作业抽取并发数的配置原则如下： 迁移的目的端为文件时，C

查看更多 →

取并发数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数，超出规格的Task排队等待运行。 因此作业抽取并发数和集群最大抽取并发数参数设置为适当的值可以有效提升迁移速度。 作业抽取并发数的配置原则如下： 迁移的目的端为文件时，C

查看更多 →

输入输出文件格式要求 输入文件格式要求 输入数据在obs下文件组织形式： |--- Alignment |--- 2023-12-21-02-51-43 |--- images |--- cam-0 |---

查看更多 →

查询的过滤条件。 输出参数 用户可以在之后的执行动作中调用该输出参数，相关参数如表3所示。 表3 MySQL查询操作输出参数说明 参数 说明 返回 查询结果。 数据库插入操作 MySQL插入操作 输入参数 用户配置发布消息执行动作，相关参数说明如表4所示。 表4 MySQL插入操作参数说明

查看更多 →

Sf24asc4ladCD 罗杰 CSV文件需要是UNIX文件格式，windows文件格式暂不支持。 加工规则 通过原始日志中的account字段和OBS CSV文件中的account字段进行匹配，只有account字段的值完全相同，才能匹配成功。匹配成功后，返回OBS CSV文件中的nickna

查看更多 →

l，详见表4。 导入的csv文件要求如下：需要选择文件所在目录，其中csv文件的列数需要跟数据集schema一致。支持自动获取csv文件的schema。 ├─dataset-import-example │ table_import_1.csv │ table_import_2

查看更多 →