步骤3：创建RDS数据库和表 登录RDS管理控制台，在“实例管理”界面，选择已创建的RDS MySQ L实例 ，选择操作列的“更多 > 登录”，进入数据管理服务实例登录界面。 输入实例登录的用户名和密码。单击“登录”，即可进入RDS MySQL数据库并进行管理。 在数据库实例界面，单击“

查看更多 →

password ：默认管理员用户的密码。 在命令行窗口输入以下命令创建数据库“testdwsdb”。 CREATE DATABASE testdwsdb; 执行以下命令，退出gaussdb数据库，连接新创建的数据库“testdwsdb”。 \q gsql -d testdwsdb -h

查看更多 →

创建HDFS文件并写入内容 功能简介 写文件过程为： 使用FileSystem实例的create方法获取写文件的输出流。 使用该数据流将内容写入到HDFS的指定文件中。 在写完文件后，需关闭所申请资源。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata

查看更多 →

SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用streamBulkPut接口将流数据写入HBase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在hb

查看更多 →

工作负载异常：实例无法写入数据 Pod事件 Pod所在的节点文件系统损坏，新建的Pod无法成功在/var/lib/kubelet/device-plugins/.xxxxx写入数据，Pod通常会出现以下类似事件： Message： Pod Update Plugin resources

查看更多 →

写入更新数据时报错SchemaCompatabilityException 问题 数据写入时报错： org.apache.hudi.exception.SchemaCompatabilityException: Unable to validate the rewritten record

查看更多 →

业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行，可打开此配置。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。 CDM 支持并发抽取MySQL数据，如果源表配置了索引，可调大抽取并发数提升迁移速率。 是否写入脏数据：如果

查看更多 →

放入列表中。 备机名称可以通过设置环境变量PGAPPNAME指定。 取值范围：字符串。当取值为*，表示匹配任意提供同步复制的备机名称。支持按如下格式配置： ANY num_sync (standby_name [, ...]) [, ANY num_sync (standby_name

查看更多 →

#连接的用户的密码 password= #集群名称 clusterName= #数据库名称 databaseName= #表名称 tableName= #一个批次写入的条数 batchRows=10000 #写入数据的总批次 batchNum=10 #ip:port。安全模式下https端口，普通模式下http端口

查看更多 →

dn_instanceId2,...)具有的含义相同。 该参数由CM维护，如果手动修改，则存在丢失数据的风险。详细请参考 “工具参考 > 统一数据库管理工具 > 特性介绍 > 按分片自动升降副本 > 备注说明 ”。 若使用gs_guc工具设置该参数，需要如下设置： gs_guc reload -Z datanode

查看更多 →

同步kafka partition策略 支持以下三种投递策略将源端的数据按规则同步到Kafka Topic的特定Partition： 全部投递到Partition 0。 按库名+表名的hash值投递到不同Partition。 按表的主键值hash值投递到不同的Partition。 源端无主

查看更多 →

量转码，性能更优。 deserializer.maxLineLength 2048 按行解析最大长度。0到 2,147,483,647。 deserializer.maxBatchLine 1 按行解析最多行数，如果行数设置为多行，“maxLineLength”也应该设置为相应的

查看更多 →

业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行，可打开此配置。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。CDM支持并发抽取MySQL数据，如果源表配置了索引，可调大抽取并发数提升迁移速率。 是否写入脏数据：如果

查看更多 →

rch不指定routing值。 value1 定时创索引 对于持续写入数据到Elasticsearch的流式作业，CDM支持在Elasticsearch中定时创建新索引并写入数据，方便用户后期删除过期的数据。支持按以下周期创建新索引： 每小时：每小时整点创建新索引，新索引的命名格

查看更多 →

参数说明 参数 参数说明 ctx 表示给定的上下文。 query 被执行的sql语句。 args 被执行sql语句需要绑定的参数。支持按位置绑定和按名称绑定，详情见如下示例。 opts 事务隔离级别和事务访问模式，其中事务隔离级别（opts.Isolation）支持范围为sql.LevelReadUncommitted

查看更多 →

数据分流开关，在多并发场景下开启数据分流可将数据按规则分配给不同的工作进程写入目的端，可提高写入性能。 sink.keyby.mode string table - 数据分流模式，可选填写： pk：按数据主键值进行分流 table：按表名进行分流 说明： 多并发场景下，若开启DDL功能，只能按表名分流，否则可能导致数据不一致。

查看更多 →

code_开头，命名规则为“数据库名称_汇总表编码”）中复制的，复制节点后需手动配置该节点的“数据连接”和“数据库”参数，“数据库”需设置为事实表所在的数据库。 图15 按费率汇总统计节点属性 按供应商汇总统计节点：为 MRS Hive SQL节点，按供应商维度统计汇总截止到当前日

查看更多 →

支持以下三种投递策略将源端的数据按规则同步到Kafka Topic的特定Partition： 全部投递到Partition 0。 按源端分区投递到对应的Partition：源端消息在第n个分区，则投递到目的端的第n个分区，该策略可以保证消息顺序。 按轮询模式投递到不同的Partit

查看更多 →

支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行可开启。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数，适当的抽取并发数可以提升迁移效率，配置原则请参见性能调优。这里保持默认值“1”。 是否写入脏数据：如果需要将

查看更多 →

se，其他类型的按字符串写入。如果这几种类型中，有合并做rowkey的，就依然当字符串写入。 该功能作用是：降低存储占用空间，存储更高效；特定场景下rowkey分布更均匀。 false：源端数据库中所有类型的数据，都会按照字符串写入HBase。 父主题： 目的端作业参数说明

查看更多 →

se，其他类型的按字符串写入。如果这几种类型中，有合并做rowkey的，就依然当字符串写入。 该功能作用是：降低存储占用空间，存储更高效；特定场景下rowkey分布更均匀。 false：源端数据库中所有类型的数据，都会按照字符串写入HBase。 父主题： 目的端作业参数说明

查看更多 →