参见配置云数据库MySQL/MySQL数据库连接。这里保持默认，必填参数如表1所示。 表1 MySQL连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库 服务器 MySQL数据库的IP地址或 域名 。 - 端口 MySQL数据库的端口。 3306

查看更多 →

配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。 cdm 密码 用户名密码。 - 使用本地API 可选参数，选择是否使用数据库本地API加速。 创建MySQL连接时， CDM 会自动尝试启用MySQL数据库的l

查看更多 →

MRS Hive目标端写入时出现数据乱码 原因分析 创建任务时，目标端存储类型选择与建表时类型不一致。 比如建表时存储类型为text（文本文件），而创建任务时目标端存储类型选择了RCFile格式。 解决方案 修改界面选择的存储类型与建表时一致即可。 父主题： 数据集成任务

查看更多 →

写入性能优化 CSS 集群在使用前，建议参考本文进行集群的写入性能优化，便于提高集群的写入性能，提升使用效率。 数据写入流程 图1 数据写入流程 当从客户端往Elasticsearch中写入数据时，写入流程如下： 客户端向Node1发送写数据请求，此时Node1为协调节点。 节点N

查看更多 →

管理并发写入操作 事务隔离说明 写入和读写操作 并发写入事务的潜在死锁情况 并发写入示例 父主题： 导入数据

查看更多 →

写入和读写操作 关于写入和读写操作的命令： INSERT，可向表中插入一行或多行数据。 UPDATE，可修改表中现有数据。 DELETE，可删除表中现有数据。 COPY，导入数据。 INSERT和COPY是纯写入的操作。并发写入操作，需要等待，对同一个表的操作，当事务T1的INS

查看更多 →

查询具体更新的文件分区，因此它的速度比UPSERT快。当数据源不包含更新数据时建议使用该操作，若数据源中存在更新数据，则在数据湖中会出现重复数据。 BULK_INSERT（批量插入）：用于初始数据集加载， 该操作会对主键进行排序后直接以写普通parquet表的方式插入Hudi表，

查看更多 →

流式写入Hudi表 HoodieDeltaStreamer流式写入 Hudi自带HoodieDeltaStreamer工具支持流式写入，也可以使用SparkStreaming以微批的方式写入。HoodieDeltaStreamer提供以下功能： 支持Kafka，DFS多种数据源接入

查看更多 →

Streaming从Kafka读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

写入更新数据时报错 Parquet/Avro schema 问题 数据写入时报错： org.apache.parquet.io.InvalidRecordException: Parquet/Avro schema mismatch: Avro field 'col1' not found

查看更多 →

测试方法 云数据库 GaussDB (for MySQL)是最新一代企业级高扩展海量存储云原生数据库，完全兼容MySQL。采用计算存储分离架构，128TB的海量存储，数据0丢失，既拥有商业数据库的高可用和性能，又具备开源低成本效益。 测试环境 GaussDB(for MySQL)测试环境如下：

查看更多 →

测试方法 MySQL是最受欢迎的开源数据库之一，性能卓越，搭配LAMP，成为WEB开发的高效解决方案。主要解决用户高并发场景下，数据库性能差、数据复制延迟突出、数据库故障恢复时间长等问题。 当前，RDS for MySQL主要提供了即开即用、备份恢复、数据迁移、安全防护、轻松扩容

查看更多 →

bigdata.kafka.example.ProducerMultThread类的run方法中，用于实现多线程生产数据。 代码样例 /** * 指定Key值为当前ThreadId，发送数据。 */ public void run() { LOG .info("Producer: start

查看更多 →

bigdata.kafka.example.ProducerMultThread类的run方法中，用于实现多线程生产数据。 代码样例 /** * 指定Key值为当前ThreadId，发送数据。 */ public void run() { LOG.info("Producer: start

查看更多 →

ataOutputStream对象：out，使用out的write方法写入数据。 调用fSystem的append接口创建FSDataOutputStream对象：out，使用out的write方法追加写入数据。 调用fSystem的open接口创建FSDataInputStre

查看更多 →

Kafka 多线程Consumer API 使用样例 功能介绍 在Kafka Consumer API使用样例基础上，实现了多线程并发消费，可根据Topic的Partition数目起相应个数的Consumer线程来对应消费消息。 下面代码片段在com.huawei.bigdata

查看更多 →

ataOutputStream对象：out，使用out的write方法写入数据。 调用fSystem的append接口创建FSDataOutputStream对象：out，使用out的write方法追加写入数据。 调用fSystem的open接口创建FSDataInputStre

查看更多 →

ataOutputStream对象：out，使用out的write方法写入数据。 调用fSystem的append接口创建FSDataOutputStream对象：out，使用out的write方法追加写入数据。 调用fSystem的open接口创建FSDataInputStre

查看更多 →

MySQL到MySQL 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 RDS for MySQL RDS for MySQL 数据库账号权限要求 使用DRS创建录制回放任务时，连接源和目标数据库账号的权限建议保持一致，再启动任务。 使用须知 为了确保录制回放任务

查看更多 →

MySQL到MySQL 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 E CS 自建MySQL 5.6、5.7、8.0版本 本地自建MySQL 5.6、5.7、8.0版本 其他云上MySQL 5.6、5.7、8.0版本 RDS for MySQL 数据库账号权限要求

查看更多 →

写入更新数据时报错 Parquet/Avro schema 问题 数据写入时报错： org.apache.parquet.io.InvalidRecordException: Parquet/Avro schema mismatch: Avro field 'col1' not found

查看更多 →