原因： Hudi表数据含有Decimal类型数据。 初始入库BULK_INSET方式会使用Spark内部parquet文件的写入类进行写入，Spark对不同精度的Decimal类型处理是不同的。 UPSERT操作时，Hudi使用Avro兼容的parquet文件写入类进行写入，这个和Spark的写入方式是不兼容的。

查看更多 →

原因： Hudi表数据含有Decimal类型数据。 初始入库BULK_INSET方式会使用Spark内部parquet文件的写入类进行写入，Spark对不同精度的Decimal类型处理是不同的。 UPSERT操作时，Hudi使用Avro兼容的parquet文件写入类进行写入，这个和Spark的写入方式是不兼容的。

查看更多 →

向Kafka生产并消费数据程序 Flink向Kafka生产并消费数据应用开发思路 Flink向Kafka生产并消费数据Java样例代码 Flink向Kafka生产并消费数据Scala样例代码 父主题： 开发Flink应用

查看更多 →

表名存在乱码导致Camel访问数据库失败 原因分析 访问数据库使用参数不正确，导致组合任务启动失败，任务终止。 解决方案 检查数据库中是否有表名存在乱码的情况，如果存在请和数据库管理员沟通后删除乱码表名的表，然后重新启动任务。 父主题： 数据集成组合任务

查看更多 →

0-1 测量对象：数据库 监控实例类型：MySQL实例 rds024_myisam_disk_write_count MyISAM硬盘写入频率 该指标用于统计向磁盘写入索引的次数，以次/秒为单位。 ≥ 0 counts/s 测量对象：数据库 监控实例类型：MySQL实例 rds02

查看更多 →

Oracle库：Oracle11g、Oracle12c PG库：PostgreSQL 10.6 达梦数据库：达梦7、达梦8 Mysql数据库：mysql8 mysql8作为系统库时，需要更换mysql8驱动，把自带的mysql5驱动删除掉，url地址加一个固定参数&allowPublicKeyRetrieval=true

查看更多 →

查询具体更新的文件分区，因此它的速度比UPSERT快。当数据源不包含更新数据时建议使用该操作，如果数据源中存在更新数据，则在数据湖中会出现重复数据。 BULK_INSERT（批量插入）：用于初始数据集加载， 该操作会对主键进行排序后直接以写普通parquet表的方式插入Hudi表

查看更多 →

buffer读命中率，以比率为单位。 0-1 RDS for MySQL实例 1分钟 rds024_myisam_disk_write_count MyISAM硬盘写入频率 该指标用于统计向磁盘写入索引的次数，以次/秒为单位。 ≥ 0 counts/s RDS for MySQL实例 1分钟 rds025_my

查看更多 →

Streaming从Kafka读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

写入更新数据时报错Parquet/Avro schema 问题 数据写入时报错： org.apache.parquet.io.InvalidRecordException: Parquet/Avro schema mismatch: Avro field 'col1' not found

查看更多 →

托管服务通信的代理。 数据库名 单击“获取数据库”，在列表框中选择数据库。 填写完数据源信息后，单击“确定”即可完成MySQL数据连接的添加。 使用MySQL数据源 您可以参考使用数据仓库服务（DWS）数据源，配置使用MySQL数据源。 父主题： 新建数据连接

查看更多 →

创建MySQL数据库 应用场景 MySQL是目前最受欢迎的开源数据库之一，其性能卓越，搭配LAMP（Linux + Apache + MySQL + Perl/PHP/Python），成为WEB开发的高效解决方案。 本教程将指导您如何通过Terraform脚本创建一个RDS for

查看更多 →

参见配置云数据库MySQL/MySQL数据库连接。这里保持默认，必填参数如表1所示。 表1 MySQL连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库 服务器 MySQL数据库的IP地址或 域名 。 - 端口 MySQL数据库的端口。 3306

查看更多 →

数据库代理（MySQL） 开启数据库代理 查询数据库代理信息列表 查询数据库代理规格信息 设置读写分离路由模式 关闭数据库代理 父主题： API v3（推荐）

查看更多 →

名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。

查看更多 →

参见配置云数据库MySQL/MySQL数据库连接。这里保持默认，必填参数如表1所示。 表1 MySQL连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306

查看更多 →

填写数据源的描述信息。 数据湖分层 选择对应的数据湖分层：业务数据层/操作数据层/明细数据层/数据汇总层/数据集市层/应用数据层/贴源数据层。 是否使用JDBC字符串 选择连接数据库模式。 否：由系统根据用户配置自动拼接数据源连接字符串。 是：由用户自己输入数据源连接字符串。 连接地址

查看更多 →

参见配置云数据库MySQL/MySQL数据库连接。这里保持默认，必填参数如表1所示。 表1 MySQL连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306

查看更多 →

模型采集 > 数据源”，单击“创建数据源”，进入创建数据源页面。接着选择“MySQL”类型的数据源，创建方式选择 “创建数据源”，然后在数据源输入框中输入数据源名称。 在页面中配置数据源的连接信息，如下表所示。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称，根

查看更多 →

名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。

查看更多 →

单击“数据源 > 新建数据源”，进入新建数据源页面，源库类型选择MySQL，接入网络类型选择云数据库 RDS。 填写其他参数，参数说明如表2所示。 图2 MySQL云数据源参数 表2 参数说明 参数名称 是否必填 说明 源库类型 是 接入的数据源类型，本示例为MySQL。更多数据源类型连接请参考表1。

查看更多 →