原因： Hudi表数据含有Decimal类型数据。 初始入库BULK_INSET方式会使用Spark内部parquet文件的写入类进行写入，Spark对不同精度的Decimal类型处理是不同的。 UPSERT操作时，Hudi使用Avro兼容的parquet文件写入类进行写入，这个和Spark的写入方式是不兼容的。

查看更多 →

写入更新数据时报错SchemaCompatabilityException 问题 数据写入时报错： org.apache.hudi.exception.SchemaCompatabilityException: Unable to validate the rewritten record

查看更多 →

原因： Hudi表数据含有Decimal类型数据。 初始入库BULK_INSET方式会使用Spark内部parquet文件的写入类进行写入，Spark对不同精度的Decimal类型处理是不同的。 UPSERT操作时，Hudi使用Avro兼容的parquet文件写入类进行写入，这个和Spark的写入方式是不兼容的。

查看更多 →

GS_MY_ILMEVALUATIONDETAILS视图描述ADO Task的评估详情信息，包含Task ID，策略信息、对象信息、评估结果以及ADO JOB名称。 表1 GS_MY_ILMEVALUATIONDETAILS字段 名称 类型 描述 task_id bigint ADO Task的ID。 policy_name

查看更多 →

典型场景：从HDFS/OBS导出数据到关系型数据库 操作场景 该任务指导用户使用Loader将数据从HDFS/OBS导出到关系型数据库。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。

查看更多 →

典型场景：从关系型数据库导入数据到ClickHouse 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到ClickHouse，本章节以MySQL为例进行操作。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 ClickHouse表已创建，确保

查看更多 →

典型场景：从关系型数据库导入数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。

查看更多 →

执行以下命令进入安装包所在目录，安装客户端： cd FusionInsight _Cluster_1_Services_ClientConfig 执行如下命令安装客户端到指定目录（绝对路径），例如安装到“/opt/client”目录，等待客户端安装完成。 ./install.sh /opt/client ..

查看更多 →

视图描述ADO任务的评估详情信息，包含Task ID，策略信息、对象信息、评估结果以及ADO JOB名称。默认只有系统管理员权限才可以访问此系统视图。 表1 GS_ADM_ILMEVALUATIONDETAILS字段 名称 类型 描述 task_id bigint ADO Task的ID。

查看更多 →

上传数据到OBS 操作场景 从OBS导入数据到集群之前，需要提前准备数据源文件，并将数据源文件上传到OBS。如果您的数据文件已经在OBS上了，则只需完成上传数据到OBS中的2~3。 准备数据文件 准备需要上传到OBS的数据源文件。 GaussDB (DWS)只支持 CS V、TEXT、O

查看更多 →

导出数据到OBS 关于OBS并行导出 导出CSV、TXT数据到OBS 导出ORC数据到OBS 父主题： 导出数据

查看更多 →

task_id bigint ADO Task的ID。 policy_name character varying(128) ADO策略名称，系统自动生成，规则为：p+策略ID。 object_owner character varying(128) 数据对象所在Schema名称。 object_name

查看更多 →

MRS Hive目标端写入时出现数据乱码 原因分析 创建任务时，目标端存储类型选择与建表时类型不一致。 比如建表时存储类型为text（文本文件），而创建任务时目标端存储类型选择了RCFile格式。 解决方案 修改界面选择的存储类型与建表时一致即可。 父主题： 数据集成任务

查看更多 →

ERT，当初始化数据集时建议使用BULK_INSERT。 批量写入Hudi表 引入Hudi包生成测试数据，参考使用Spark Shell创建Hudi表章节的2到4。 写入Hudi表，写入命令中加入参数：option("hoodie.datasource.write.operation"

查看更多 →

SQL作业消费Kafka后sink到es集群，作业执行成功，但未写入数据 问题现象 客户创建Flink SQL作业，消费Kafka后sink到es集群，作业执行成功，但无数据。 原因分析 查看客户作业脚本内容，排查无问题，作业执行成功，出现该问题可能的原因如下： 数据不准确。 数据处理有问题。 处理步骤

查看更多 →

GS_ADM_ILMTASKS视图反映ADO Task的概要信息，包含Task ID，Task Owner，状态以及时间信息。默认只有系统管理员权限才可以访问此系统视图，普通用户需要授权才可以访问。 表1 GS_ADM_ILMTASKS字段 名称 类型 描述 task_id bigint ADO Task的ID。

查看更多 →

数据库部署 数据库初始化及参数调整 安装数据库 安装数据库，初始化数据库服务时，字符集需要选择UTF-8。 调整参数 数据库服务安装后，需调整以下参数提升性能： 表1 数据库参数表 参数名称 参数说明 取值样例 区域 必选参数。 不同区域的云服务产品之间内网互不相通，请就近选择靠

查看更多 →

String 数据库名称。 database_id String 数据库ID。 database_status Integer 数据库状态：0表示正常，1表示删除中，2表示已删除，3表示恢复中。 external_database_id String 用户端数据库id，创建时指定，不可修改。

查看更多 →

数据库管理 列举数据库信息 创建数据库 获取数据库 修改数据库属性 删除数据库 列举数据库名称信息 父主题： LakeCat

查看更多 →

数据库评估 数据库评估会对源数据库的基本信息、性能数据，以及特定对象类型的对象SQL进行采集，提供源数据库信息概览的功能。并综合兼容性、对象复杂度等因素进行分析，给出源、目标数据库的兼容性和改造成本的分析报告，从而辅助用户进行目标库选型决策和迁移工作量评估。 查看数据采集日志 重新采集

查看更多 →

访问数据库 具体访问数据库前，引入如下相关类。 import com.mongodb.client.MongoClients; import com.mongodb.client.MongoClient; import com.mongodb.client.MongoCollection;

查看更多 →