中软国际数据治理专业服务解决方案实践

处的查询块Queryblock章节，可省略，表示在当前查询块生效。 src,src1,src2表示predpush下推candidates一侧表集合。 dest表示predpush下推所指定的dest表也就是目标表。 predpush如果没有逗号表示所有表都是candidates

查看更多 →

从HBase读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

从Hive读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

详细内容请参见连接数据库。 GaussDB 支持完整的数据库事务级别的增删改操作。INSERT是最简单的一种数据写入方式，这种方式适合数据写入量不大， 并发度不高的场景。 父主题： 导入数据

查看更多 →

因为schema演进以非向后兼容的方式进行，此错误将再次发生。基本上，如果已经写入Hudi数据集parquet文件的记录R有一些更新U。R包含字段F，该字段包含某类数据类型，也就是LONG。U具有相同的字段F，该字段的数据类型是INT。Parquet FS不支持这种不兼容的数据类型转换。 对于此

查看更多 →

创建元数据存储路径 LakeFormation元数据映射的数据文件和目录存储在OBS并行文件系统中。在创建LakeFormation元数据之前，需要提前创建数据存储使用的OBS并行文件系统。 如果已存在可用的OBS并行文件系统，可跳过该章节操作。 操作步骤 创建OBS并行文件系统，

查看更多 →

步骤4：创建增强型跨源连接 创建 DLI 连接Kafka的增强型跨源连接 在Kafka管理控制台，选择“Kafka专享版”，单击对应的Kafka名称，进入到Kafka的基本信息页面。 在“连接信息”中获取该Kafka的“内网连接地址”，在“基本信息”的“网络”中获取该实例的“虚拟私有云”和“子网”信息，方便后续操作步骤使用。

查看更多 →

步骤4：创建增强型跨源连接 创建DLI连接Kafka的增强型跨源连接 在Kafka管理控制台，选择“Kafka专享版”，单击对应的Kafka名称，进入到Kafka的基本信息页面。 在“连接信息”中获取该Kafka的“内网连接地址”，在“基本信息”的“网络”中获取获取该实例的“虚拟私有云”和“子网”信息，方便后续操作步骤使用。

查看更多 →

找不到指定版本的Gradle工具 问题现象 编辑Action时找不到想要的Gradle工具版本。 原因分析 如果您需要编译的工程依赖的Gradle版本不在列表中，可以使用gradlew(gradle wrapper)封装Gradle命令。 Gradlew封装了Gradle命令，将

查看更多 →

该值用于在写之前对具有相同的key的行进行合并去重。 指定为具体的表字段 hoodie.datasource.write.payload.class 在更新过程中，该类用于提供方法将要更新的记录和更新的记录做合并，该实现可插拔，如要实现自己的合并逻辑，可自行编写。 org.apache

查看更多 →

文件不存在或者路径不正确 问题现象 日志信息提示“无法获取...文件状态...没有那个文件或目录”。 原因分析 该现象有如下两个原因： 文件不存在，系统无法找到源文件。 文件路径不是绝对路径，系统无法解析到正确的路径。 处理方法 根据失败的原因，对应处理方法如下： 确保拷贝的源文

查看更多 →

使用Storm-JDBC插件开发Oracle写入Bolt时发现数据无法写入 现象描述 使用Storm-JDBC插件开发Oracle写入Bolt，发现能连上Oracle数据库，但是无法向Oracle数据库里面写数据。 可能原因 拓扑定义异常。 数据库表结果定义异常。 原因分析 通过Storm

查看更多 →

器外部访问，所以应该在服务端的对外IP中填写此 服务器 的公网IP（弹性公网IP），同时设置端口范围来限制需要通过路由器转发的端口数量。 处理方法 弹性公网IP与私有IP使用NAT方式绑定，所以需要在服务端做响应的配置。 配置服务端对外的公网IP。 选择“Edit > Settings”。

查看更多 →

器外部访问，所以应该在服务端的对外IP中填写此服务器的公网IP（弹性公网IP），同时设置端口范围来限制需要通过路由器转发的端口数量。 处理方法 弹性公网IP与私有IP使用NAT方式绑定，所以需要在服务端做响应的配置。 配置服务端对外的公网IP。 选择“Edit > Settings”。

查看更多 →

器外部访问，所以应该在服务端的对外IP中填写此服务器的公网IP（弹性公网IP），同时设置端口范围来限制需要通过路由器转发的端口数量。 处理方法 弹性公网IP与私有IP使用NAT方式绑定，所以需要在服务端做响应的配置。 配置服务端对外的公网IP。 选择“Edit > Settings”。

查看更多 →

自定义python包中如果引用model目录下的文件，文件路径怎么写 如果容器中的文件实际路径不清楚，可以使用Python获取当前文件路径的方法获取。 os.getcwd() #获取文件当前工作目录路径（绝对路径） os.path.realpath(__ file __) #获得文件所在的路径（绝对路径） 也可在搜

查看更多 →

写入/更新命令 用户做了大量写入/更新操作后，实际数据量可能没有多大变化，但磁盘空间使用量增加了。是因为无论是写入、更新还是删除，以及索引插入和删除等操作，在后台实际上都会转成写入。因为底层的存储引擎（WiredTiger和RocksDB）采用都是appendOnly机制。只有当

查看更多 →

并发写入示例 本章节以表test为例，分别介绍相同表的INSERT和DELETE并发，相同表的并发INSERT，相同表的并发UPDATE，以及数据导入和查询的并发的执行详情。 1 CREATE TABLE test(id int, name char(50), address varchar(255));

查看更多 →

ecpg作为编译预处理工具，若在预处理或编译过程中出现找不到头文件或者函数实现的报错信息，可以根据需要指定头文件，或者链接动态库。 ecpg需要gcc、ld等编译预处理工具，建议gcc使用7.3.0版本。 使用ecpg开发应用程序所依赖的其他动态库和头文件，常见的位于$GAUSSHOME/include/libpq

查看更多 →

ecpg作为编译预处理工具，若在预处理或编译过程中出现找不到头文件或者函数实现的报错信息，可以根据需要指定头文件，或者链接动态库。 ecpg需要gcc、ld等编译预处理工具，建议gcc使用7.3.0版本。 使用ecpg开发应用程序所依赖的其他动态库和头文件，常见的位于$GAUSSHOME/include/libpq

查看更多 →

并发写入示例 本章节以表test为例，分别介绍相同表的INSERT和DELETE并发，相同表的并发INSERT，相同表的并发UPDATE，以及数据导入和查询的并发的执行详情。 1 CREATE TABLE test(id int, name char(50), address varchar(255));

查看更多 →