较为繁琐。 Dockerfile方式制作镜像是将快照制作的方式用Dockerfile文件写出来，然后执行docker build -t tsj/image:tag .命令，自动完成镜像制作。 命令中“.”表示DockerFile文件的路径，“tsj/image:tag”表示仓库名/镜像名:TAG名。

查看更多 →

properties”放在“/user/hetuserver/udf”，将UDF函数包放在“/user/hetuserver/udf/data/externalFunctions”，将UDF依赖的配置文件放在“/user/hetuserver/udf/data”。 使用HDFS的页面上传。 使用HetuEngine用户登录 FusionInsight

查看更多 →

据导入到 GaussDB (DWS)数据库中。暂时不支持将存储在HDFS文件系统上的数据导入GaussDB(DWS)。 并行导入功能通过外表设置的导入策略、导入数据格式等信息来识别数据源文件，利用多DN并行的方式，将数据从数据源文件导入到数据库中，从而提高整体导入性能。如图1所示：

查看更多 →

数据的可靠性，一般使用HDFS进行存储。以HDFS存储来看，一个Hudi表的存储文件分为两类。 登录FusionInsight Manager页面，选择“集群 > 服务 > HDFS”，在“概览”页面单击NameNode WebUI后的链接，进入到HDFS的WebUI界面，选择“Utilities

查看更多 →

Hudi的数据文件使用Parquet文件格式的base file和Avro格式的log file存储。 查看Hudi表：登录FusionInsight Manager页面，选择“集群 > 服务 > HDFS”，在“概览”页面单击NameNode WebUI后的链接，进入到HDFS的WebUI界面，选择“Utilities

查看更多 →

键存在重复等），将跳过冲突数据，继续进行后续同步。选择忽略可能导致源库与目标库数据不一致。 报错 当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），同步任务将失败并立即中止。 覆盖 当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），将覆盖原来的冲突数据。

查看更多 →

创建HDFS文件并写入内容 功能简介 写文件过程为： 使用FileSystem实例的create方法获取写文件的输出流。 使用该数据流将内容写入到HDFS的指定文件中。 在写完文件后，需关闭所申请资源。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata

查看更多 →

创建HDFS文件并写入内容 功能简介 写文件过程为： 使用FileSystem实例的create方法获取写文件的输出流。 使用该输出流将内容写入到HDFS的指定文件中。 在写完文件后，需关闭所申请资源。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata

查看更多 →

使用LZC压缩算法存储HDFS文件 配置场景 文件压缩带来了两个主要好处：减少了储存文件的空间，并且提高数据从磁盘读取和网络传输的速度。HDFS有gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC(Lempel-Ziv Compression)提供配

查看更多 →

配置描述 在HDFS中，如果删除HDFS的文件，文件会被保存到trash空间中，不会被立即清除。被删除的文件在超过老化时间后将变为老化文件，会基于系统机制清除或用户手动清除。 参数入口： 请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。 表1 参数说明

查看更多 →

将MySQL同步到Oracle 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 RDS for MySQL 本地自建数据库 E CS 自建数据库 使用建议 DRS任务启动和全量数据同步阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。 为保证同步前后数据一致性，确保同步期间目标数据库无业务写入。

查看更多 →

0_151 # 将apache-tomcat-7.0.82目录下的文件复制到容器目录下 COPY ./apache-tomcat-7.0.82 /root/apache-tomcat-7.0.82 # 将jdk1.8.0_151目录下的文件复制到容器目录下 COPY ./jdk1.8

查看更多 →

将Hudi表数据同步到Hive 通过执行run_hive_sync_tool.sh可以将Hudi表数据同步到Hive中。 例如：需要将HDFS上目录为hdfs://hacluster/tmp/huditest/hudimor1_deltastreamer_partition的Hu

查看更多 →

将DDM同步到GaussDB(DWS) 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 DDM实例 GaussDB(DWS)集群（8.1.3、8.2.0版本） 数据库账号权限要求 在使用DRS进行同步时，连接源库和目标库的数据库账号需要满足以下权限要求，才能启动实

查看更多 →

ert数据，同步到目标端后多的列为null，不符合目标端要求。 目标端多的列设置固定默认值，且有唯一约束。源端insert多条数据后，同步到目标端后多的列为固定默认值，不符合目标端要求。 不支持源数据库恢复到之前时间点的操作(PITR)。 不支持目标数据库恢复到全量同步时间段范围内的PITR操作。

查看更多 →

将Oracle同步到MySQL 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 本地自建数据库（Oracle 10g、11g、12c、18c、19c、21c版本） ECS自建数据库（Oracle 10g、11g、12c、18c、19c、21c版本） RDS for

查看更多 →

pic时会失败。 同步到kafka partition策略 同步到kafka partition策略。 按库名+表名的hash值投递到不同Partition：适用于单表的查询场景，表内保序，表与表之间不保序，可以提高单表读写性能，推荐使用此选项。 全部投递到Partition 0

查看更多 →

，同步到目标数据库后多的列为null，不符合目标数据库要求。 目标数据库多的列设置固定默认值，且有唯一约束。源库insert多条数据后，同步到目标数据库后多的列为固定默认值，不符合目标数据库要求。 不支持源数据库恢复到之前时间点的操作(PITR)。 不支持目标数据库恢复到全量同步时间段范围内的PITR操作。

查看更多 →

pic时会失败。 同步到kafka partition策略 同步到kafka partition策略。 按库名+表名的hash值投递到不同Partition：适用于单表的查询场景，表内保序，表与表之间不保序，可以提高单表读写性能，推荐使用此选项。 全部投递到Partition 0

查看更多 →

将Hudi表数据同步到Hive 通过执行run_hive_sync_tool.sh可以将Hudi表数据同步到Hive中。 例如：需要将HDFS上目录为hdfs://hacluster/tmp/huditest/hudimor1_deltastreamer_partition的Hu

查看更多 →

，同步到目标数据库后多的列为null，不符合目标数据库要求。 目标数据库多的列设置固定默认值，且有唯一约束。源库insert多条数据后，同步到目标数据库后多的列为固定默认值，不符合目标数据库要求。 不支持源数据库恢复到之前时间点的操作(PITR)。 不支持目标数据库恢复到全量同步时间段范围内的PITR操作。

查看更多 →