败。 同步到kafka partition策略 同步到kafka partition策略。 按schema.表名的hash值投递到不同Partition：适用于单表的查询场景，表内保序，表与表之间不保序，可以提高单表读写性能，推荐使用此选项。 按主键的hash值投递到不同Part

查看更多 →

同步阶段通过解析日志等技术，将源端和目标端数据保持数据持续一致。 “全量”： 该模式为数据库一次性同步，适用于可中断业务的数据库同步场景，全量同步将非系统数据库的全部数据库对象和数据一次性同步至目标端数据库。 “增量”： 增量同步通过解析日志等技术，将源端产生的增量数据同步至目标端。

查看更多 →

所有任务运行完成后，临时存放/tmp/hadoop-yarn/staging目录下文件 否 MR任务日志丢失 /tmp/hadoop-yarn/staging/history/done 固定目录 周期性扫描线程定期将done_intermediate的日志文件转移到done目录 否 MR任务日志丢失 /tmp/mr-history

查看更多 →

exist，该日志说明文件在操作的过程中被删除了。 搜索HDFS的NameNode的审计日志（Active NameNode的/var/log/Bigdata/audit/hdfs/nn/hdfs-audit-namenode.log）搜索文件名，确认文件的创建时间。 搜索文件创建到出现异常时

查看更多 →

目标端多的列要求非空且没有默认值，源端insert数据，同步到目标端后多的列为null，不符合目标端要求。 目标端多的列设置固定默认值，且有唯一约束。源端insert多条数据后，同步到目标端后多的列为固定默认值，不符合目标端要求。 表等对象名同步到目标库后会转换成小写，如ABC会转换为abc。

查看更多 →

目标库如果已存在数据，DRS在增量同步过程中源库相同主键的数据将覆盖目标库已存在的数据，因此在同步前需要用户自行判断数据是否需要清除，建议用户在同步前自行清空目标库。 目标库实例如果选择将时间戳类型（TIMESTAMP，DATETIME）的列作为分片键，则源库数据在同步到目标库之后，作为分片键的该时间戳类型列的秒精度将被丢弃。

查看更多 →

ert数据，同步到目标端后多的列为null，不符合目标端要求。 目标端多的列设置固定默认值，且有唯一约束。源端insert多条数据后，同步到目标端后多的列为固定默认值，不符合目标端要求。 不支持源数据库恢复到之前时间点的操作(PITR)。 不支持目标数据库恢复到全量同步时间段范围内的PITR操作。

查看更多 →

UDF将无法被注册。 需要将所有依赖文件都打包到jar包里。 （可选）若用户存在HetuEngine UDF依赖的配置文件，建议将其作为资源文件放在resources目录下，即可打包到HetuEngine UDF函数包中。 部署HetuEngine UDF 要在HetuEngine中使用HetuEngine

查看更多 →

ert数据，同步到目标端后多的列为null，不符合目标端要求。 目标端多的列设置固定默认值，且有唯一约束。源端insert多条数据后，同步到目标端后多的列为固定默认值，不符合目标端要求。 不支持源数据库恢复到之前时间点的操作(PITR)。 不支持目标数据库恢复到全量同步时间段范围内的PITR操作。

查看更多 →

上传文件到OBS CodeArts Build支持将构建产物上传至OBS中，您可以根据实际情况选择使用该构建步骤。 对象存储服务 （OBS）的使用限制请参考约束与限制。 上传文件到OBS前的准备工作 如果需要将文件上传到其他用户的OBS中，需新建IAM账户服务扩展点。 图形化构建

查看更多 →

同步Topic策略 同步Topic策略，可选择“集中投递到一个Topic”。 Topic 选择目标端需要同步到的Topic。 同步到kafka partition策略 同步到kafka partition策略。 全部投递到Partition 0：适用于有事务要求的场景，事务保序，

查看更多 →

gs_copy_summary gs_copy_summary表用于记录COPY执行结果汇总，包括成功行数，出错行数，忽略行数，空行数。详细的使用权限请参考《工具参考》中“客户端工具 > gs_loader”章节中的“使用权限”。 表1 gs_copy_summary字段说明 名称

查看更多 →

move 将文件从源目录移动到目标目录的标签 chmod 修改文件或目录权限的标签 path 当前文件路径 source 源文件路径 target 目标文件路径 permissions 权限字符串 “${变量名}”表示：该值来自job.properties所定义。 例如：${nam

查看更多 →

/tmp/t.txt 然后输入命令“:set list”将文件名的不可见字符显示出来。如这里显示出文件名中包含“^M”不可见字符。 图2 显示不可见字符 解决办法 使用shell命令读到文本中记录的该文件名，确认如下命令输出的是该文件在HDFS中的全路径。 cat /tmp/t.txt |awk

查看更多 →

move 将文件从源目录移动到目标目录的标签 chmod 修改文件或目录权限的标签 path 当前文件路径 source 源文件路径 target 目标文件路径 permissions 权限字符串 “${变量名}”表示：该值来自“job.properties”所定义。 例如：${n

查看更多 →

数据通过OBS中转上传到Notebook 上传数据至OBS，具体操作请参见上传文件至OBS桶。 将OBS中的数据传至Notebook中，通过在本地IDE的Terminal中使用ModelArts提供的Moxing库的文件操作API（mox.file.copy_parallel）完成。 在PyCharm环境中开启Terminal，VS

查看更多 →

使用LZC压缩算法存储HDFS文件 配置场景 文件压缩可以减少储存文件的空间，并且提高数据从磁盘读取和网络传输的速度。HDFS有Gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC（Lempel-Ziv Compression）提供配置方法。这种压缩格

查看更多 →

1048576 设置单个HDFS目录下最大可容纳的文件数目。保存修改的配置。保存完成后请重新启动配置过期的服务或实例以使配置生效。 用户尽量将数据做好存储规划，可以按时间、业务类型等分类，不要单个目录下直属的文件过多，建议使用默认值，单个目录下约100万条。 父主题： 使用HDFS

查看更多 →

1048576 设置单个HDFS目录下最大可容纳的文件数目。保存修改的配置。保存完成后请重新启动配置过期的服务或实例以使配置生效。 用户尽量将数据做好存储规划，可以按时间、业务类型等分类，不要单个目录下直属的文件过多，建议使用默认值，单个目录下约100万条。 父主题： 使用HDFS

查看更多 →

创建HDFS文件并写入内容 功能简介 写文件过程为： 使用FileSystem实例的create方法获取写文件的输出流。 使用该输出流将内容写入到HDFS的指定文件中。 在写完文件后，需关闭所申请资源。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata

查看更多 →

据导入到 GaussDB (DWS)数据库中。暂时不支持将存储在HDFS文件系统上的数据导入GaussDB(DWS)。 并行导入功能通过外表设置的导入策略、导入数据格式等信息来识别数据源文件，利用多DN并行的方式，将数据从数据源文件导入到数据库中，从而提高整体导入性能。如图1所示：

查看更多 →