/tmp/t.txt 然后输入命令“:set list”将文件名的不可见字符显示出来。如这里显示出文件名中包含“^M”不可见字符。 图2 显示不可见字符 解决办法 使用shell命令读到文本中记录的该文件名，确认如下命令输出的是该文件在HDFS中的全路径。 cat /tmp/t.txt |awk

查看更多 →

ert数据，同步到目标端后多的列为null，不符合目标端要求。 目标端多的列设置固定默认值，且有唯一约束。源端insert多条数据后，同步到目标端后多的列为固定默认值，不符合目标端要求。 不支持源数据库恢复到之前时间点的操作(PITR)。 不支持目标数据库恢复到全量同步时间段范围内的PITR操作。

查看更多 →

同步阶段通过解析日志等技术，将源端和目标端数据保持数据持续一致。 “全量”： 该模式为数据库一次性同步，适用于可中断业务的数据库同步场景，全量同步将非系统数据库的全部数据库对象和数据一次性同步至目标端数据库。 “增量”： 增量同步通过解析日志等技术，将源端产生的增量数据同步至目标端。

查看更多 →

器 使用SFTP工具上传文件到Linux系统云 服务器 ，详细操作请参考本地Linux主机使用SFTP上传文件到Linux云服务器 使用FTP站点上传文件到Linux系统云服务器，详细操作请参考本地Linux主机使用FTP上传文件到Linux云服务器 云服务器自带FTP上传吗？ FTP需要用户自己安装和配置。

查看更多 →

目标库如果已存在数据，DRS在增量同步过程中源库相同主键的数据将覆盖目标库已存在的数据，因此在同步前需要用户自行判断数据是否需要清除，建议用户在同步前自行清空目标库。 目标库实例如果选择将时间戳类型（TIMESTAMP，DATETIME）的列作为分片键，则源库数据在同步到目标库之后，作为分片键的该时间戳类型列的秒精度将被丢弃。

查看更多 →

同步Topic策略 同步Topic策略，可选择“集中投递到一个Topic”。 Topic 选择目标端需要同步到的Topic。 同步到kafka partition策略 同步到kafka partition策略。 全部投递到Partition 0：适用于有事务要求的场景，事务保序，

查看更多 →

败。 同步到kafka partition策略 同步到kafka partition策略。 按schema.表名的hash值投递到不同Partition：适用于单表的查询场景，表内保序，表与表之间不保序，可以提高单表读写性能，推荐使用此选项。 按主键的hash值投递到不同Part

查看更多 →

Linux环境间拷贝文件报错: copy file failed 问题现象 日志显示“copy file failed”。 原因分析 原路径文件可能不存在或者没有访问权限。 目标路径可能没有访问权限。 处理办法 输入正确的可访问的文件路径即可。 父主题： 拷贝文件

查看更多 →

目标端多的列要求非空且没有默认值，源端insert数据，同步到目标端后多的列为null，不符合目标端要求。 目标端多的列设置固定默认值，且有唯一约束。源端insert多条数据后，同步到目标端后多的列为固定默认值，不符合目标端要求。 表等对象名同步到目标库后会转换成小写，如ABC会转换为abc。

查看更多 →

ert数据，同步到目标端后多的列为null，不符合目标端要求。 目标端多的列设置固定默认值，且有唯一约束。源端insert多条数据后，同步到目标端后多的列为固定默认值，不符合目标端要求。 不支持源数据库恢复到之前时间点的操作(PITR)。 不支持目标数据库恢复到全量同步时间段范围内的PITR操作。

查看更多 →

假如有一套集群，有20个Datanode：dn-1到dn-20，对应的IP地址为10.1.120.1到10.1.120.20，host2tags配置文件内容可以使用如下的表示方式。 主机名正则表达式 “/dn-\d/ = label-1”表示dn-1到dn-9对应的标签为label-1，即dn-1

查看更多 →

所有任务运行完成后，临时存放/tmp/hadoop-yarn/staging目录下文件 否 MR任务日志丢失 /tmp/hadoop-yarn/staging/history/done 固定目录 周期性扫描线程定期将done_intermediate的日志文件转移到done目录 否 MR任务日志丢失 /tmp/mr-history

查看更多 →

exist，该日志说明文件在操作的过程中被删除了。 搜索HDFS的NameNode的审计日志（Active NameNode的/var/log/Bigdata/audit/hdfs/nn/hdfs-audit-namenode.log）搜索文件名，确认文件的创建时间。 搜索文件创建到出现异常时

查看更多 →

上传文件到OBS CodeArts Build支持将构建产物上传至OBS中，您可以根据实际情况选择使用该构建步骤。 对象存储服务 （OBS）的使用限制请参考约束与限制。 上传文件到OBS前的准备工作 如果需要将文件上传到其他用户的OBS中，需执行以下操作： 通过项目入口方式访问CodeArts

查看更多 →

典型场景：从HDFS/OBS导出数据到SFTP服务器 操作场景 该任务指导用户使用Loader将数据从HDFS/OBS导出到SFTP服务器。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取S

查看更多 →

所有任务运行完成后，临时存放/tmp/hadoop-yarn/staging目录下文件 否 MR任务日志丢失 /tmp/hadoop-yarn/staging/history/done 固定目录 周期性扫描线程定期将done_intermediate的日志文件转移到done目录 否 MR任务日志丢失 /tmp/mr-history

查看更多 →

配置HDFS快速关闭文件功能 操作场景 默认情况下关闭HDFS文件时需要等待所有的Block都上报成功（处于COMPLETED状态）。因此HDFS的一部分写性能消耗为等待DataNode块上报以及NameNode处理块上报。对于一个负载较大的集群，等待的消耗对集群影响较大。HDF

查看更多 →

器 使用SFTP工具上传文件到Linux系统云服务器，详细操作请参考本地Linux主机使用SFTP上传文件到Linux云服务器 使用FTP站点上传文件到Linux系统云服务器，详细操作请参考本地Linux主机使用FTP上传文件到Linux云服务器 云服务器自带FTP上传吗？ FTP需要用户自己安装和配置。

查看更多 →

器 使用SFTP工具上传文件到Linux系统云服务器，详细操作请参考本地Linux主机使用SFTP上传文件到Linux云服务器 使用FTP站点上传文件到Linux系统云服务器，详细操作请参考本地Linux主机使用FTP上传文件到Linux云服务器 云服务器自带FTP上传吗？ FTP需要用户自己安装和配置。

查看更多 →

集的时序数据和服务器负载、CPU内存等系统状态数据、消息队列中的时序数据、应用程序的时序数据或者其他数据库中的时序数据导入到本地或者远程的IoTDB中。用户还可以将上述数据直接写成本地（或位于HDFS上）的TsFile文件。 用户可以将TsFile文件写入到HDFS上，进而满足H

查看更多 →

r执行恢复HDFS、HBase、Hive和NameNode数据时，无法访问集群。 每个备份任务可同时备份不同的数据源，每个数据源将生成独立的备份文件，每次备份的所有备份文件组成一个备份文件集，可用于恢复任务。备份任务支持将备份文件保存在Linux本地磁盘、本集群HDFS与备集群HDFS中。

查看更多 →