备份操作是将指定表或分区的数据，直接以Doris存储的文件的形式，上传到远端仓库中进行存储。当用户提交Backup请求后，系统内部会做如下操作： 快照及快照上传 备份都是对快照进行操作，快照阶段会对指定的表或分区数据文件进行快照。快照只是对当前数据文件产生一个硬链，耗时较少。快照后，对表进

查看更多 →

<用于认证的业务用户> user.keytab文件位置请根据自己实际路径填写。 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input（hdfs dfs命令有同样的作用），创建对应目录。 在Linux系统HDFS客户端使用命令hadoop fs -put log1

查看更多 →

/tmp/input/file1 清除文件 hadoop fs -rm -r /tmp/input/file1 执行如下命令查询HDFS命令的帮助hadoop fs --help HDFS命令行参考请参见官网： https://hadoop.apache.org/docs/stable/hadoop-proj

查看更多 →

将用户pom文件中的的hadoop-hdfs设置为： <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>${hadoop.version}</version>

查看更多 →

OBS or Hadoop) 功能描述 在当前数据库创建一个HDFS或OBS外表，用来访问存储在HDFS或者OBS分布式集群文件系统上的结构化数据。也可以导出ORC和PARQUET格式数据到HDFS或者OBS上。 数据存储在OBS：数据存储和计算分离，集群存储成本低，存储量不受限制，

查看更多 →

获取endpoint，即文件存储地址的前缀 endpoint为文件存储地址的前缀，该前缀加上传对象的路径，是实际访问对象的全路径。上传文件返回的是上传文件在桶上的路径。通过调用本节接口，返回endpoint，组装起来才是文件完整的访问地址。 URI GET AstroZero 域名

查看更多 →

SparkRTC云端录制文件存储在哪里？ 录制内容不断上传至您预先设定的云存储中，具体请参见云端录制管理。 父主题： 录制相关

查看更多 →

Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作，例如读文件、写文件等操作。 执行HDFS Shell的方法： 进入HDFS客户端如下目录，直接输入命令即可。例如： cd /opt/client/HDFS/hadoop/bin

查看更多 →

如果Export作业运行失败，在远端存储中产生的“__doris_export_tmp_xxx”临时目录，及已经生成的文件不会被删除，需手动删除。 如果Export作业运行成功，在远端存储中产生的“__doris_export_tmp_xxx”目录，根据远端存储的文件系统语义，可能会保留，也可能会被清除。

查看更多 →

MapReduce任务异常，临时文件未删除 用户问题 MapReduce任务异常临时文件为什么没有删除？ MR任务即MapReduce任务，关于MapReduce介绍请参考MapReduce。 问题现象 HDFS临时目录文件过多，占用内存。 原因分析 MapReduce任务提交时会将相关配置文件、jar

查看更多 →

Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作，例如读文件、写文件等操作。 执行HDFS Shell的方法： 进入HDFS客户端如下目录，直接输入命令即可。例如： cd /opt/client/HDFS/hadoop/bin

查看更多 →

Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作，例如读文件、写文件等操作。 执行HDFS Shell的方法： 进入HDFS客户端如下目录，直接输入命令即可。例如： cd /opt/client/HDFS/hadoop/bin

查看更多 →

Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作，例如读文件、写文件等操作。 执行HDFS Shell的方法： 进入HDFS客户端如下目录，直接输入命令即可。例如： cd /opt/client/HDFS/hadoop/bin

查看更多 →

绑定委托 步骤三：创建OBS文件系统 登录OBS控制台。 选择“并行文件系统 > 创建并行文件系统”。 填写文件系统名称，例如“mrs-demo01”。 其他参数请根据需要填写。 图5 创建并行文件系统 单击“立即创建”。 在OBS控制台并行文件系统列表中，单击文件系统名称进入详情页面。

查看更多 →

kinit 组件业务用户 在hdfs命令行显式添加要访问的OBS文件系统。 例如： 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 例如，执行以下命令访问“mrs-word001”并行文件系统，返回文件列表即表示访问OBS成功，如图1所示：

查看更多 →

在Yarn命令行显式添加要访问的OBS文件系统。 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 使用以下命令创建OBS文件系统下的目录： hdfs dfs -mkdir obs://OBS并行文件系统名称/hadoop1 执行以下Yarn任务访问OBS：

查看更多 →

HDFS组件操作用户 在HDFS命令行显式添加要访问的OBS文件系统。 例如： 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 使用以下命令创建OBS文件系统下的目录： hdfs dfs -mkdir obs://OBS并行文件系统名称/hadoop

查看更多 →

调测Hive Python样例程序 Python样例工程的命令行形式运行 赋予“python-examples”文件夹中脚本的可执行权限。在命令行终端执行以下命令： chmod +x python-examples -R。 在“python-examples/pyCLI_sec.

查看更多 →

自定义Hive表行分隔符 操作场景 通常情况下，Hive以文本文件存储的表会以回车作为其行分隔符，即在查询过程中，以回车符作为一行表数据的结束符。但某些数据文件并不是以回车分隔的规则文本格式，而是以某些特殊符号分隔其规则文本。 MRS Hive支持指定不同的字符或字符组合作为Hi

查看更多 →

边缘运维工具edgectl是一个帮助用户在边缘侧诊断故障问题的工具，支持定位节点IEF软件安装、IEF软件故障、应用程序故障等常见问题。该工具还支持一键式收集节点全量IEF数据进行远程故障诊断。同时，为应对节点损坏问题，支持节点上IEF软件进行数据无损迁移。diagnose（诊断）：即对特定的故障场景进行全方位的诊断，定位故障原因。col

查看更多 →

service_id Integer 命令所属服务ID。 最小值：0 最大值：99999999999999999 command_id Integer 命令ID。 最小值：0 最大值：99999999999999999 command_name String 命令名称。 最小长度：0 最大长度：255

查看更多 →