摘要文件简介及存储路径 摘要文件均包含前一小时内提交到OBS桶事件文件的名称、事件文件的哈希值以及前一摘要文件的数字签名。同时摘要文件的数字签名存储在摘要文件对象的元数据属性中。 OBS桶名>CloudTraces>地区标示>时间标示：年>时间标示：月>时间标示：日>trackername>Digest>服务类型目录

查看更多 →

要的元数据恢复。 需要导出的元数据包括HDFS文件属主/组及权限信息、Hive表描述信息。 HDFS元数据导出 HDFS数据需要导出的元数据信息包括文件及文件夹的权限和属主/组信息，可通过如下HDFS客户端命令导出。 $HADOOP_HOME/bin/hdfs dfs -ls -R

查看更多 →

OUTFILE命令进行查询结果的导出操作。 导出命令不会检查文件及文件路径是否存在。是否会自动创建路径、或是否会覆盖已存在文件，由远端存储系统的语义决定。 如果在导出过程中出现错误，可能会有导出文件残留在远端存储系统上，Doris不会清理这些文件，需要手动清理。 导出命令的超时时间同查询的超时时间，可以通过SET

查看更多 →

通过控制台使用已有极速文件存储 登录CCE控制台，单击集群名称进入集群。 静态创建存储卷声明和存储卷。 在左侧导航栏选择“存储”，在右侧选择“存储卷声明”页签。单击右上角“创建存储卷声明”，在弹出的窗口中填写存储卷声明参数。 参数 描述 存储卷声明类型 本文中选择“极速文件存储”。 PVC名称

查看更多 →

要的元数据恢复。 需要导出的元数据包括HDFS文件属主/组及权限信息、Hive表描述信息。 HDFS元数据导出 HDFS数据需要导出的元数据信息包括文件及文件夹的权限和属主/组信息，可通过如下HDFS客户端命令导出。 $HADOOP_HOME/bin/hdfs dfs -ls -R

查看更多 →

通过控制台使用已有极速文件存储 登录CCE控制台，单击集群名称进入集群。 静态创建存储卷声明和存储卷。 在左侧导航栏选择“存储”，在右侧选择“存储卷声明”页签。单击右上角“创建存储卷声明”，在弹出的窗口中填写存储卷声明参数。 参数 描述 存储卷声明类型 本文中选择“极速文件存储”。 PVC名称

查看更多 →

Trash/Current/: status [403] 问题原因 hadoop删除文件时会将文件先移动到.Trash目录，若该目录没有权限则出现403报错。 解决方法 方案一： 使用hadoop fs -rm -skipTrash命令来删除文件。 方案二： 在集群对应的委托中添加访问.Trash目录的权限。

查看更多 →

，需要使用安全加密通道，配置如下参数。安全Hadoop RPC相关信息请参考： MRS 3.2.0之前版本：https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-common/SecureMode.htm

查看更多 →

spark-shell执行SQL跨文件系统load数据到Hive表失败 用户问题 使用spark-shell命令执行SQL或者spark-submit提交的Spark任务里面有SQL的load命令，并且原数据和目标表存储位置不是同一套文件系统，上述两种方式MapReduce任务启动时会报错。

查看更多 →

xml配置文件，Hive组件中包含了hive-site.xml配置。 进入组件中的配置文件查看参数。 HDFS组件查看。 cd ./HDFS/hadoop/etc/ 进入hadoop目录。 cd hadoop/hdfs-site.xml 打开hdfs-site.xml配置文件，查找相关参数。

查看更多 →

using /opt/hadoop-2.10.x/share/hadoop/common/hadoop-common-2.10.x.jar 配置Hadoop 修改Hadoop配置文件core-site.xml。 执行以下命令，进入编辑页面。 vim /opt/hadoop-2.10.x/

查看更多 →

HDFS客户端常用命令 命令 说明 样例 hdfs dfs -mkdir 文件夹名称 创建文件夹 hdfs dfs -mkdir /tmp/mydir hdfs dfs -ls 文件夹名称 查看文件夹 hdfs dfs -ls /tmp hdfs dfs -put 客户端节点上本地文件 HDFS指定路径

查看更多 →

HDFS客户端常用命令 命令 说明 样例 hdfs dfs -mkdir 文件夹名称 创建文件夹 hdfs dfs -mkdir /tmp/mydir hdfs dfs -ls 文件夹名称 查看文件夹 hdfs dfs -ls /tmp hdfs dfs -put 客户端节点上本地文件 HDFS指定路径

查看更多 →

如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 直接执行HDFS Shell命令。例如： hdfs dfs -ls / HDFS客户端常用命令 常用的HDFS客户端命令如下表所示。 更多命令可参考https://hadoop.apache

查看更多 →

xml配置文件，Hive组件中包含了hive-site.xml配置。 进入组件中的配置文件查看参数。 HDFS组件查看。 cd ./HDFS/hadoop/etc/ 进入hadoop目录。 cd hadoop/hdfs-site.xml 打开hdfs-site.xml配置文件，查找相关参数。

查看更多 →

调测Hive Python3样例程序 Python3样例工程的命令行形式运行 赋予“python3-examples”文件夹中脚本的可执行权限。在命令行终端执行以下命令： chmod +x python3-examples -R。 将“python3-examples/pyCLI_sec

查看更多 →

-f pvc-sfs-auto-example.yaml 命令执行完成后会在集群所在VPC内创建一个文件存储，您可以在“存储管理 > 文件存储卷”中查看该文件系统，也可以在SFS的控制台查看该文件系统。 父主题： 文件存储卷

查看更多 →

使用LZC压缩算法存储HDFS文件 配置场景 文件压缩带来了两个主要好处：减少了储存文件的空间，并且提高数据从磁盘读取和网络传输的速度。HDFS有gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC(Lempel-Ziv Compression)提供配

查看更多 →

调测Hive Python3样例程序 Python3样例工程的命令行形式运行 赋予“python3-examples”文件夹中脚本的可执行权限。在命令行终端执行以下命令： chmod +x python3-examples -R。 在python3-examples/pyCLI_sec

查看更多 →

使用LZC压缩算法存储HDFS文件 配置场景 文件压缩带来了两个主要好处：减少了储存文件的空间，并且提高数据从磁盘读取和网络传输的速度。HDFS有gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC(Lempel-Ziv Compression)提供配

查看更多 →

配置文件备份存储库 场景说明 当系统成功发现客户端后，需要对客户端进行配置存储库操作。客户端产生的备份均将会存放至存储库中。 操作步骤 登录云备份控制台。 登录管理控制台。 单击管理控制台左上角的，选择区域。 单击“”，选择“存储 > 云备份 > 文件备份”。 在文件备份界面，选

查看更多 →