使用LZC压缩算法存储HDFS文件 配置场景 文件压缩带来了两个主要好处：减少了储存文件的空间，并且提高数据从磁盘读取和网络传输的速度。HDFS有gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC(Lempel-Ziv Compression)提供配

查看更多 →

配置文件备份存储库 场景说明 当系统成功发现客户端后，需要对客户端进行配置存储库操作。客户端产生的备份均将会存放至存储库中。 操作步骤 登录云备份控制台。 登录管理控制台。 单击管理控制台左上角的，选择区域。 单击“”，选择“存储 > 云备份 > 文件备份”。 在文件备份界面，选

查看更多 →

备份操作是将指定表或分区的数据，直接以Doris存储的文件的形式，上传到远端仓库中进行存储。当用户提交Backup请求后，系统内部会做如下操作： 快照及快照上传 备份都是对快照进行操作，快照阶段会对指定的表或分区数据文件进行快照。快照只是对当前数据文件产生一个硬链，耗时较少。快照后，对表进

查看更多 →

HDFS组件操作用户 在HDFS命令行显式添加要访问的OBS文件系统。 例如： 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 使用以下命令创建OBS文件系统下的目录： hdfs dfs -mkdir obs://OBS并行文件系统名称/hadoop

查看更多 →

<用于认证的业务用户> user.keytab文件位置请根据自己实际路径填写。 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input（hdfs dfs命令有同样的作用），创建对应目录。 在Linux系统HDFS客户端使用命令hadoop fs -put log1

查看更多 →

Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作，例如读文件、写文件等操作。 执行HDFS Shell的方法： 进入HDFS客户端如下目录，直接输入命令即可。例如： cd /opt/client/HDFS/hadoop/bin

查看更多 →

如果Export作业运行失败，在远端存储中产生的“__doris_export_tmp_xxx”临时目录，及已经生成的文件不会被删除，需手动删除。 如果Export作业运行成功，在远端存储中产生的“__doris_export_tmp_xxx”目录，根据远端存储的文件系统语义，可能会保留，也可能会被清除。

查看更多 →

将用户pom文件中的的hadoop-hdfs设置为： <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>${hadoop.version}</version>

查看更多 →

调测Hive Python样例程序 Python样例工程的命令行形式运行 赋予“python-examples”文件夹中脚本的可执行权限。在命令行终端执行以下命令： chmod +x python-examples -R。 在“python-examples/pyCLI_sec.

查看更多 →

Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作，例如读文件、写文件等操作。 执行HDFS Shell的方法： 进入HDFS客户端如下目录，直接输入命令即可。例如： cd /opt/client/HDFS/hadoop/bin

查看更多 →

Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作，例如读文件、写文件等操作。 执行HDFS Shell的方法： 进入HDFS客户端如下目录，直接输入命令即可。例如： cd /opt/client/HDFS/hadoop/bin

查看更多 →

Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作，例如读文件、写文件等操作。 执行HDFS Shell的方法： 进入HDFS客户端如下目录，直接输入命令即可。例如： cd /opt/client/HDFS/hadoop/bin

查看更多 →

）。 是，执行8。 否，执行9。 执行命令来重新配置目录的文件副本数（文件副本数选择DataNode节点数或者默认文件副本数）： hdfs dfs -setrep -w 文件副本数 /tmp/hadoop-yarn/staging/ 默认文件副本数通过如下方式获取： 登录Manager页面，选择“集群

查看更多 →

调测Hive Python样例程序 Python样例工程的命令行形式运行 赋予“python-examples”文件夹中脚本的可执行权限。在命令行终端执行以下命令： chmod +x python-examples -R。 在python-examples/pyCLI_sec.p

查看更多 →

其中，newname是由用户自定义的证书名称。 该命令执行后，会提示设置证书密码，并确认密码。请保存该密码，后续接入集群会使用。 将“.jks”文件分发到 MRS 集群的每个节点的相同路径，如“/tmp”，可以使用scp命令进行文件传输。同时，要确保omm用户有权限读取该文件，设置权限可以参考如下命令： chown -R

查看更多 →

MapReduce任务异常，临时文件未删除 用户问题 MapReduce任务异常临时文件为什么没有删除？ MR任务即MapReduce任务，关于MapReduce介绍请参考MapReduce。 问题现象 HDFS临时目录文件过多，占用内存。 原因分析 MapReduce任务提交时会将相关配置文件、jar

查看更多 →

S上存放作业输出文件地址，请设置为一个不存在的目录。 “hadoop-mapreduce-examples-3.3.1-*.jar”文件在不同版本的集群客户端目录下文件名有差异，以实际名称为准。 查看作业执行结果。 作业执行完成后，可执行以下命令查看作业输出文件。 hdfs dfs

查看更多 →

REST应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请参考官网上的描述以了解其使用：http://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/WebHDFS

查看更多 →

向HFS表中的存储文件的列族中插入一个文件，以name为列名，value为文件内容。 public void addFile(String name, byte[] value, long ts) 向HFS表中的存储文件的列族中插入一个文件，以name为列名，value为文件内容，ts为指定的时间戳。

查看更多 →

获取endpoint，即文件存储地址的前缀 endpoint为文件存储地址的前缀，该前缀加上传对象的路径，是实际访问对象的全路径。上传文件返回的是上传文件在桶上的路径。通过调用本节接口，返回endpoint，组装起来才是文件完整的访问地址。 URI GET AstroZero 域名

查看更多 →

通过执行“sqoop2-shell”脚本，带一个文件名作为参数，该文件中按行存储了多条命令，sqoop-shell工具将会按顺序执行文件中所有命令；或者在“sqoop2-shell”脚本后面通过“-c”参数附加一条命令，一次只执行一条命令。 sqoop-shell通过表1的命令来实现Loader各种功能。

查看更多 →