使用LZC压缩算法存储HDFS文件 配置场景 文件压缩带来了两个主要好处：减少了储存文件的空间，并且提高数据从磁盘读取和网络传输的速度。HDFS有gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC(Lempel-Ziv Compression)提供配

查看更多 →

通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）。 Authorization 否 String 使用AK/SK方式认证时必选，携带的鉴权信息。 X-Sdk-Date 否 String 使用AK/SK方式认证时必选，请求的发生时间。 表3 请求Body参数 参数 是否必选

查看更多 →

在HDFS页面列表中，单击待删除HDFS路径所在行的“删除”。 查看操作历史 在HDFS页面列表中，单击待查看操作历史的HDFS路径所在行的“操作历史”。 查看历史版本信息 在HDFS页面列表中，单击待查看历史版本信息的HDFS路径所在行的“历史版本信息”。 （可选）可单击历史版本所在行的“对比当前版本”，查看版本差异。

查看更多 →

OBS的数据存储在哪里？ 在OBS上创建桶时，您可以指定一个区域。在该区域内，您的数据存储在多台设备上。 父主题： 产品咨询

查看更多 →

自动创建存储，需要输入存储的容量。 存储类型选择云硬盘时，需要先选择创建云硬盘的可用区。 选择存储子类型。 高IO：指由SAS存储介质构成的云硬盘。 普通IO：指由SATA存储介质构成的云硬盘。 超高IO：指由SSD存储介质构成的云硬盘。 输入存储容量，单位为GB。请不要超过存储容量配额，否则会创建失败。

查看更多 →

Path格式来指定源属性，以作为输出属性的取值。 类型： STRING 必选： 是 约束： 需要符合正则表达式： ^.{1,1000}$ 标签： 配置项英文名：tag 说明： 是否作为时序分析的标签。其对应属性的类型必须为STRING，如果属性的类型不STRING，此配置忽略。 类型：

查看更多 →

单击页面左侧导航栏的“云服务监控”，进入“云服务监控”页面，单击待配置的云服务名称，单击右上角“返回旧版”。 选择待查看的云服务资源所在行的“配置数据存储”，进入“配置数据存储”页面。 或单击页面左侧的“主机监控”，选择待查看的E CS 资源所在行的“操作 > 配置数据存储”，进入“配置数据存储”页面。

查看更多 →

配置数据存储 配置数据存储是指对所有监控指标原始数据的保存。如果您尚未配置数据存储的OBS桶，则该项显示为空。在如图2所示的计算单元列表中，找到所需要的计算单元，然后单击“配置数据存储”可以将监控数据永久存储到OBS桶中，配置完成后，“永久数据存储 ”将显示所配置的OBS路径。 配置数据存储

查看更多 →

Hdfs、大数据相关驱动安装与Standalone模式local配置 配置驱动 hadoop依赖.zip。 影响数据源中hdfs数据源的连接。 压缩包内的jar包放入工作目录：lib\edi\hadoop目录下。 此目录会内自带edi-hadoop-deps-4.4.1-SNAPSHOT

查看更多 →

参照支持的API的细节。例如，对于globStatus，“/opt/hadoop/*”将匹配“/opt/hadoop”文件夹下的一切。“/opt/*/hadoop”将匹配/“opt”目录的子目录下的所有hadoop文件夹。 对于globStatus，分别匹配每个路径组件的glob

查看更多 →

delimiter：导出文件的行分隔符。 tablet num：总Tablet 数量。 broker：使用的Broker的名称。 coord num：查询计划的个数。 Path 远端存储上的导出路径。 CreateTime/StartTime/FinishTime： 作业的创建时间、开始调度时间和结束时间。

查看更多 →

提升HDFS写数据性能 操作场景 在HDFS中，通过调整属性的值，使得HDFS集群更适应自身的业务情况，从而提升HDFS的写性能。 操作步骤 参数入口： 在 FusionInsight Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置”，选择“全部配置”。在搜索框中输入参数名称。

查看更多 →

参照支持的API的细节。例如，对于globStatus，“/opt/hadoop/*”将匹配“/opt/hadoop”文件夹下的一切。“/opt/*/hadoop”将匹配/“opt”目录的子目录下的所有hadoop文件夹。 对于globStatus，分别匹配每个路径组件的glob

查看更多 →

提升HDFS写数据性能 操作场景 在HDFS中，通过调整属性的值，使得HDFS集群更适应自身的业务情况，从而提升HDFS的写性能。 本章节适用于 MRS 3.x及后续版本。 操作步骤 参数入口： 在FusionInsight Manager系统中，选择“集群 > 待操作集群的名称 >

查看更多 →

部或之间进行大规模数据复制的工具，它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。 配置指南 参考Hadoop对接OBS中hadoop-huaweicloud的安装和配置方法，完成OBS相关配置。

查看更多 →

hdfs_path 格式 无。 说明 HDFS的路径，如“hdfs:///tmp”。 父主题： 标示符

查看更多 →

HDFS HDFS jar包冲突列表 Jar包名称 描述 处理方案 hadoop-plugins-*.jar HDFS可以直接使用开源同版本的hadoop包运行样例代码，但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider

查看更多 →

HDFS HDFS jar包冲突列表 Jar包名称 描述 处理方案 hadoop-plugins-*.jar HDFS可以直接使用开源同版本的hadoop包运行样例代码，但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider

查看更多 →

HDFS HDFS基本原理 HDFS HA方案介绍 HDFS与其他组件的关系 HDFS开源增强特性 父主题： 组件介绍

查看更多 →

如何迁移Hive/HDFS的数据到ClickHouse 问题 如何迁移Hive/HDFS的数据到ClickHouse。 回答 可以将Hive中的数据导出为CSV文件，再将CSV文件导入到 ClickHouse。 从Hive中导出数据为 CSV： hive -e "select *

查看更多 →

如何迁移Hive/HDFS的数据到ClickHouse 问题 如何迁移Hive/HDFS的数据到ClickHouse。 回答 可以将Hive中的数据导出为CSV文件，再将CSV文件导入到 ClickHouse。 从Hive中导出数据为 CSV： hive -e "select *

查看更多 →