”表示不限制。 DataNode容量规格 在HDFS中，Block以副本的形式存储在DataNode中，默认副本数为“3”，对应参数为“dfs.replication”。 集群中所有DataNode角色实例保存的Block总数为：HDFS Block * 3。集群中每个DataNode实例平均保存的Blocks=

查看更多 →

MRS 分布式文件系统在Apache Hadoop版本基础上，提供对文件内容的加密存储功能，避免敏感数据明文存储，提升数据安全性。业务应用只需对指定的敏感数据进行加密，加解密过程业务完全不感知。在文件系统数据加密基础上，Hive实现表级加密，HBase实现列族级加密，在创建表时指定采用

查看更多 →

元数据节点的调度存储和检索数据，定期向元数据及客户端发送所存储的文件块的列表。 文件块 HDFS中存储的最小逻辑单元。每个HDFS文件由一个或多个文件块存储。所有的文件块存储在DataNode中。 文件块副本 一个副本是存储在HDFS中的一些文件块拷贝件。同一个文件块存储多个拷贝件主要用于系统的可用性和容错。

查看更多 →

MapReduce开源增强特性：History Server优化解决日志小文件问题 运行在Yarn上的作业在执行完成后，NodeManager会通过LogAggregationService把产生的日志收集到HDFS上，并从本地文件系统中删除。日志收集到HDFS上以后由HistoryServer来进行统一的日志管理

查看更多 →

登录 FusionInsight Manager页面。 选择“集群 > 服务 > HDFS > 管理NameService”。 单击hacluster后的“添加”按钮。 在添加NameNode页面，“NameNode类型”选择“从”，单击“下一步”。 在分配角色页面，选择已规划的主机，添加从NameNode，单击“下一步”。

查看更多 →

设置： CLIENT_GC_OPTS="-Xmx1G" 在修改完后，使用如下命令刷新客户端配置，使之生效： source <客户端安装路径>/bigdata_env 问题二：如何设置HDFS客户端运行时的日志级别？ HDFS客户端运行时的日志是默认输出到管理控制台的，其级别默认为

查看更多 →

关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性是将那些需进行关联操作的文件存放在相同的数据节点上，在进行关联操作计算时，避免了到别的数据节点上获取数据的动作，降低了网络带宽的占用。 Client HDFS Client主要包括五种方式：JAVA

查看更多 →

每天新增数据量主要评估数据增长速度（可以按天/小时等周期维度）。在第一次全量迁移数据后，后续可以定期搬迁老集群新增数据，直到业务完成最终割接。 表5 新增数据量统计 大数据组件 待迁移的数据路径 新增数据量大小 HDFS/OBS（或其他文件存储系统） /user/helloworld XXX Hive

查看更多 →

。 单AZ存储：数据仅存储在单个可用区（AZ），成本更低。 单AZ存储 文件系统名称 文件系统的名称，需全局唯一，不能与已有的任何文件系统名称重复。 mrs-hive 策略 文件系统的读写权限控制。 私有 归档数据直读 通过归档数据直读，您可以直接下载存储类别为归档存储的对象，而无需提前恢复。

查看更多 →

hdfs.close(); } 查找某个文件在HDFS集群的位置 通过FileSystem.getFileBlockLocation（FileStatus file，long start，long len）可查找指定文件在HDFS集群上的位置，其中

查看更多 →

Hive表的Location支持跨OBS和HDFS路径吗 问题 Hive表的location支持跨OBS和HDFS路径吗？ 回答 Hive存储在OBS上的普通表，支持表location配置为hdfs路径。 同一个Hive服务中可以分别创建存储在OBS上的表和存储在HDFS上的表。 Hive存储在OBS上的分区

查看更多 →

部分数据可以在本AZ内读写，依赖于Spark/Hive调度感知数据的本地性。 AZ不健康有三种： 计算资源（Yarn）健康，存储资源（HDFS）不健康，任务虽然可以提交到本AZ，但是数据无法在本AZ内读写，导致任务提交到本AZ无意义。 计算资源（Yarn）不健康，存储资源（HDF

查看更多 →

设备在一个位置上报数据成功，在另一个位置上报失败？ 请联系NB-IoT网络运营商，确认NB-IoT卡是否有地域限制，以及当地NB网络状态。 父主题： 数据上报

查看更多 →

设备在一个位置上报数据成功，在另一个位置上报失败 请联系NB网络运营商，确认NB卡是否有地域限制，以及当地NB网络状态。 父主题： 设备集成

查看更多 →

CarbonData结构 CarbonData作为Spark内部数据源运行，不需要额外启动集群节点中的其他进程，CarbonData Engine在Spark Executor进程之中运行。 图2 CarbonData结构 存储在CarbonData Table中的数据被分成一些CarbonData数

查看更多 →

群Manager。 已添加关联了HDFS存储资源的租户。 管理租户目录 进入租户管理页面。 通过MRS管理控制台操作：在MRS管理控制台单击待操作的集群，在集群详情页，单击“租户管理”。 通过Manager操作（MRS 3.x及之后版本集群）：在Manager页面单击“租户资源”。

查看更多 →

尝试从其他的DataNode节点上读取数据。 数据保密性 MRS分布式文件系统在Apache Hadoop版本基础上提供对文件内容的加密存储功能，避免敏感数据明文存储，提升数据安全性。 业务应用只需对指定的敏感数据进行加密，加解密过程业务完全不感知。在文件系统数据加密基础上，Hi

查看更多 →

E CS 资源在备份存储库中 规则详情 表1 规则详情 参数 说明 规则名称 ecs-protected-by-cbr 规则展示名 ECS资源在备份存储库中 规则描述 ECS资源没有关联备份存储库，视为“不合规”。 标签 cbr、ecs 规则触发方式 配置变更 规则评估的资源类型 ecs

查看更多 →

设备在一个位置上报数据成功，在另一个位置上报失败？ 请联系NB-IoT网络运营商，确认NB-IoT卡是否有地域限制，以及当地NB网络状态。 父主题： 数据上报（联通用户专用）

查看更多 →

MRS集群支持将数据存储在不同Core节点，某个Core或Task节点出现问题时，可能导致整个集群状态显示为“异常”，用户可以在MRS指定角色实例退服，使退服的角色实例不再提供服务。 在排除故障后，可以将已退服的角色实例入服。 MRS集群支持退服、入服的角色实例包括： HDFS的DataNode角色实例

查看更多 →

Hive表的Location支持跨OBS和HDFS路径吗 问题 Hive表的location支持跨OBS和HDFS路径吗？ 回答 Hive存储在OBS上的普通表，支持表location配置为hdfs路径。 同一个Hive服务中可以分别创建存储在OBS上的表和存储在HDFS上的表。 Hive存储在OBS上的分区

查看更多 →