HDFS Colocation 功能简介 同分布（Colocation）功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性，将那些需进行关联操作的文件存放在相同数据节点上，在进行关联操作计算时避免了到别的数据节点上获取数据，大大降低网络带宽的占用。

查看更多 →

使用HDFS HDFS文件系统目录简介 HDFS用户权限管理 HDFS客户端使用实践 快速使用Hadoop 配置HDFS文件回收站机制 配置HDFS DataNode数据均衡 配置HDFS DiskBalancer磁盘均衡 配置HDFS Mover命令迁移数据 配置HDFS文件目录标签策略（NodeLabel）

查看更多 →

HDFS连接 介绍 通过HDFS连接，可以对 MRS 、 FusionInsight HD或开源Hadoop的HDFS抽取、加载文件，支持 CS V、Parquet和二进制格式。 连接样例 { "links": [ { "link-config-values":

查看更多 →

存储 存储是保存数据的对象，通常来说，同一种设备的数据会保存在同一个存储中。存储中定义了设备的标签与设备的属性。其中设备ID（deviceId）就是最常用的一种标签（tag）。一个标签包括标签名与标签值，例如设备ID：标签名为 deviceId，而它的标签值则是具体的某个设备ID

查看更多 →

存储 存储概述 存储基础知识 云硬盘存储（EVS） 文件存储（SFS） 极速文件存储（SFS Turbo） 对象存储（OBS） 专属存储（DSS） 本地持久卷（Local PV） 临时存储卷（EmptyDir） 主机路径（HostPath） 存储类（StorageClass） 存储管理最佳实践

查看更多 →

String JS脚本反爬虫规则防护模式 anticrawler_except_url: 防护所有路径模式，在该模式下，查询的JS脚本反爬虫规则为排除的防护路径规则 anticrawler_specific_url: 防护指定路径模式，在该模式下，查询的JS脚本反爬虫规则为指定要防护的路径规则

查看更多 →

存储 华为云为您提供多种数据存储方式，每种存储方式都具有独特的性能和耐用性组合。这些存储选项可以单独使用，也可以组合使用，以满足您的要求。以下介绍华为云SAP解决方案的存储方式及其主要用途。 云硬盘（EVS） 通过云硬盘服务，华为云提供可扩展的虚拟块存储设备。您可以在线创建云硬盘

查看更多 →

存储 云备份 CBR 云硬盘 EVS 父主题： SCP授权参考

查看更多 →

应用场景示例 普通I/O sata 后端存储由SATA存储介质提供，适用于大容量，读写速率要求不高，事务性处理较少的应用场景。 开发测试、企业办公应用。 高I/O sas 后端存储由SAS存储介质提供，适用于性能相对较高，读写速率要求高，有实时数据存储需求应用场景。 创建文件系统、分布式文件共享。

查看更多 →

存储 云硬盘存储（EVS） 文件存储（SFS） 极速文件存储（SFS Turbo） 对象存储（OBS） 临时路径（EmptyDir） 增加Pod的临时存储容量

查看更多 →

存储 创建NAS存储 权限策略 管理NAS存储 删除NAS存储 配置 服务器 组挂载策略 父主题： 管理员操作指南

查看更多 →

存储 存储扩容 跨账号挂载对象存储 通过StorageClass动态创建SFS Turbo子目录 1.15集群如何从Flexvolume存储类型迁移到CSI Everest存储类型 自定义StorageClass 使用延迟绑定的云硬盘（csi-disk-topology）实现跨AZ调度

查看更多 →

配置HDFS用户访问HDFS文件权限 配置HDFS目录权限 默认情况下，某些HDFS的文件目录权限为777或者750，存在安全风险。建议您在安装完成后修改该HDFS目录的权限，增加用户的安全性。 在HDFS客户端中，使用具有HDFS管理员权限的用户，执行如下命令，将“/user”的目录权限进行修改。

查看更多 →

配置HDFS用户访问HDFS文件权限 配置HDFS目录权限 默认情况下，某些HDFS的文件目录权限为777或者750，存在安全风险。建议您在安装完成后修改该HDFS目录的权限，增加用户的安全性。 在HDFS客户端中，使用具有HDFS管理员权限的用户，执行如下命令，将“/user”的目录权限进行修改。

查看更多 →

。例如，图2中JS脚本反爬虫共记录了18次事件，其中，“js挑战”（WAF返回JS代码）为16次，“js验证”（WAF完成JS验证）为2次，“其他”（即爬虫伪造WAF认证请求）为0次。 图2 JS脚本反爬虫防护数据 网站反爬虫“js挑战”的防护动作为“仅记录”，“js验证”的防护

查看更多 →

使用HDFS快照快速恢复组件业务数据 操作场景 使用DistCp备份数据时，本集群HDFS中将保存备份数据的快照信息。FusionInsight Manager支持使用本地的快照快速恢复数据，减少从备集群恢复数据使用的时间。 管理员可以通过FusionInsight Manage

查看更多 →

为增强可靠性，每个节点都有一个副本，副本会占用一半的存储空间，选择容量时副本容量会自动翻倍存储。 数据仓库系统会备份数据，生成索引、临时缓存文件、运行日志等内容，并占用存储容量。每个节点实际存储的数据，大致为总存储容量的一半。 父主题： 数据迁移

查看更多 →

配置Hive分区元数据冷热存储 分区元数据冷热存储介绍 为了减轻集群元数据库压力，将长时间未使用过的指定范围的分区相关元数据移动到备份表，这一过程称为分区数据冻结，冻结的分区数据称为冷分区，未冻结的分区称为热分区，存在冷分区的表称为冻结表。将被冻结的数据重新移回原元数据表中，这一过程称为分区数据解冻。

查看更多 →

解决方案：必须是系统管理员才能更改外部数据包装器的owner。 level： ERROR GS_138150049 错误码： permission denied to create foreign-data wrapper %s. 解决方案：必须是系统管理员才能创建外部数据包装器。 level：

查看更多 →

表示不限制。 DataNode容量规格 在HDFS中，Block以副本的形式存储在DataNode中，默认副本数为“3”，对应参数为“dfs.replication”。 集群中所有DataNode角色实例保存的Block总数为：HDFS Block * 3。集群中每个DataNode实例平均保存的Blocks=

查看更多 →

postinstallDetail.log HDFS服务安装后启动前工作日志。 hdfs-service-check.log HDFS服务启动是否成功的检查日志。 hdfs-set-storage-policy.log HDFS数据存储策略日志。 cleanupDetail.log HDFS服务卸载时候的清理日志。

查看更多 →