数据拷贝 根据源集群与目标集群分别所处的区域及网络连通性，可分为以下几种数据拷贝场景。 同Region 当源集群与目标集群处于同一Region时，根据打通数据传输通道进行网络配置，打通网络传输通道。使用Distcp工具执行如下命令将源集群的HDFS、HBase、Hive数据文件以

查看更多 →

全局二级索引限制与约束 使用场景限制 GSI不支持与HIndex（LSI）同时使用，即不支持在同一个数据表上同时创建本地索引与全局索引。 索引表不支持容灾。 不支持直接对索引表执行DISABLE、DROP、MODIFY和TRUNCATE操作。 索引DDL操作支持修改索引状态、删除

查看更多 →

ImportTsv工具执行失败报“Permission denied”异常 问题 当使用与Region Server相同的Linux用户（例如omm用户）但不同的kerberos用户（例如admin用户）时，为什么ImportTsv工具执行失败报“Permission denied”的异常？

查看更多 →

。 必须在主备集群的所有节点的hosts文件中，配置主备集群所有机器的机器名与业务IP地址的对应关系。 若主集群的客户端安装在集群外的节点上，也需在该节点的hosts文件中配置主备集群所有机器的机器名与业务IP地址的对应关系。 主备集群间的网络带宽需要根据业务流量而定，不应少于最大的可能业务流量。

查看更多 →

数据拷贝 根据源集群与目标集群分别所处的区域及网络连通性，可分为以下几种数据拷贝场景。 同Region 当源集群与目标集群处于同一Region时，根据打通数据传输通道进行网络配置，打通网络传输通道。使用Distcp工具执行如下命令将源集群的HDFS、HBase、Hive数据文件以

查看更多 →

迁移索引数据时无需执行4。 向新集群表中导入索引数据。 在新集群的用户表中添加与之前版本用户表相同的索引（名称为'd'的列族不应该已经存在于用户表中）。 命令如下所示： hbase org.apache.hadoop.hbase.hindex.mapreduce.TableIndexer

查看更多 →

节点内DataNode磁盘使用率不均衡 问题背景与现象 单个节点内DataNode的各磁盘使用率不均匀。 例如： 189-39-235-71:~ # df -h Filesystem Size Used Avail Use% Mounted on /dev/xvda 360G

查看更多 →

执行Kafka Topic创建操作时发现Partition的Leader显示为none 问题背景与现象 在使用Kafka客户端命令创建Topic时，发现创建Topic Partition的Leader显示为none。 [root@10-10-144-2 client]# kafka-topics

查看更多 →

Oozie简介 Oozie是一个用来管理Hadoop任务的工作流引擎，Oozie流程基于有向无环图（Directed Acyclical Graph）来定义和描述，支持多种工作流模式及流程定时触发机制。易扩展、易维护、可靠性高，与Hadoop生态系统各组件紧密结合。 Oozie流程的三种类型：

查看更多 →

于 MRS Hadoop安装目下（例如“/opt/Bigdata/ FusionInsight _HD_*/1_*_NodeManager/install/hadoop/share/hadoop/common/lib”）自带了PgSQL驱动包“gsjdbc4-*.jar”，与开源PgSQL服务不兼容导致报错。

查看更多 →

更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具：下载地址。 并将OBSA-HDFS工具jar包（如hadoop-huaweicloud-3.1.1-hw-53.8.jar）上传到CDH各节点/opt/obsa-hdfs目录中。 hadoop-huaweicloud-x

查看更多 →

conf”中，设置“spark.sql.autoBroadcastJoinThreshold”的值。其中，<size>根据场景而定，但要求该值至少比其中一个表大。 spark.sql.autoBroadcastJoinThreshold = <size> 利用Hive CLI命令，设置阈值。在运行Join操作时，提前运行下面语句

查看更多 →

Oozie简介 Oozie是一个用来管理Hadoop任务的工作流引擎，Oozie流程基于有向无环图（Directed Acyclical Graph）来定义和描述，支持多种工作流模式及流程定时触发机制。易扩展、易维护、可靠性高，与Hadoop生态系统各组件紧密结合。 Oozie流程的三种类型：

查看更多 →

执行Kafka Topic删除操作时提示“AdminOperationException” 问题背景与现象 在使用Kafka客户端命令设置Topic ACL权限时，发现Topic无法被设置。 kafka-topics.sh --delete --topic test4 --zookeeper

查看更多 →

架构说明：该方案结合多端应用与先进技术，旨在提升企业的业务效率和用户体验。支持APP、小程序、H5、PC端等，并可灵活嵌入员工办公平台如Welink、企业微信、飞书等。借助华为云盘古大模型和数字内容Metastudio，高效展示企业业务价值，并支持营销内容的创作与分发。 此外，该方案还

查看更多 →

protection layer” 问题背景与现象 shell客户端或者其他客户端操作HDFS失败，报“No common protection layer between client and server”。 在集群外的机器，执行任意hadoop命令，如hadoop fs -ls /均失败，最底层的报错为"No

查看更多 →

当前CGroups仅用于限制CPU使用率。 配置描述 有关如何配置CPU隔离与安全的CGroups功能的详细信息，请参见Hadoop官网： http://hadoop.apache.org/docs/r3.1.1/hadoop-yarn/hadoop-yarn-site/NodeManagerCgroups

查看更多 →

成 与Apache Impala的紧密集成，使其成为将HDFS与Apache Parquet结合使用的更好选择 提供强大而灵活的一致性模型，允许您根据每个请求选择一致性要求，包括用于严格可序列化的一致性的选项 提供同时运行顺序读写和随机读写的良好性能 易于管理 高可用性。Mast

查看更多 →

成。 与Apache Impala的紧密集成，使其成为将HDFS与Apache Parquet结合使用的更好选择。 提供强大而灵活的一致性模型，允许您根据每个请求选择一致性要求，包括用于严格可序列化的一致性的选项。 提供同时运行顺序读写和随机读写的良好性能。 易于管理。 高可用性

查看更多 →

约束与限制 CDM 系统级限制和约束 DataArts Studio 实例赠送的CDM集群，推荐作为DataArts Studio管理中心数据连接的Agent代理使用，不建议同时作为Agent代理和运行数据迁移作业使用。 用于运行数据迁移作业的其他规格CDM集群可以在DataArts

查看更多 →

否 枚举 选择HDFS连接的运行模式： EMBEDDED：连接实例与CDM运行在一起，该模式性能较好。 STANDALONE：连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源（MRS、Hadoop或CloudTable），并且既有KERBEROS认证模式又有SIM

查看更多 →