从Hive读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

配置跨集群互信下Hive on HBase 两个开启Kerberos认证的互信集群中，使用Hive集群操作HBase集群，将目的端HBase集群的HBase关键配置项配置到源端Hive集群的HiveServer中。 前提条件 两个开启Kerberos认证的安全集群已完成跨集群互信配置。

查看更多 →

配置跨集群互信下Hive on HBase 本章节指导在两个开启Kerberos认证的互信集群中，使用Hive集群操作HBase集群，将目的端HBase集群的HBase关键配置项配置到源端Hive集群的HiveServer中。 前提条件 两个开启Kerberos认证的安全集群已完成跨集群互信配置。

查看更多 →

0及之后版本支持静态服务池）和Yarn在部署节点可使用的CPU、I/O和内存总量。 实现服务级别的资源隔离，可将集群中的服务与其他服务隔离，使一个服务上的负载对其他服务产生的影响有限。 调度机制 静态服务资源支持基于时间的动态调度机制，可以在不同时间段为服务配置不同的资源量，优化客户业务运行环境，提高集群的效率。

查看更多 →

私有模板和公共模板的区别是什么 模板用于不同用户之间的项目共享，模板包括私有模板和公共模板，两者的区别如下所示。 私有模板：如果用户想要后续重复使用自己已创建的项目或想要将自己已创建的项目共享给同一租户下的其他用户，则需要将项目保存为私有模板。保存私有模板之前用户不需要创建私有模板的目录。

查看更多 →

容灾系统不仅保护数据，更重要的目的在于保证业务的连续性；而数据备份系统只保护不同时间点版本数据的可恢复。一般首次备份为全量备份，所需的备份时间会比较长，而后续增量备份则在较短时间内就可完成。 容灾可实现低至秒级的RPO；备份可设置一天最多24个不同时间点的自动备份策略，后续可将数据恢复至不同的备份点。

查看更多 →

SSD云盘和SSD本地盘的区别？ SSD云盘支持后期进行扩容，推荐您使用SSD云盘。两者的区别如下： SSD云盘： 使用SSD类型的EVS作为数据存储介质，存储容量更加灵活，且可以随着数据的增长，进行磁盘扩容操作。 由于SSD云盘不和E CS 规格进行强绑定，因此可以根据实际需求进行规格调整。

查看更多 →

热数据存储和冷数据存储的区别？ 热数据存储和冷数据存储最大的区别在于存储介质不同： 热数据存储是直接将频繁被查询或更新，对访问的响应时间要求很高的热数据存储在DN数据盘中。 冷数据存储将不更新，偶尔被查询，对访问的响应时间要求不高的冷数据存储在OBS中。 因为其存储介质的不同，决定

查看更多 →

删除和退订实例的区别是什么 针对不同计费模式的数据库实例，释放资源的方式不同。 对于“按需计费”模式的数据库实例，购买后无订单生成，根据业务需要释放资源时，在“实例管理”页面手动删除即可。 对于“包年/包月”模式的数据库实例，购买后会生成订单，您需要退订订单，从而释放数据库实例资源，详细操作请参见退订包周期实例。

查看更多 →

<spark-opts> 中的spark-archive-2x.zip路径需要根据实际HDFS文件路径进行修改。 修改上传后HDFS的“/user/developuser/myjobs/apps/spark2x”目录下的“hive-site.xml”中“hive.security.authenticator

查看更多 →

s”中的OozieSparkHBaseExample和OozieSparkHiveExample样例工程。 将准备 MRS 应用开发用户时得到的keytab文件“user.keytab”和“krb5.conf”用户认证凭据文件复制到OozieSparkHBaseExample和Ooz

查看更多 →

UDF注册信息有误，比如错误的格式或者不存在的类路径，系统将忽略这些错误的注册信息，并打印相应日志。 如果用户注册重复的Hive UDF，系统将只注册一次，并忽略重复的注册。 如果用户注册的Hive UDF与系统内部注册的相同，系统将会发生异常并无法正常启动。解决该异常需要用户删除对应的Hive UDF注册信息。 部署Hive

查看更多 →

HBase两个场景下的操作。 安全模式下Yarn和HBase的权限管理默认是开启的，因此在安全模式下默认需要配置Yarn和HBase权限。 在普通模式下，Yarn和HBase的权限管理默认是关闭的，即任何用户都有权限，因此普通模式下默认不需要配置Yarn和HBase权限。如果用户修改了YARN或者

查看更多 →

联系集群管理员增加各用户的句柄数。该配置为操作系统的配置，并非HBase或者HDFS的配置。建议集群管理员根据HBase和HDFS的业务量及各操作系统用户的权限进行句柄数设置。如果某一个用户需对业务量很大的HDFS进行很频繁且很多的操作，则为此用户设置较大的句柄数，避免出现以上错误。 使用ro

查看更多 →

HBase两个场景下的权限操作。 安全模式下Yarn和HBase的权限管理默认是开启的，因此在安全模式下默认需要配置Yarn和HBase权限。 在普通模式下，Yarn和HBase的权限管理默认是关闭的，即任何用户都有权限，因此普通模式下默认不需要配置Yarn和HBase权限。如果用户修改了Yarn

查看更多 →

详细操作请参见如何制作CSR文件？。 “自己生成CSR”的证书不支持一键部署到云产品。 手动生成CSR文件的同时会生成私钥文件，请务必妥善保管和备份您的私钥文件。私钥和数字证书一一对应，一旦丢失了私钥，您的数字证书也将不可使用。华为云不负责保管您的私钥，如果您的私钥丢失，您需要重新购买并替换您的数字证书。 “自己生

查看更多 →

容灾和备份的差别请参见容灾和备份的区别是什么。

查看更多 →

联系集群管理员增加各用户的句柄数。该配置为操作系统的配置，并非HBase或者HDFS的配置。建议集群管理员根据HBase和HDFS的业务量及各操作系统用户的权限进行句柄数设置。如果某一个用户需对业务量很大的HDFS进行很频繁且很多的操作，则为此用户设置较大的句柄数，避免出现以上错误。 使用ro

查看更多 →

本例中建表是保存在Hive的“default”数据库中，默认具有“default”数据库的“建表”权限。如果Hive的数据库不是“default”，则还需要执行以下步骤： 在“配置资源权限”的表格中选择“待操作集群的名称 > Hive > Hive读写权限”，勾选所需指定的数据库的“建表”，单击“确定”保存。

查看更多 →

本例中建表是保存在Hive的“default”数据库中，默认具有“default”数据库的“建表”权限。如果Hive的数据库不是“default”，则还需要执行以下步骤： 在“配置资源权限”的表格中选择“待操作集群的名称 > Hive > Hive读写权限”，勾选所需指定的数据库的“建表”，单击“确定”保存。

查看更多 →

HiveServer和HiveHCat进程故障 用户问题 客户集群HiveServer和WebHCat进程状态均为故障。 问题现象 客户MRS集群Master2节点上的HiveServer和WebHCat进程状态显示为故障，重启之后仍为故障状态。 原因分析 在Manager界面单

查看更多 →