Hive”，在概览页面查看“版本”获取。 yarn.resourcemanager.address：主ResourceManager实例的IP地址。可在Manager界面，选择“集群 > 服务 > Yarn > 实例”，查看主ResourceManager实例的业务IP地址；端口号可单击“配置”，在搜索框中搜索“yarn

查看更多 →

配置HBase主备集群数据自动备份 前提条件 主备集群已经安装并且启动。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 当主集群HBase服务关闭时，ZooKeeper和HDFS服务应该启动并运行。 该工具应该由启动HBase进程的系统用户运行。 如

查看更多 →

In First Out）的调度策略，但对于多并发的场景，使用FIFO策略容易导致短任务执行失败。因此在多并发的场景下，需要使用公平调度策略，防止任务执行失败。 在Spark中设置公平调度，具体请参考http://archive.apache.org/dist/spark/docs/3

查看更多 →

SparkPi，opt/client/Spark/spark/examples/jars/spark-examples-<version>.jar：用户调试时需要换成自己的主类和jar包路径。 -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,add

查看更多 →

keytab将失效，需要重新导出。 Keytab文件在仅安全模式集群下使用，普通模式集群下无需准备Keytab文件。 操作步骤 进入 CDM 主界面，进入集群管理界面。选择CDM集群后的“作业管理 > 连接管理 > 集群配置管理”。 在集群配置管理界面，选择“新建集群配置”，配置参数填写如下：

查看更多 →

灵活配置，提高了资源利用率，降低了成本。 企业级多租户 支持计算资源按租户隔离，数据权限控制到队列、作业，帮助企业实现部门间的数据共享和权限管理。 Serverless DLI DLI完全兼容Apache Spark、Apache Flink生态和接口，是集实时分析、离线分析、交

查看更多 →

根据报错信息定位问题原因。 例如，如下截图信息因为创建Spark Jar作业时主类名没有包含包路径，报找不到类名“SparkDemoObs”。 图17 报错信息 可以在“操作”列，单击“编辑”，修改“主类”参数为正确的：com.huawei.dli.demo.SparkDemoObs，单击“执行”重新运行该作业即可。

查看更多 →

RegionServer名称无法跳转到对应信息页。 操作步骤 以root用户登录主 OMS 所在节点，执行以下命令获取RegionServer对应的URL。 cat /opt/Bigdata/Apache-httpd*/conf/whitelist.txt |grep RegionServer

查看更多 →

据集成”模块，进入CDM首页。 图1 集群列表 “创建来源”列仅通过 DataArts Studio 服务进入数据集成界面可以看到。 在CDM主界面，单击左侧导航上的“集群管理”，选择CDM集群后的“作业管理 > 连接管理 > 新建连接”。选择连接器类型，如图2所示。 这里的连接器类

查看更多 →

ger在HA模式下可以有多个，但只有一个主JobManager。 Flink系统提供的关键能力： 低时延 提供ms级时延的处理能力。 Exactly Once 提供异步快照机制，保证所有数据真正只处理一次。 HA JobManager支持主备模式，保证无单点故障。 水平扩展能力

查看更多 →

时当对象的大小超过了此参数值则进行多段copy，且段大小为此参数值；否则进行简单copy。 fs.obs.copypart.threads.max 5368709120 否 对象桶rename相关配置，单个对象copy时如果进行了多段copy，多段copy线程池配置参数maxim

查看更多 →

Restart和NodeManager Restart。 当启用ResourceManager Restart时，升主后的ResourceManager就可以通过加载之前的主ResourceManager的状态信息，并通过接收所有NodeManager上container的状态信息，重

查看更多 →

HBase访问多ZooKeeper场景安全认证 场景说明 在同一个客户端进程内同时访问 FusionInsight ZooKeeper和第三方的ZooKeeper时，为了避免访问连接ZooKeeper认证冲突，提供了样例代码使HBase客户端访问FusionInsight ZooK

查看更多 →

或者跨可用区部署主备实例：主可用区和备可用区一致时，主机和备机会部署在同一个可用区；主可用区和备可用区不一致时，主机和备机会部署在不同的可用区，以提供不同可用区之间的故障转移能力和高可用性。 云数据库RDS支持在同一个可用区内或者跨可用区部署主备实例：主可用区和备可用区一致时，主

查看更多 →

0-beat9 <= Apache Log4j 2.x < 2.16.0（2.12.2 版本不受影响） 已知受影响的应用及组件：spring-boot-starter-log4j2/Apache Solr/Apache Flink/Apache Druid 安全版本：Apache Log4j

查看更多 →

HBase也可以部署多个HMaster，类似HDFS NameNode，当HMaster主节点出现故障时，HMaster备用节点会通过ZooKeeper获取主HMaster存储的整个HBase集群状态信息。即通过ZooKeeper实现避免HBase单点故障问题的问题。 父主题： HBase

查看更多 →

xml配置文件，查找相关参数。 vim hive-site.xml 常见问题 当出现以下报错的时候，需要修改 MRS 集群的manager页面切换HDFS的主备。 mysql> select * from hive_hdfs_test2; ERROR 1105 (HY000): errCode =

查看更多 →

据集成”模块，进入CDM首页。 图1 集群列表 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 在CDM主界面，单击左侧导航上的“集群管理”，选择CDM集群后的“作业管理 > 连接管理 > 新建连接”。选择连接器类型，如图2所示。 这里的连接器类

查看更多 →

sh 现有集群节点安装补丁 将“MRS_Log4j_Patch.tar.gz”上传至主OMS节点的“/home/omm”目录下。具体可参考如何上传本地文件到集群内节点？。 使用root用户登录主OMS节点，修改补丁工具相应权限，切到omm用户下，并解压补丁工具至当前目录。 chown

查看更多 →

行所产生的日志。 sendAlarm.log HBase告警检查脚本上报告警信息日志。 hbase-haCheck.log HMaster主备状态检测日志。 stop.log HBase服务进程启停操作日志。 审计日志 hbase-audit-<process_name>.log

查看更多 →

行所产生的日志。 sendAlarm.log HBase告警检查脚本上报告警信息日志。 hbase-haCheck.log HMaster主备状态检测日志。 stop.log HBase服务进程启停操作日志。 审计日志 hbase-audit-<process_name>.log

查看更多 →