SparkPi，opt/client/Spark/spark/examples/jars/spark-examples-<version>.jar：用户调试时需要换成自己的主类和jar包路径。 -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,add

查看更多 →

根据报错信息定位问题原因。 例如，如下截图信息因为创建Spark Jar作业时主类名没有包含包路径，报找不到类名“SparkDemoObs”。 图17 报错信息 可以在“操作”列，单击“编辑”，修改“主类”参数为正确的：com.huawei.dli.demo.SparkDemoObs，单击“执行”重新运行该作业即可。

查看更多 →

keytab将失效，需要重新导出。 Keytab文件在仅安全模式集群下使用，普通模式集群下无需准备Keytab文件。 操作步骤 进入 CDM 主界面，进入集群管理界面。选择CDM集群后的“作业管理 > 连接管理 > 集群配置管理”。 在集群配置管理界面，选择“新建集群配置”，配置参数填写如下：

查看更多 →

0-beat9 <= Apache Log4j 2.x < 2.16.0（2.12.2 版本不受影响） 已知受影响的应用及组件：spring-boot-starter-log4j2/Apache Solr/Apache Flink/Apache Druid 安全版本：Apache Log4j

查看更多 →

ger在HA模式下可以有多个，但只有一个主JobManager。 Flink系统提供的关键能力： 低时延 提供ms级时延的处理能力。 Exactly Once 提供异步快照机制，保证所有数据真正只处理一次。 HA JobManager支持主备模式，保证无单点故障。 水平扩展能力

查看更多 →

为不可为空，Spark会保持该配置要求，不会自动转换为可空的字段。 Spark2.4.x：在Spark 2.4.x版本中，当用户指定的schema包含不可为空的字段时，Spark会将这些不可为null的模式转换为可空的。 Spark3.3.x：Spark不会自动转换为可空的字段。

查看更多 →

Restart和NodeManager Restart。 当启用ResourceManager Restart时，升主后的ResourceManager就可以通过加载之前的主ResourceManager的状态信息，并通过接收所有NodeManager上container的状态信息，重

查看更多 →

据集成”模块，进入CDM首页。 图1 集群列表 “创建来源”列仅通过 DataArts Studio 服务进入数据集成界面可以看到。 在CDM主界面，单击左侧导航上的“集群管理”，选择CDM集群后的“作业管理 > 连接管理 > 新建连接”。选择连接器类型，如图2所示。 这里的连接器类

查看更多 →

RegionServer名称无法跳转到对应信息页。 操作步骤 以root用户登录主 OMS 所在节点，执行以下命令获取RegionServer对应的URL。 cat /opt/Bigdata/Apache-httpd*/conf/whitelist.txt |grep RegionServer

查看更多 →

配置”应用程序”，路径指向上一步上传至OBS的Spark jar包。 配置委托。选择提交 DLI 作业所需的委托。自定义委托请参考创建DLI自定义委托 。 配置”主类（--class）”，为上一步中所写的，包含需要执行的main函数的类的全名。 在”Spark参数（--conf）“处也可以配置Hudi参数，但是需要额外添加前缀“spark

查看更多 →

HBase也可以部署多个HMaster，类似HDFS NameNode，当HMaster主节点出现故障时，HMaster备用节点会通过ZooKeeper获取主HMaster存储的整个HBase集群状态信息。即通过ZooKeeper实现避免HBase单点故障问题的问题。 父主题： HBase

查看更多 →

标签命名规则 参数 规则 样例 标签键 不能为空。 对于同一台专属主机，Key值唯一。 长度不超过36个字符。 只能包含数字、字母、“-”、“_”。 Organization 标签值 长度不超过43个字符。 只能包含数字、字母、“-”、“_”。 Apache 搜索目标专属主机 在专属主机列表

查看更多 →

据集成”模块，进入CDM首页。 图1 集群列表 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 在CDM主界面，单击左侧导航上的“集群管理”，选择CDM集群后的“作业管理 > 连接管理 > 新建连接”。选择连接器类型，如图2所示。 这里的连接器类

查看更多 →

xml配置文件，查找相关参数。 vim hive-site.xml 常见问题 当出现以下报错的时候，需要修改 MRS 集群的manager页面切换HDFS的主备。 mysql> select * from hive_hdfs_test2; ERROR 1105 (HY000): errCode =

查看更多 →

urgent_vul_id_list 否 Array of strings 扫描的应急漏洞id列表，若为空则扫描所有应急漏洞 包含如下： "URGENT-CVE-2023-46604 Apache ActiveMQ远程代码执行漏洞" "URGENT-HSSVD-2020-1109 Elasticsearch

查看更多 →

会晚于用户数据被删除。 HBase表启动容灾之后，主集群新建二级索引，索引表变更不会自动同步到备集群。要实现该容灾场景，必须执行以下操作： 在主表创建二级索引之后，需要在备集群使用相同方法创建结构、名称完全相同的二级索引。 在主集群手动将索引列族（默认是d）的REPLICATION_SCOPE设置为1。

查看更多 →

sh 现有集群节点安装补丁 将“MRS_Log4j_Patch.tar.gz”上传至主OMS节点的“/home/omm”目录下。具体可参考如何上传本地文件到集群内节点？。 使用root用户登录主OMS节点，修改补丁工具相应权限，切到omm用户下，并解压补丁工具至当前目录。 chown

查看更多 →

系统提示信息。 执行成功时，字段可能为空。 执行失败时，用于显示错误信息。 errorCode String 系统提示信息。 执行成功时，字段可能为空。 执行失败时，用于显示错误码。 data Object 查询结果。请求失败时，该字段为空。 请求示例 执行Gremlin查询操作，输入的查询命令为g

查看更多 →

liveness：执行指定命令查看组件状态。 command：查看状态使用的命令。 runas：执行查看状态命令时的Linux用户，建议设置为www或者为空。 timeout：超时时间，单位为秒。 lifecycle：各个生命周期执行的脚本或者命令。 command：指定执行的脚本文件。必须是一

查看更多 →

行所产生的日志。 sendAlarm.log HBase告警检查脚本上报告警信息日志。 hbase-haCheck.log HMaster主备状态检测日志。 stop.log HBase服务进程启停操作日志。 审计日志 hbase-audit-<process_name>.log

查看更多 →

ms@kafka。 ssl.endpoint.identification.algorithm为证书 域名 校验开关，为空则表示关闭。这里需要保持关闭状态，必须设置为空。 username和password为首次开启密文接入时填入的用户名和密码，或者创建用户时设置的用户名和密码。 在

查看更多 →