配置 > 全部配置”，搜索参数spark.driver.extraLibraryPath和spark.executor.extraLibraryPath，并清空其参数值。 在“全部配置”中选择“ SparkResource2x”。 在SparkResource2x中的custom中添加方案一中的三个参数，如下图所示：

查看更多 →

Job被运行，而对应偏移量的数据在Kafka中已准备好。这些偏移量信息也被可靠地存储在checkpoint文件中，应用失败重启时可以直接读取偏移量信息。 图1 Direct Kafka接口数据传输 需要注意的是，Spark Streaming可以在失败后重新从Kafka中读取并处

查看更多 →

CA。 如果一个 域名 有多个 服务器 ，则每一个服务器上都要部署。 待安装证书的服务器上需要运行的域名，必须与证书的域名一一对应，即申请的是哪个域名的证书，则用于哪个域名。否则安装部署后，浏览器将提示不安全。 操作步骤 在IIS服务器上安装私有证书的流程如下所示： ①获取文件 → ②配置IIS

查看更多 →

meta表。 跨Manager之间的安全集群间组件互相访问，需要先配置系统互信。 以下分别阐述cluster1上使用userA访问cluster2的Hive、HBase、Kafka组件。 以下操作皆以用户使用 FusionInsight 客户端提交Spark2x应用为基础，如果用户使用了自己

查看更多 →

。 如果一个域名有多个服务器，则每一个服务器上都要部署。 待安装证书的服务器上需要运行的域名，必须与证书的域名一一对应，即申请的是哪个域名的证书，则用于哪个域名。否则安装部署后，浏览器将提示不安全。 操作步骤 在Tomcat7服务器上安装私有证书的流程如下所示： ①获取文件 → ②创建目录

查看更多 →

任务。无论是在调度方面，或者是executor方面。各个Driver独立调度自己的任务；不同的应用任务运行在不同的JVM上，即不同的Executor。 不同Spark应用之间是不共享数据的，除非把数据存储在外部的存储系统上（比如HDFS）。 因为Driver程序在集群上调度任务，

查看更多 →

rue”。由于文件系统限制，在ext3上该设置可能会降低8核以上机器的处理性能。 false spark.shuffle.sort.bypassMergeThreshold 该参数只适用于spark.shuffle.manager设置为sort时。在不做map端聚合并且reduc

查看更多 →

如果一个域名有多个服务器，则每一个服务器上都要部署。 待安装证书的服务器上需要运行的域名，必须与证书的域名一一对应，即申请的是哪个域名的证书，则用于哪个域名。否则安装部署后，浏览器将提示不安全。 操作步骤 在CentOS 7操作系统中的Apache 2.4.6服务器上安装私有证书的流程如下所示：

查看更多 →

编包并运行Spark应用 操作场景 在程序代码完成开发后，您可以将打包好的jar包上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 Spark应用程序只支持在Linux环境下运行，不支持在Windows环境下运行。

查看更多 →

在OpenSearch集群使用向量索引搜索数据 使用向量索引搜索数据支持多种方式。 标准查询 复合查询 ScriptScore查询 重打分查询 Painless语法扩展查询 标准查询 针对创建了向量索引的向量字段，提供了标准向量查询语法。下述查询命令将会返回所有数据中与查询向量最近的size（topk）条数据。

查看更多 →

如果一个域名有多个服务器，则每一个服务器上都要部署。 待安装证书的服务器上需要运行的域名，必须与证书的域名一一对应，即申请的是哪个域名的证书，则用于哪个域名。否则安装部署后，浏览器将提示不安全。 操作步骤 在CentOS 7操作系统中的Nginx 1.7.8服务器上安装私有证书的流程如下所示：

查看更多 →

回退手动的操作 不涉及。 补丁卸载完成后重新打开弹性伸缩 如果卸载补丁前关闭了弹性伸缩，请卸载完成后重新打开。 登录华为云 MRS 管理控制台，在“现有集群”列表中选择对应集群，单击“弹性伸缩”页签。 请开启卸载前关闭的弹性策略。 父主题： 回滚补丁

查看更多 →

序以及Spark on HBase四种不同场景的样例工程。 帮助用户快速了解Spark各部件的编程接口。 开发Spark应用 编译并运行程序 将开发好的程序编译并运行，用户可在本地Windows开发环境中进行程序调测运行，也可以将程序编译为Jar包后，提交到Linux节点上运行。

查看更多 →

2、Elasticsearch 7.10.2或OpenSearch 1.3.6。 （可选）准备工作 在创建向量索引前，请根据业务场景，完成集群高级配置。 在离线导入数据场景下，为了提高批量写入性能，建议将索引的“refresh_interval”参数设置为“-1”，即关闭自动刷新索引。 建议将备份数“numb

查看更多 →

重启相关组件。 在MRS控制台，选择“现有集群”，单击集群名称进入集群详情页面。单击“组件管理”，选择需要重启的服务，进入服务页面。在“服务状态”页签单击“更多”，选择“重启服务”或“滚动重启服务”。 在FusionInsight Manager界面，选择“集群 > 服务 > 待

查看更多 →

meta表。 跨Manager之间的安全集群间组件互相访问，需要先配置系统互信。 以下分别阐述cluster1上使用userA访问cluster2的Hive、HBase、Kafka组件。 以下操作皆以用户使用FusionInsight客户端提交Spark2x应用为基础，若用户使用了自己的

查看更多 →

使用Spark客户端 MRS集群创建完成后，可以通过客户端去创建和提交作业。客户端可以安装在集群内部节点或集群外部节点上： 集群内部节点：MRS集群创建完成后，集群内的master和core节点默认已经安装好客户端，详情请参见集群内节点使用MRS客户端章节，登录安装客户端的节点。

查看更多 →

重启相关组件。 在MRS控制台，选择“现有集群”，单击集群名称进入集群详情页面。单击“组件管理”，选择需要重启的服务，进入服务页面。在“服务状态”页签单击“更多”，选择“重启服务”或“滚动重启服务”。 在FusionInsight Manager界面，选择“集群 > 服务 > 待

查看更多 →

实例对外服务。在hdfs上创建"/home/data"目录，新增包含如下内容的文件并上传到hdfs的"/home/data"目录下。 Miranda,32 Karlie,23 Candice,27 确保其对启动JD BCS erver的用户有读写权限。 确保$SPARK_HOME/conf下有"hive-site

查看更多 →

重启相关组件。 在MRS控制台，选择“现有集群”，单击集群名称进入集群详情页面。单击“组件管理”，选择需要重启的服务，进入服务页面。在“服务状态”页签单击“更多”，选择“重启服务”或“滚动重启服务”。 在FusionInsight Manager界面，选择“集群 > 服务 > 待

查看更多 →

使用Kafka Eagle对接MRS Kafka 使用Jupyter Notebook对接MRS Spark 集群管理类 MRS集群阈值类告警配置说明 提交Spark任务到新增Task节点 配置MRS集群弹性伸缩 组件应用开发规范类 ClickHouse应用开发规范 Doris应用开发规范 Flink应用开发规范

查看更多 →