meta表。 跨Manager之间的安全集群间组件互相访问，需要先配置系统互信。 以下分别阐述cluster1上使用userA访问cluster2的Hive、HBase、Kafka组件。 以下操作皆以用户使用 FusionInsight 客户端提交Spark2x应用为基础，如果用户使用了自己

查看更多 →

临时登录指令”，单击复制登录指令。 在集群节点上执行上一步复制的登录指令，登录成功会显示“Login Succeeded”。 登录制作镜像的节点，复制登录指令。 docker tag [{镜像名称}:{版本名称}] swr.cn-east-3.myhuaweicloud.com/

查看更多 →

如何将 API服务 上架到华为云商店上售卖？ API服务上架到华为云商店，您需要按如下流程完成部署和配置： 完成API的创建、发布等工作 此部分操作在API网关服务中完成，您可以参考《API网关用户指南》。 其他相关操作包括“API分组”、“API管理”和“环境管理”等。 （可选）配置API的流量控制策略

查看更多 →

使用Spark客户端 MRS 集群创建完成后，可以通过客户端去创建和提交作业。客户端可以安装在集群内部节点或集群外部节点上： 集群内部节点：MRS集群创建完成后，集群内的master和core节点默认已经安装好客户端，详情请参见集群内节点使用MRS客户端章节，登录安装客户端的节点。

查看更多 →

"obs://test-bucket/test_obs"; Spark访问OBS 由于SparkSQL依赖Hive，所以在Spark上配置OBS时，需要同时修改Hive访问OBS的OBS配置。 MRS 3.3.0-LTS及之后的版本中，Spark2x服务改名为Spark，服务包含的角色名也有差异，例如Jo

查看更多 →

重启相关组件。 在MRS控制台，选择“现有集群”，单击集群名称进入集群详情页面。单击“组件管理”，选择需要重启的服务，进入服务页面。在“服务状态”页签单击“更多”，选择“重启服务”或“滚动重启服务”。 在FusionInsight Manager界面，选择“集群 > 服务 > 待

查看更多 →

序以及Spark on HBase四种不同场景的样例工程。 帮助用户快速了解Spark各部件的编程接口。 开发Spark应用 编译并运行程序 将开发好的程序编译并运行，用户可在本地Windows开发环境中进行程序调测运行，也可以将程序编译为Jar包后，提交到Linux节点上运行。

查看更多 →

重启相关组件。 在MRS控制台，选择“现有集群”，单击集群名称进入集群详情页面。单击“组件管理”，选择需要重启的服务，进入服务页面。在“服务状态”页签单击“更多”，选择“重启服务”或“滚动重启服务”。 在FusionInsight Manager界面，选择“集群 > 服务 > 待

查看更多 →

任务。无论是在调度方面，或者是executor方面。各个Driver独立调度自己的任务；不同的应用任务运行在不同的JVM上，即不同的Executor。 不同Spark应用之间是不共享数据的，除非把数据存储在外部的存储系统上（比如HDFS）。 因为Driver程序在集群上调度任务，

查看更多 →

击应用ID，页面将跳转到该应用的SparkUI页面。 查看Spark日志获取应用运行情况。 您可以查看Spark日志了解应用运行情况，并根据日志信息调整应用程序。相关日志信息可参考Spark2x日志介绍。 父主题： 在Linux环境中调测Spark应用

查看更多 →

媒体播放管理（媒体管理的接口需搭配SDK使用） 获取实况地址统一接口 查询回放列表统一接口 获取回放地址统一接口 批量删除播放地址 【旧】查询通道的云端录像列表 【旧】查询通道的云端录像回放地址 【旧】查询通道的前端录像列表 【旧】查询通道的前端录像回放地址（仅支持国标协议） 【旧】查询通道的前端录像回放地址

查看更多 →

0版本不启用Kerberos认证的分析集群。 准备Spark2x样例程序和样例数据：创建OBS路径并将Spark2x样例程序和样例数据上传到该OBS路径中。 创建作业：在MRS管理控制台创建SparkSubmit作业并运行。 查看作业执行结果：作业执行完成后在OBS路径中获取日志文件并查看执行结果。

查看更多 →

在本地Windows环境中查看Spark程序调试结果 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/D:/mavenlocal/org/apache/l

查看更多 →

击应用ID，页面将跳转到该应用的SparkUI页面。 查看Spark日志获取应用运行情况。 您可以查看Spark日志了解应用运行情况，并根据日志信息调整应用程序。相关日志信息可参考Spark2x日志介绍。 父主题： 在Linux环境中调测Spark应用

查看更多 →

任务运行在不同的JVM上，即不同的Executor。 不同Spark应用之间是不共享数据的，除非把数据存储在外部的存储系统上（比如HDFS）。 因为Driver程序在集群上调度任务，所以Driver程序需要和worker节点比较近，比如在一个相同的局部网络内。 Spark on YARN有两种部署模式：

查看更多 →

回退手动的操作 不涉及。 补丁卸载完成后重新打开弹性伸缩 如果卸载补丁前关闭了弹性伸缩，请卸载完成后重新打开。 登录华为云MRS管理控制台，在“现有集群”列表中选择对应集群，单击“弹性伸缩”页签。 请开启卸载前关闭的弹性策略。 父主题： 回滚补丁

查看更多 →

从零开始使用Spark SQL Spark提供类似SQL的Spark SQL语言操作结构化数据，本章节提供从零开始使用Spark SQL，创建一个名称为src_data的表，然后在src_data表中每行写入一条数据，最后将数据存储在“mrs_20160907”集群中。再使用SQ

查看更多 →

配置 > 全部配置”，搜索参数spark.driver.extraLibraryPath和spark.executor.extraLibraryPath，并清空其参数值。 在“全部配置”中选择“ SparkResource2x”。 在SparkResource2x中的custom中添加方案一中的三个参数，如下图所示：

查看更多 →

配置 > 全部配置”，搜索参数spark.driver.extraLibraryPath和spark.executor.extraLibraryPath，并清空其参数值。 在“全部配置”中选择“ SparkResource2x”。 在SparkResource2x中的custom中添加方案一中的三个参数，如下图所示：

查看更多 →

提交作业时系统提示当前用户在Manager不存在如何处理？ LauncherJob作业执行失败，报错信息为“jobPropertiesMap is null”如何处理？ 为什么MRS Console页面Flink作业状态与Yarn上的作业状态不一致？ SparkStreaming作业

查看更多 →

配置 > 全部配置”，搜索参数spark.driver.extraLibraryPath和spark.executor.extraLibraryPath，并清空其参数值。 在“全部配置”中选择“ SparkResource2x”。 在SparkResource2x中的custom中添加方案一中的三个参数，如下图所示：

查看更多 →