作业管理类 MRS 集群支持提交哪些形式的Spark作业？ MRS节点访问OBS报错408如何处理？ 如何让不同的业务程序分别用不同的Yarn队列？ 提交作业失败，报错与OBS相关如何处理？ MRS集群的租户资源最小值改为0后，只能同时运行一个Spark任务吗？ 作业提交参数间用空格隔开导致参数信息不被识别如何处理？

查看更多 →

执行SQL作业时产生数据倾斜怎么办？ 什么是数据倾斜？ 数据倾斜是在SQL作业执行中常见的问题，当数据分布不均匀的情况下，一部分计算节点处理的数据量远大于其他节点，从而影响整个计算过程的处理效率。 例如观察到SQL执行时间较长，进入SparkUI查看对应SQL的执行状态，如图1所示，查看到一个stage运行时间超过

查看更多 →

客户端向应用程序发出请求。 负载均衡实例中的监听接收与配置的协议和端口匹配的请求。 监听再根据配置将请求转发至相应的后端 服务器 集群。如果配置了转发策略，监听会根据配置的转发策略评估传入的请求，如果匹配，请求将被转发至相应的后端服务器组。 后端服务器集群中健康检查正常的后端服务器将根据分配

查看更多 →

Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 SparkSQL UDF功能的权限控制机制

查看更多 →

取消正在处理的查询 客户端应用可以使用本节描述的函数，要求取消一个仍在被服务器处理的命令。 PQgetCancel PQfreeCancel PQcancel 父主题： libpq接口参考

查看更多 →

取消正在处理的查询 客户端应用可以使用本节描述的函数，要求取消一个仍在被服务器处理的命令。 PQgetCancel PQfreeCancel PQcancel 父主题： libpq接口参考

查看更多 →

object metadata是节点对象的元数据定义，是集合类的元素类型，包含一组由不同名称定义的属性。 spec NodeSpec object spec是集合类的元素类型，用户对需要管理的节点对象进行详细描述的主体部分都在spec中给出。系统通过spec的描述来创建或更新对象。 status

查看更多 →

取消正在处理的查询 客户端应用可以使用本节描述的函数，要求取消一个仍在被服务器处理的命令。 PQgetCancel PQfreeCancel PQcancel 父主题： libpq接口参考

查看更多 →

复制“HIVE_METASTORE_URI_DEFAULT”的默认配置到Spark2x的URI配置项，如果Spark2x仅需要连接两个MetaStore实例，则根据需要仅保留两个节点信息（具体以实际为准），单击“保存”。 选择“集群 > 服务 > Spark2x > 实例”，勾选配置过期的实例，选择“更多 > 重启

查看更多 →

务和数据更均匀的分布在各个节点。增加任务的并行度，充分利用集群机器的计算能力，一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置，用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数，优先级最高。

查看更多 →

设置读写分离的延时阈值和路由模式。 表1 读写分离参数说明 参数 说明 延时阈值 只读实例同步主实例数据时允许的最长延迟时间。延时阈值仅在存在只读实例时生效。为避免只读实例读取的数据长时间和主实例不一致，当一个只读实例的延迟时间超过设置的延迟阈值，则不论该只读实例的读权重是多少，读请求都不会转发至该只读实例。

查看更多 →

创建并提交Spark作业 场景描述 本章节指导用户通过API创建并提交Spark作业。 约束限制 新队列第一次运行作业时，需要一定的时间，通常为6~10分钟。 涉及接口 创建队列：创建队列。 上传分组资源：上传Spark作业所需的资源包。 查询组内资源包：确认上传的资源包是否正确。

查看更多 →

出网流量遵循请求从哪进来，响应从哪出去的原则。如出网流量路径所示。 图2 出网流量路径 通过负载均衡器进入的访问流量，对应的响应流量通过负载均衡器返回。 由于负载均衡器实际是通过绑定的EIP接收来自公网的流量和响应请求，所以负载均衡器的限制实际是在负载均衡器绑定的EIP 上，并在EIP上进行

查看更多 →

触发因素：未合理使用分区表和分区剪枝功能，导致扫描效率低。 处理方式： 对按照时间特征存储和访问的大表设计成分区表。 分区键一般选离散度高、常用于查询过滤条件中的时间类型的字段。 分区间隔一般参考高频的查询所使用的间隔，需要注意的是针对列存表，分区间隔过小（例如按小时）可能会导致小文件过多的问题，一般建议最小间隔为按天。

查看更多 →

Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 SparkSQL UDF功能的权限控制机制

查看更多 →

Kafka接口数据传输 需要注意的是，Spark Streaming可以在失败后重新从Kafka中读取并处理数据段。然而，由于语义仅被处理一次，重新处理的结果和没有失败处理的结果是一致的。 因此，Direct API消除了需要使用WAL和Receivers的情况，且确保每个Kafka记

查看更多 →

残留待迁移节点检查异常处理 检查项内容 检查节点是否需要迁移。 解决方案 由1.13滚动升级而来的1.15集群，需要将所有节点迁移（重置或新建替换）后，才允许再次进行升级。 解决方案一 请登录CCE控制台，单击集群名称进入集群控制台，前往“节点管理”页面，单击对应节点的“更多 >

查看更多 →

Master节点规格检查异常处理 检查项内容 检查本次升级集群的Master节点规格与实际的Master节点规格是否一致。 解决方案 该问题一般因为您进行过Master节点改造，此次升级可能会将您的Master节点重置为标准版本，如您无法确认影响，请联系运维人员支撑。 父主题： 升级前检查异常问题排查

查看更多 →

11与v1.13版本之间的CHANGE LOG v1.12到v1.13的变化： https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.13.md v1.11到v1.12的变化： https://github

查看更多 →

安装专业版节点异常如何处理？ 2.2.1 执行安装命令下载obs包失败 域名 解析失败，无法建立连接。请确认自己的主机的网络是否能够访问一些特定域名，检查域名服务器地址是否正确；若自身没有配置域名解析，或者不知道域名服务器地址，需要将下列用到的域名配置对应的hosts解析。 北京四需要验证的域名：

查看更多 →

MRS节点访问OBS报错408如何处理？ 问： MRS节点访问OBS报错408，怎么办？ 答： MRS节点访问OBS报错408时，用户需要更换OBS域名。 修改OBS域名为myhuaweicloud.com后缀的域名即可。 父主题： 作业管理类

查看更多 →