使用Spark 运行Spark应用时修改split值报错 提交Spark任务时提示参数格式错误 磁盘容量不足导致Spark、Hive和Yarn服务不可用 引入jar包不正确导致Spark任务无法运行 Spark任务由于内存不够或提交作业时未添加Jar包，作业卡住 提交Spark任务

查看更多 →

DLI Spark 功能 通过DLI Spark节点执行一个预先定义的Spark作业。 DLI Spark节点的具体使用教程，请参见开发一个DLI Spark作业。 参数 用户可参考表1，表2和表3配置DLI Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称

查看更多 →

Spark输入 概述 “Spark输入”算子，将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入：SparkSQL表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

Spark Core 日志聚合下，如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中

查看更多 →

。 Hive与Spark的关系 Hive支持使用Spark作为执行引擎，当执行引擎切换为Spark后，客户端下发的Hive SQL在Hive端进行逻辑层处理和生成物理执行计划，并将执行计划转换成RDD语义下的DAG，最后将DAG作为Spark的任务提交到Spark集群上进行计算，

查看更多 →

Spark读取HBase表样例程序 操作Avro格式数据 操作HBase数据源 BulkPut接口使用 BulkGet接口使用 BulkDelete接口使用 BulkLoad接口使用 foreachPartition接口使用 分布式Scan HBase表 mapPartitions接口使用

查看更多 →

Spark读取HBase表样例程序 操作Avro格式数据 操作HBase数据源 BulkPut接口使用 BulkGet接口使用 BulkDelete接口使用 BulkLoad接口使用 foreachPartition接口使用 分布式Scan HBase表 mapPartition接口使用

查看更多 →

Spark读取HBase表样例程序 操作Avro格式数据 操作HBase数据源 BulkPut接口使用 BulkGet接口使用 BulkDelete接口使用 BulkLoad接口使用 foreachPartition接口使用 分布式Scan HBase表 mapPartitions接口使用

查看更多 →

的能力，是一种分布式数据处理模式和执行环境， MRS 支持提交MapReduce Jar程序。 Spark：基于内存进行计算的分布式计算框架，MRS支持提交SparkSubmit、Spark Script和Spark SQL作业。 SparkSubmit：提交Spark Jar和Spark

查看更多 →

None 操作指导 可信分布式身份服务 TDIS 开通服务 02:12 开通服务 云容器引擎 CCE 简介 07:25 云容器引擎简介 云容器引擎 CCE 服务介绍 03:23 云容器引擎服务介绍

查看更多 →

分布式高可用部署 SAP NetWeaver分布式HA部署如图1所示 图1 SAP NetWeaver分布式HA部署 该部署方式是由多个SAP实例组成，一个SAP实例是一组同时开始和结束的进程。在分布式HA系统中，所有实例都运行在独立的 云服务器 上，主要包括以下实例： AS CS Instance

查看更多 →

分布式身份(DID)管理 企业身份注册(带有service) 注册DID 更新DID 查询DID 父主题： 分布式身份（公测）

查看更多 →

分布式缓存（Redis） 分布式缓存（Redis）包含“String附加字符串”、“Hash删除域”、“删除键”、“List删除表头元素”等执行动作。 连接参数 分布式缓存(Redis)连接器使用IAM认证，连接参数说明如表1所示。 表1 连接参数说明 名称 必填 说明 示例值/默认值

查看更多 →

on：表示该session开启分布式备机读功能。 off：表示该session不开启分布式备机读功能。 默认值：off 设置方式：该参数属于USERSET类型参数，只能在session级别设置（set enable_standby_read = on），不支持gs_guc set/reload方式进行设置。

查看更多 →

分布式备机读参数 enable_standby_read 参数说明：控制session开启备机读功能。该参数属于USERSET类型参数，请参考表1中对应设置方法进行设置。 取值范围：布尔型 on表示该session开启分布式备机读功能。 off表示该session不开启分布式备机读功能。

查看更多 →

SparkConf sparkConf = new SparkConf().setAppName("JavaHBaseDistributedScan " + tableName); JavaSparkContext jsc = new JavaSparkContext(sparkConf);

查看更多 →

并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在 服务器 的任意目录（例如“$SPARK_HOME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn

查看更多 →

中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn

查看更多 →

扩容实例分片（分布式） 操作场景 随着实例部署时间及业务的增长，数据库在运行性能及存储上逐渐会达到瓶颈。此时，需要通过增加主机来提升实例的性能及存储能力。 GaussDB 分布式独立部署形态支持扩容分片操作。 扩容时长与业务数据量有关，默认扩容操作超时时间为7天，扩容中实例可正常使用

查看更多 →

如何使用PySpark连接MRS Spark？ 问： 如何在ECS服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群？ 答： 将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials

查看更多 →