MRS Spark SQL 功能 通过MRS Spark SQL节点实现在MRS中执行预先定义的SparkSQL语句。 参数 用户可参考表1，表2和表3配置MRS Spark SQL节点的参数。 表1 属性参数 参数 是否必选 说明 MRS作业名称 否 MRS的作业名称。 如果未

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

batchJob.asyncSubmit(); SparkJobStatus sparkJobStatus=batchJob.getStatus(); System.out.println(sparkJobStatus); } 查询批处理作业日志 DL

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

Spark对接OpenTSDB 创建表关联OpenTSDB 插入数据至OpenTSDB表 查询OpenTSDB表 默认配置修改 父主题： 使用Spark（MRS 3.x之前版本）

查看更多 →

使用Spark on CCE 使用Spark的Kubernetes调度程序spark-submit，可以将Spark应用程序提交到Kubernetes集群中运行，详情请参见在Kubernetes上运行Spark。使用spark-submit提交Spark应用程序的工作原理如下：

查看更多 →

Spark on HBase程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

Manager界面中配置。 表1 Spark2x日志列表 日志类型 日志文件名 描述 SparkResource2x日志 spark.log Spark2x服务初始化日志。 prestart.log prestart脚本日志。 cleanup.log 安装卸载实例时的清理日志。 spark-availability-check

查看更多 →

Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期，应用失败 为什么Spark Str

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

储到HDFS。 HDFS和Spark的关系 通常，Spark中计算的数据可以来自多个数据源，如Local File、HDFS等。最常用的是HDFS，用户可以一次读取大规模的数据进行并行计算。在计算完成后，也可以将数据存储到HDFS。 分解来看，Spark分成控制端（Driver）

查看更多 →

Spark Java API接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类： JavaSparkContext：是Spark的对外接口，负责向调用该类的Jav

查看更多 →

Spark Java API接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类： JavaSparkContext：是Spark的对外接口，负责向调用该类的Jav

查看更多 →

指示灯状态如图1和表1。 存储系统上电前，请确保所有线缆已经全部正确连接。上电后再调整线缆连接方式可能导致存储系统异常。 对于配置两个控制器的存储系统，初次上电或清除系统配置后重新上电存储系统前，请确保控制器A连线正常并位于控制框中，否则会导致存储系统上电失败。 上电过程中，请不

查看更多 →

等功能。 Spark spark-examples SparkHbasetoHbaseJavaExample Spark从HBase读取数据再写入HBase的Java/Scala示例程序。 本示例工程中，Spark应用程序实现两个HBase表数据的分析汇总。 SparkHbasetoHbaseScalaExample

查看更多 →

Spark Java API接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类： JavaSparkContext：是Spark的对外接口，负责向调用该类的Jav

查看更多 →

v1.0/analysis/task/sparkid { "taskId":"xxxx", "sparkId":"xxx" } 参数说明 参数名 类型 备注 taskId String 任务ID。 sparkId String Spark任务ID。 响应 响应样例 { "success":

查看更多 →

Spark作业相关API 创建批处理作业 查询批处理作业列表 查询批处理作业详情 查询批处理作业状态 取消批处理作业

查看更多 →

Spark运维管理 快速配置参数 常用参数 Spark2x日志介绍 调整Spark日志级别 配置WebUI上查看Container日志 获取运行中Spark应用的Container日志 配置Spark Eventlog日志回滚 配置WebUI上显示的Lost Executor信息的个数

查看更多 →

Spark on Hudi开发规范 SparkSQL建表参数规范 Spark增量读取Hudi参数规范 Spark异步任务执行表compaction参数设置规范 Spark on Hudi表数据维护规范 Spark并发写Hudi建议 Spark读写Hudi资源配置建议 Spark On

查看更多 →

Spark应用开发规范 Spark应用开发规则 Spark应用开发建议

查看更多 →