cce
spark-operator
更新时间:2021/01/22 GMT+08:00
插件简介
Spark operator是一个管理Kubernetes上的Apache Spark应用程序生命周期的operator,旨在像在Kubernetes上运行其他工作负载一样简单的指定和运行spark应用程序。
使用Spark Operator管理Spark应用,能更好的利用Kubernetes原生能力控制和管理Spark应用的生命周期,包括应用状态监控、日志获取、应用运行控制等,弥补Spark on Kubernetes方案在集成Kubernetes上与其他类型的负载之间存在的差距。
Spark Operator包括如下几个组件:
- SparkApplication控制器:该控制器用于创建、更新、删除SparkApplication对象,同时控制器还会监控相应的事件,执行相应的动作。
- Submission Runner:负责调用spark-submit提交Spark作业,作业提交的流程完全复用Spark on K8s的模式。
- Spark Pod Monitor:监控Spark作业相关Pod的状态,并同步到控制器中。
- Mutating Admission Webhook:可选模块,基于注解来实现Driver/Executor Pod的一些定制化需求。
- SparkCtl:用于和Spark Operator交互的命令行工具。
Spark Operator除了实现基本的作业提交外,还支持如下特性:
- 声明式的作业管理。
- 支持更新SparkApplication对象后自动重新提交作业。
- 支持可配置的重启策略。
- 支持失败重试。
- 集成prometheus,可以收集和转发Spark应用级别的度量和Driver/Executor的度量到prometheus中。
项目地址:https://github.com/GoogleCloudPlatform/spark-on-k8s-operator
约束与限制
此插件仅支持混合集群,集群版本仅支持1.13版本。
安装插件
- 在CCE控制台中,单击左侧导航栏的“插件管理”,在“插件市场”页签下,单击Spark operator下的“安装插件”按钮。
- 在安装插件页面,选择安装的集群和插件版本,单击“下一步:规格配置”。
- Spark operator插件暂未开放可配置参数,直接单击“安装”。
待插件安装完成后,单击“返回”,在“插件实例”页签下,选择对应的集群,可查看到运行中的实例,这表明该插件已在当前集群的各节点中安装。
升级插件
- 登录CCE控制台,在左侧导航栏中选择“插件管理”,在“插件实例”页签下,选择对应的集群,单击“Spark operator”下的“ 升级”。
- 如果升级按钮处于冻结状态,则说明当前插件版本是最新的版本,不需要进行升级操作。
- 升级“Spark operator”插件时,会替换原先节点上的旧版本的“Spark operator”插件,安装最新版本的“Spark operator”插件以实现功能的快速升级。
- 在基本信息页面选择插件版本,单击“下一步”。
- 单击“升级”即可升级“Spark operator”插件。
卸载插件
- 在CCE控制台中,单击左侧导航栏的“插件管理”,在“插件实例”页签下,选择对应的集群,单击Spark operator下的“卸载”。
- 在弹出的窗口中,单击“是”,可卸载该插件。
版本记录
插件版本 |
支持的集群类型 |
更新时间 |
更新特性 |
---|---|---|---|
1.0.2 |
混合集群 v1.13.* |
2020/01/09 |
Spark operator是一个管理Kubernetes上的Apache Spark应用程序生命周期的operator,旨在像在Kubernetes上运行其他工作负载一样简单的指定和运行spark应用程序。 |
1.0.1 |
混合集群 v1.13.* |
2019/11/18 |
Spark operator是一个管理Kubernetes上的Apache Spark应用程序生命周期的operator,旨在像在Kubernetes上运行其他工作负载一样简单的指定和运行spark应用程序。 |
父主题: 插件管理
