网网段。 方案特点：需要额外连一根网线上网，并配置该物理接口的“工作模式”为“路由”模式。云端管理口和业务上行口不共用一个物理接口。 图2 单独物理网口上网 更多其他部署场景，比如天关旁挂，或者您的企业内部存在NAT转换/DNS 服务器 ，请参见《典型配置案例》完成天关部署和上线配置。

查看更多 →

网网段。 方案特点：需要额外连一根网线上网，并配置该物理接口的“工作模式”为“路由”模式。云端管理口和业务上行口不共用一个物理接口。 图2 单独物理网口上网 更多其他部署场景，比如天关旁挂，或者您的企业内部存在NAT转换/DNS服务器，请参见《典型配置案例》完成天关部署和上线配置。

查看更多 →

Spark HA方案介绍 Spark多主实例HA原理与实现方案 基于社区已有的JD BCS erver基础上，采用多主实例模式实现了其高可用性方案。集群中支持同时共存多个JDB CS erver服务，通过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个JDBCSer

查看更多 →

运营信息 知识中心应用部署方案 工业互联网 公共技术服务平台知识中心整体部署方案如下图所示： 图2 工业互联网公共技术服务平台知识中心整体部署方案 整体方案采用边云协同方式部署，通过华为混合云服务和边缘一体机（分布式工厂基础设施）共同部署知识中心相关的解决方案和服务。 云侧即华为混

查看更多 →

例。 各服务的部署原则如 MRS 集群部署方案说明所示。 A依赖于B（服务级）：若集群中部署A服务，需要提前部署B服务，B为A提供基础能力。 A关联于B（服务级）：A服务与B服务在业务进行中会产生数据交互，不存在部署上的依赖关系。 A与B共机部署（角色级）：若集群中部署A角色，需要同

查看更多 →

在CCE集群中部署使用Spark 安装Spark 使用Spark on CCE 父主题： 批量计算

查看更多 →

。 约束与限制 该实践方案仅支持在CCE集群下部署，不适用专属云场景。 Jenkins系统的维护由开发者自行负责，使用过程中CCE服务不对Jenkins系统提供额外维护与支持。 方案架构 Jenkins部署分为以下两种模式： 一种是直接使用单Master安装Jenkins，直接进

查看更多 →

SparkPack解决方案预集成培训 【详细教程请查看】 https://bbs.huaweicloud.com/blogs/417692 一. 集成工作台 培训 二. 解决方案预集成流样例-ERP审批同步至钉钉 创建B1连接器 创建钉钉连接器 创建审批单据同步流 创建审批回调流

查看更多 →

Spark Spark jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的Spark包运行样例代码，但是不同版本的spark-core包在使用的时候可能导致互相序列化ID不一样，因此建议使用集群自带jar包。

查看更多 →

Spark Spark基本原理 Spark HA方案介绍 Spark与其他组件的关系 Spark开源增强特性 父主题： 组件介绍

查看更多 →

的作业和任务管理器，适用于资源不足的集群。 方案架构 该解决方案部署架构如下图所示： 图1 方案架构 该解决方案会部署如下资源： 创建3个控制节点的高可用云容器引擎 CCE集群，提供计算节点的纳管和业务系统的管理调度能力。 部署1个 弹性云服务器 ECS节点，作为集群的计算节点，用于承载业务系统。 部署1个弹性公网IP

查看更多 →

com/dev-container/spark:3.1.3-obs 配置Spark History Server 修改~/spark-obs/conf/spark-defaults.conf文件，开启Spark事件日志记录，并配置OBS桶名称及目录。 cat >> ~/spark-obs/conf/spark-defaults

查看更多 →

不同部署形式下的网络架构推荐方案 基于VPCEP实现同区域跨VPC访问iDME服务 基于EIP和SNAT实现跨区域内网访问iDME服务 基于客户服务器直接访问iDME公网服务

查看更多 →

序和规则自动执行。 云（Cloud）：用于配置各种云环境，如集群、容器和虚拟机等，可以灵活地使用外部云平台的计算资源，实现Jenkins Agent的动态管理。 方案架构 Jenkins部署方案有两种：单节点部署和分布式部署。 单节点部署：Jenkins作为独立的实例运行，所有的构建和操作都在同一节点（Jenkins

查看更多 →

locale = "US" String 否 - Spark输入字段 配置SparkSQL输入信息： 列名：配置SparkSQL列名。 字段名：配置输入字段名。 类型：配置字段类型。 长度：配置字段长度，字段值实际长度太长则按配置的长度截取，“类型”为“CHAR”时实际长度不足则

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

Spark Core 日志聚合下，如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中

查看更多 →

DLI Spark 功能 通过DLI Spark节点执行一个预先定义的Spark作业。 DLI Spark节点的具体使用教程，请参见开发一个DLI Spark作业。 参数 用户可参考表1，表2和表3配置DLI Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称

查看更多 →

使用Spark 运行Spark应用时修改split值报错 提交Spark任务时提示参数格式错误 磁盘容量不足导致Spark、Hive和Yarn服务不可用 引入jar包不正确导致Spark任务无法运行 Spark任务由于内存不够或提交作业时未添加Jar包，作业卡住 提交Spark任务

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

方案 方案介绍 数据规划

查看更多 →