对接的 DLI 服务的Region。 根据Spark应用程序的需要，修改“spark-defaults.conf”中的配置项，配置项兼容开源Spark配置项，参考开源Spark的配置项说明。 使用Spark-submit提交Spark作业 进入工具文件bin目录，执行spark-submit命令，并携带相关参数。

查看更多 →

如何处理虚拟机类型环境下创建和部署组件时遇到E CS 错误？ 问题描述 在ServiceStage虚拟机类型环境下创建和部署组件时可能会遇到ECS服务不可用问题。 例如，在组件部署时调用ECS接口超时，查看日志详情报错如下： { "statusCode": 500, "jsonBody":

查看更多 →

Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期，应用失败 为什么Spark Str

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

Spark SQL程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

Spark作业相类 Spark作业开发类 Spark作业运维类

查看更多 →

export SPARK_HOME=/opt/spark-2.3.3 export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH 配置spark。 重命名/opt/spark-2.3.3/conf/spark-env.sh.template为spark-env

查看更多 →

管理Spark作业 查看Spark作业的基本信息 在总览页面单击“Spark作业”简介，或在左侧导航栏单击“作业管理”>“Spark作业”，可进入Spark作业管理页面。Spark作业管理页面显示所有的Spark作业，作业数量较多时，系统分页显示，您可以查看任何状态下的作业。 表1

查看更多 →

API连接时支持为Spark SQL作业独立配置需要的资源（例如线程、内存、CPU核数并指定 MRS 资源队列等）。代理连接时不支持配置。 您需要先在数据安全组件中配置对应的队列（参考配置队列权限，）后，才能在此处选择到已配置的队列。当有多处同时配置了资源队列时，此处配置的资源队列为最高优先级。

查看更多 →

对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 Spark shuffle异常处理 Spark多服务场景下，普通用户无法登录Spark客户端 安装使用集群外客户端时，连接集群端口失败 Datasource Avro格式查询异常 通过Spark-sql

查看更多 →

Spark常用配置参数 概述 本节介绍Spark使用过程中的常用配置项。以特性为基础划分子章节，以便用户快速搜索到相应的配置项。如果用户使用MRS集群，本节介绍的参数大部分已经适配好，用户无需再进行配置。少数需要用户根据实际场景配置的参数，请参见快速配置Spark参数。 配置Stage失败重试次数

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

部署 方案介绍 介绍SAP应用弹性伸缩的部署方案。 部署流程 在部署SAP应用弹性伸缩之前，您可以了解部署的整个流程。 资源准备 部署SAP应用弹性伸缩 介绍部署SAP应用弹性伸缩的操作过程。 验证结果 安装完成后，需要参考以下方法验证SAP应用弹性伸缩是否安装成功。

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

部署 方案 数据规划 资源准备 创建 云服务器 安装SAP HANA（单节点无HA） 安装SAP HANA（单节点HA）

查看更多 →

yml中更新了函数、事件或资源配置，并且希望将该更改（或多个更改）部署到华为云时，请使用此方法。 工作原理 Serverless Framework将serverless.yml中的所有语法转换为华为云部署管理的配置模板。 提供商插件解析serverless.yml配置并转换为华为云资源。 然后将函数的代码打包到目录中，压缩并上传到部署桶中。

查看更多 →

如何使用PySpark连接MRS Spark？ 问： 如何在ECS 服务器 上用PySpark连接内网开启Kerberos认证的MRS Spark集群？ 答： 将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials

查看更多 →

阶段一：所有应用都部署在虚拟机上。 阶段二：应用既部署在虚拟机上也部署在容器中，正在从虚拟机向容器迁移，并且使用Kubernetes管理容器。 阶段三：所有应用都部署在容器中，使用Kubernetes管理容器，并且使用Istio管理应用间的通信。 因为种种原因，容器与虚拟机共存将是一个长期的过程，但容器化的趋势不变。

查看更多 →

虚拟机服务添加网关和路由 网关（Gateway）定义了在网格出入口操作的负载均衡器，用于接收传入或传出的HTTP/TCP连接。 前提条件 已执行添加虚拟机服务到网格，即已创建v1版本的WorkloadEntry、ServiceEntry，已创建VirtualService、DestinationRule。

查看更多 →

步骤三：创建日志采集配置 在“日志接入”页面，选择左侧导航栏的“日志采集配置”。 单击“创建日志采集配置”。 配置日志采集参数，配置完成后，单击“确定”。 新创建的采集配置默认为草稿状态，展示在“草稿”页签下，当配置被微服务使用后，状态会更新为“已下发”，并展示到“已下发”页签下。

查看更多 →

Standalone模式spark配置 数据工厂应用内配置 图1 计算引擎配置 参数配置中spark.executor.extraClassPath指定spark上需要额外加载的jar包的路径，jar包需要放在spark所在服务器上。如果spark是集群环境，则每个节点都需要放入jar包，且路径相同。

查看更多 →