Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期，应用失败 为什么Spark Str

查看更多 →

使用Spark on CCE 使用Spark的Kubernetes调度程序spark-submit，可以将Spark应用程序提交到Kubernetes集群中运行，详情请参见在Kubernetes上运行Spark。使用spark-submit提交Spark应用程序的工作原理如下：

查看更多 →

以及对数仓相关领域人员进行技能提升。 华为云欧拉操作系统入门级开发者认证（HCCDA - Huawei Cloud EulerOS）：面向云计算初学者，培训与认证华为云欧拉操作系统的理论知识和实操能力。 GaussDB 入门级开发者认证-Java（HCCDA – GaussDB in

查看更多 →

如何使用PySpark连接 MRS Spark？ 问：如何在E CS 服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群？ 答：将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials.hbase

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

Spark SQL程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期，应用失败 为什么Spark Str

查看更多 →

Spark模板管理 操作场景 在创建Spark作业时，您可以在已有的Spark样例模板中进行修改，来实现实际的作业逻辑需求，节约编辑SQL语句的时间。 当前云平台尚未提供预置的Spark模板，但支持用户自定义Spark作业模板，本节操作介绍在Spark管理页面创建Spark模板的操作方法。

查看更多 →

对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 Spark shuffle异常处理 Spark多服务场景下，普通用户无法登录Spark客户端 安装使用集群外客户端时，连接集群端口失败 Datasource Avro格式查询异常 通过Spark-sql

查看更多 →

MRS Spark SQL 功能 通过MRS Spark SQL节点实现在MRS中执行预先定义的SparkSQL语句。 参数 用户可参考表1，表2和表3配置MRS Spark SQL节点的参数。 表1 属性参数 参数 是否必选 说明 MRS作业名称 否 MRS的作业名称。 如果未

查看更多 →

export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH 配置spark。 重命名/opt/spark-2.3.3/conf/spark-env.sh.template为spark-env.sh并增加配置： export SPARK_DIST_CLASSPATH=$(hadoop

查看更多 →

对接的 DLI 服务的Region。 根据Spark应用程序的需要，修改“spark-defaults.conf”中的配置项，配置项兼容开源Spark配置项，参考开源Spark的配置项说明。 使用Spark-submit提交Spark作业 进入工具文件bin目录，执行spark-submit命令，并携带相关参数。

查看更多 →

准备Spark应用运行环境 操作场景 Spark的运行环境（即客户端）只能部署在Linux环境下。您可以执行如下操作完成运行环境准备。 准备运行调测环境 在 弹性云服务器 管理控制台，申请一个新的弹性 云服务器 ，用于应用开发运行调测。 弹性云 服务器 的安全组需要和MRS集群Master节点的安全组相同。

查看更多 →

安装ICAgent（非华为云主机） 前提条件 已购买弹性 云服务器ECS 作为跳板机。 满足AOM支持的操作系统及版本，支持amd64处理器架构。 弹性云服务器已绑定弹性IP地址。 确保本地浏览器的时间与弹性云服务器的时区、时间一致。 注意事项 非华为云上的服务器安装ICAgent时

查看更多 →

阿里云主机迁移至华为云 概述 准备工作 步骤一：下载并安装Edge 步骤二：采集阿里云ECS主机资源 步骤三：评估迁移准备度 步骤四：目的端规格评估 步骤五：创建主机迁移工作流 父主题： 主机迁移相关最佳实践

查看更多 →

主机扫描支持非华为云主机吗？ 主机扫描支持非华为云主机。 目前支持linux主机和Windows主机。 父主题： 主机扫描类

查看更多 →

ICAgent管理（非华为云主机） 安装ICAgent 升级ICAgent 卸载ICAgent 父主题： 配置管理

查看更多 →

ServiceStage云主机日志接入LTS 云日志服务（Log Tank Service，简称LTS），用于收集来自云主机ECS的日志数据，通过海量日志数据的分析与处理，可以将云服务和应用程序的可用性和性能最大化，为您提供实时、高效、安全的日志处理能力，帮助您快速高效地进行实时

查看更多 →

查询 L实例 云主机详情列表 功能介绍 根据用户请求条件筛选、查询所有的云主机，并关联获取云主机的详细信息。 该接口支持查询云主机计费方式，以及是否被冻结。 接口约束 当前云主机详情列表中未包含包年/包云主机到期时间，如需获取，可以通过客户运营能力相关接口进行查询，详细内容，请参见查询客户包年/包月资源列表。

查看更多 →

华为云主机跨可用区迁移 适用场景 本文介绍如何使用迁移中心MgC将华为云可用区的主机搬迁到其他可用区，适用于大批量主机跨可用区迁移。30台以下的小规模、单批次迁移请使用主机一站式跨可用区迁移。 准备工作 使用MgC之前，您需要拥有一个华为账号或一个可用于访问MgC的IAM用户，获取方法请参见准备工作。

查看更多 →

哪些区域支持接入非华为云主机？ 目前仅以下区域，可以接入非华为云主机： 华北-北京一 华北-北京四 华东-上海一 华东-上海二 华南-广州 中国-香港 亚太-新加坡 西南-贵阳一 亚太-雅加达 如果您的主机非华为云主机，请在上述区域购买HSS配额，然后使用非华为云主机的安装方式，将主机接入配额所在区域。

查看更多 →