Spark输入 概述 “Spark输入”算子，将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入：SparkSQL表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

DLI Spark 功能 通过DLI Spark节点执行一个预先定义的Spark作业。 DLI Spark节点的具体使用教程，请参见开发一个DLI Spark作业。 参数 用户可参考表1，表2和表3配置DLI Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

mv ./spark/spark-3.1.3-bin-hadoop3.1.tgz /root 执行命令安装Spark。 tar -zxvf spark-3.1.3-bin-hadoop3.1.tgz mv spark-3.1.3-bin-hadoop3.1 spark-obs cat

查看更多 →

使用Spark/Spark2x Spark使用说明 Spark用户权限管理 Spark客户端使用实践 访问Spark WebUI界面 使用代理用户提交Spark作业 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强

查看更多 →

Spark输入 概述 “Spark输入”算子，将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入：SparkSQL表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String

查看更多 →

Spark Core 日志聚合下，如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中

查看更多 →

MRS Spark 功能 通过MRS Spark节点实现在MRS中执行预先定义的Spark作业。 参数 用户可参考表1，表2和表3配置MRS Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”

查看更多 →

登录云日志服务控制台。 在左侧导航栏中，选择“日志接入 > 接入向导”，单击“云主机 E CS -文本日志”进行主机接入配置。 或在左侧导航栏中，选择“日志接入 > 接入规则 > 接入日志”，单击“云主机 ECS-文本日志”进行主机接入配置。 或在左侧导航栏中，选择“日志管理”，单击

查看更多 →

安装ICAgent（非华为云主机） 前提条件 已购买 弹性云服务器 ECS作为跳板机。 满足AOM支持的操作系统及版本，支持amd64处理器架构。 弹性 云服务器 已绑定弹性IP地址。 确保本地浏览器的时间与弹性云 服务器 的时区、时间一致。 注意事项 非华为云上的服务器安装ICAgent时

查看更多 →

主机扫描支持非华为云主机吗？ 主机扫描支持非华为云主机。 目前支持linux主机和Windows主机。 父主题： 主机扫描类

查看更多 →

阿里云主机迁移至华为云 概述 准备工作 步骤一：下载并安装Edge 步骤二：采集阿里云ECS主机资源 步骤三：评估迁移准备度 步骤四：目的端规格评估 步骤五：创建主机迁移工作流

查看更多 →

ICAgent管理（非华为云主机） 安装ICAgent 升级ICAgent 卸载ICAgent 父主题： 配置管理

查看更多 →

ServiceStage云主机日志接入LTS 云日志服务（Log Tank Service，简称LTS），用于收集来自云主机ECS的日志数据，通过海量日志数据的分析与处理，可以将云服务和应用程序的可用性和性能最大化，为您提供实时、高效、安全的日志处理能力，帮助您快速高效地进行实时

查看更多 →

如何使用PySpark连接MRS Spark？ 问：如何在ECS服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群？ 答：将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials.hbase

查看更多 →

本章节示例中使用的jar样例程序为“{集群客户端安装目录}/Spark2x/spark/examples/jars/spark-examples_*.jar”（部分版本集群中Spark2x文件夹名称为Spark，请以实际为准）。 可登录客户端节点执行如下命令，将待运行的jar包样例上传至HDFS中，请参考使用HDFS客户端。

查看更多 →

查询 L实例 云主机详情列表 功能介绍 根据用户请求条件筛选、查询所有的云主机，并关联获取云主机的详细信息。 该接口支持查询云主机计费方式，以及是否被冻结。 接口约束 当前云主机详情列表中未包含包年/包云主机到期时间，如需获取，可以通过客户运营能力相关接口进行查询，详细内容，请参见查询客户包年/包月资源列表。

查看更多 →

远程登录L实例云主机（VNC方式） 操作场景 本节为您介绍如何通过控制台提供的远程登录功能（即VNC方式）登录到L实例。 约束与限制 只有状态为“运行中”的云服务器才允许用户登录。 L实例没有默认登录密码，首次登录云服务器时，请先重置密码。 操作步骤 登录L实例控制台。 Flex

查看更多 →

哪些区域支持接入非华为云主机？ 目前仅以下区域，可以接入非华为云主机： 华北-北京一 华北-北京四 华东-上海一 华东-上海二 华南-广州 中国-香港 亚太-新加坡 西南-贵阳一 亚太-雅加达 如果您的主机非华为云主机，请在上述区域购买HSS配额，然后使用非华为云主机的安装方式，将主机接入配额所在区域。

查看更多 →

华为云主机跨可用区迁移 适用场景 本文介绍如何使用迁移中心MgC将华为云可用区的主机搬迁到其他可用区，适用于大批量主机跨可用区迁移。30台以下的小规模、单批次迁移请使用主机一站式跨可用区迁移。 准备工作 使用MgC之前，您需要拥有一个华为账号或一个可用于访问MgC的IAM用户，获取方法请参见准备工作。

查看更多 →