使用Spark 运行Spark应用时修改split值报错 提交Spark任务时提示参数格式错误 磁盘容量不足导致Spark、Hive和Yarn服务不可用 引入jar包不正确导致Spark任务无法运行 Spark任务由于内存不够或提交作业时未添加Jar包，作业卡住 提交Spark任务

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

Spark输入 概述 “Spark输入”算子，将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入：SparkSQL表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String

查看更多 →

Spark Core 日志聚合下，如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中

查看更多 →

DLI Spark 功能 通过DLI Spark节点执行一个预先定义的Spark作业。 DLI Spark节点的具体使用教程，请参见开发一个DLI Spark作业。 参数 用户可参考表1，表2和表3配置DLI Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称

查看更多 →

建立工单与生成工单方案 通过手工录入工单或批量录入工单的方式建立工单；工单建立完成后再生成工单方案。 前提条件 已登录MBM Space，且拥有“工单操作台”菜单栏目的操作权限。 已维护生产方案相关数据，包括工厂建模、产品制造BOM定义、工艺流程建模、质量追溯标准等。 注意事项

查看更多 →

建立数据库连接失败 Check that the hostname and port are correct and that the postmaster is accepting TCP/IP connections. 问题分析：客户端与服务端网络不通、端口错误或待连接CN异常。

查看更多 →

如何通过FTP升级交换机版本 请参见园区典型配置案例中的新设备升级示例。 父主题： 常见配置操作

查看更多 →

上云配置指南 配置DHCP 服务器 。 假设以华为AR设备作为DHCP服务器，且已经被华为乾坤云平台纳管，DHCP服务器配置步骤参考配置DHCP服务器。 假设以华为FW设备作为DHCP服务器，且已经被华为乾坤云平台纳管，DHCP服务器配置步骤参考配置DHCP服务器。 配置DNS。此处以路由器为例。

查看更多 →

口。 通过客户端工具登录。 打开本地SFTP、FTP客户端工具。 填写服务器地址、端口、用户名，输入登录密码。 支持使用API的登录方式登录FTP、SFTP协议类型的主机。 表3 登录参数说明 参数 说明 登录IP 配置信息的服务器地址，即 堡垒机 登录IP地址。 登录端口 配置信息的端口，默认端口号2222。

查看更多 →

下载数据到SFTP服务器上的存放路径。 表3 FTP类型存储的参数说明 参数 说明 连接地址 FTP服务器的IP地址。 端口 FTP服务器端口。 连接模式 主动：FTP服务器主动连接客户端的数据端口。 被动：FTP服务器被动等待客户端连接自己的数据端口。 用户名/密码 登录FTP服务器的用户名和密码。

查看更多 →

Spark输入 概述 “Spark输入”算子，将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入：SparkSQL表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String

查看更多 →

Spark Core 日志聚合下如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中，

查看更多 →

MRS Spark 功能 通过MRS Spark节点实现在MRS中执行预先定义的Spark作业。 参数 用户可参考表1，表2和表3配置MRS Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”

查看更多 →

使用Windows自带的FTP服务搭建FTP站点。 快速构建FTP站点（Linux） 手动部署 自动部署 Linux 公共镜像 使用vsftpd软件搭建FTP站点。vsftpd全称是“very secure FTP daemon”，是一款在Linux发行版中使用较多的FTP服务器软件。 基于Tomcat构建Java

查看更多 →

-cp $SPARK_HOME/jars/*:$SPARK_HOME/jars/hive/*:$SPARK_HOME/conf:/opt/female/SparkThriftServerJavaExample-1.0.jar com.huawei.bigdata.spark.examples

查看更多 →

监控指标转储配置”，查看“FTP用户名”、“保存路径”和“转储模式”配置项。 是FTP模式，执行6。 是SFTP模式，执行7。 登录服务器，在默认目录下查看相对路径“保存路径”是否有“FTP用户名”的读写权限。 是，执行9。 否，执行8。 登录服务器，查看绝对路径“保存路径”是否有“FTP用户名”的读写权限。

查看更多 →

-cp $SPARK_HOME/jars/*:$SPARK_HOME/jars/hive/*:$SPARK_HOME/conf:/opt/female/SparkThriftServerJavaExample-1.0.jar com.huawei.bigdata.spark.examples

查看更多 →

mv ./spark/spark-3.1.3-bin-hadoop3.1.tgz /root 执行命令安装Spark。 tar -zxvf spark-3.1.3-bin-hadoop3.1.tgz mv spark-3.1.3-bin-hadoop3.1 spark-obs cat

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

使用Spark/Spark2x Spark使用说明 Spark用户权限管理 Spark客户端使用实践 访问Spark WebUI界面 使用代理用户提交Spark作业 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强

查看更多 →