配置Spark任务不获取HBase Token信息 配置场景 使用Spark提交任务时，Driver默认会去HBase 获取Token ，访问HBase则需要配置文件“jaas.conf”进行安全认证。此时如果用户未配置“jaas.conf”文件，会导致应用运行失败。 因此，根据应用是否涉及HBase进行以下处理：

查看更多 →

配置Windows通过EIP访问集群Spark 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Spark文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行SparkScalaExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并将本

查看更多 →

动态分配资源，使整个Spark系统更加健康。 操作步骤 需要先配置External shuffle service。 登录 FusionInsight Manager，选择“集群 > 服务 > Spark2x > 配置 > 全部配置”。在搜索框中输入“spark.dynamicAllocation

查看更多 →

SAP HANA 服务器 配置 在SAP HANA的安装过程中，安装程序使用主机名称来进行通信。因此需要配置主机名称和IP地址的映射关系。 操作步骤 登录SAP HANA主节点云服务器“hana001”，编辑/etc/hosts文件，将所有SAP HANA节点的主机名称与IP地址写入其中。

查看更多 →

以下配置以对接华为云短信平台为例，提供了具体对接配置步骤；更多类型的短信服务器对接，请参见典型配置案例。 租户管理员界面配置短信服务器对接参数。 登录华为乾坤控制台。 单击页面左上角按钮，单击“我的服务 > 云管理网络”，在快捷菜单栏选择“ > 高级配置”。 在高级配置界面选择“系统

查看更多 →

配置备份服务器 将一台安装了eBackup备份软件的服务器初始化为备份服务器，并配置相关参数。 前提条件 安装前准备请提前规划备份服务器的相关网络平面参数。 已准备跨平台远程访问工具如“PuTTY”。 已获取eBackup服务器“root”账号的登录密码。 配置eBackup备份服务器

查看更多 →

配置Spark Python3样例工程 操作场景 为了运行 MRS 产品Spark2x组件的Python3接口样例代码，需要完成下面的操作。 操作步骤 客户端机器必须安装有Python3，其版本不低于3.6。 在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3

查看更多 →

配置Windows通过EIP访问集群Spark 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Spark文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行SparkScalaExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并将本

查看更多 →

配置Windows通过EIP访问集群Spark 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Spark文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行SparkScalaExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并将本

查看更多 →

配置Spark Python3样例工程 操作场景 为了运行MRS产品Spark2x组件的Python3接口样例代码，需要完成下面的操作。 操作步骤 客户端机器必须安装有Python3，其版本不低于3.6。 在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3

查看更多 →

配置Windows通过EIP访问集群Spark 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Spark文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行SparkScalaExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并将本

查看更多 →

在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”配置文件中进行设置，修改如下参数： 参数 说明 默认值 spark.yarn.session.to.application.clean.enabled 设置为true，Spark将开启定期残余文件清理特性

查看更多 →

配置Spark任务不获取HBase Token信息 配置场景 使用Spark提交任务时，Driver默认会去HBase获取Token，访问HBase则需要配置文件“jaas.conf”进行安全认证。此时若用户未配置“jaas.conf”文件，会导致应用运行失败。 因此，根据应用是否涉及HBase进行以下处理：

查看更多 →

验。 true spark.acls.enable 配置是否开启spark权限管理。 如果开启，将会检查用户是否有权限访问和修改任务信息。 true spark.admin.acls 配置spark管理员列表，列表中成员有权限管理所有spark任务，此处可以配置多个管理员用户，使用“，”分隔。

查看更多 →

，使整个Spark系统更加健康。 操作步骤 需要先配置External shuffle service。 登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置 > 全部配置”。在搜索框中输入“spark.dynamicAllocation

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

使用Spark/Spark2x Spark使用说明 Spark用户权限管理 Spark客户端使用实践 访问Spark WebUI界面 使用代理用户提交Spark作业 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强

查看更多 →

使用Spark 运行Spark应用时修改split值报错 提交Spark任务时提示参数格式错误 磁盘容量不足导致Spark、Hive和Yarn服务不可用 引入jar包不正确导致Spark任务无法运行 Spark任务由于内存不够或提交作业时未添加Jar包，作业卡住 提交Spark任务

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

locale = "US" String 否 - Spark输入字段 配置SparkSQL输入信息： 列名：配置SparkSQL列名。 字段名：配置输入字段名。 类型：配置字段类型。 长度：配置字段长度，字段值实际长度太长则按配置的长度截取，“类型”为“CHAR”时实际长度不足则

查看更多 →

Spark Core 日志聚合下，如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中

查看更多 →