申请弹性IP，绑定新申请的弹性云主机IP，并配置安全组出入规则。 下载客户端程序，请参考下载 MRS 客户端。 登录客户端下载目标节点，以root用户安装集群客户端。 执行以下命令解压客户端包。 tar -xvf /opt/MRS_Services_Client.tar 执行以下命令校验安装文件包。 sha256sum

查看更多 →

配置Spark Python3样例工程 操作场景 为了运行MRS产品Spark2x组件的Python3接口样例代码，需要完成下面的操作。 操作步骤 客户端机器必须安装有Python3，其版本不低于3.6。 在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3

查看更多 →

配置Spark Python3样例工程 操作场景 为了运行MRS产品Spark2x组件的Python3接口样例代码，需要完成下面的操作。 操作步骤 客户端机器必须安装有Python3，其版本不低于3.6。 在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3

查看更多 →

配置Spark任务不获取HBase Token信息 配置场景 使用Spark提交任务时，Driver默认会去HBase 获取Token ，访问HBase则需要配置文件“jaas.conf”进行安全认证。此时如果用户未配置“jaas.conf”文件，会导致应用运行失败。 因此，根据应用是否涉及HBase进行以下处理：

查看更多 →

配置SparkSQL支持Hudi Schema演进 Schema演进开启后不能关闭。 本章节仅适用于MRS 3.2.0及之前版本。 使用spark-beeline时，需要登录Manager页面，选择“集群 > 服务 > Spark2x > 配置 > 全部配置”。 在搜索栏中搜索参数“spark

查看更多 →

locale = "US" String 否 - Spark输入字段 配置SparkSQL输入信息： 列名：配置SparkSQL列名。 字段名：配置输入字段名。 类型：配置字段类型。 长度：配置字段长度，字段值实际长度太长则按配置的长度截取，“类型”为“CHAR”时实际长度不足则

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

使用Spark 运行Spark应用时修改split值报错 提交Spark任务时提示参数格式错误 磁盘容量不足导致Spark、Hive和Yarn服务不可用 引入jar包不正确导致Spark任务无法运行 Spark任务由于内存不够或提交作业时未添加Jar包，作业卡住 提交Spark任务

查看更多 →

Spark Core 日志聚合下，如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中

查看更多 →

model.save("/tmp/spark_model") 保存完模型后，需要上传到OBS目录才能发布。发布时需要带上config.json配置和推理代码customize_service.py。config.json编写请参考模型配置文件编写说明，推理代码请参考推理代码。

查看更多 →

DLI Spark 功能 通过DLI Spark节点执行一个预先定义的Spark作业。 DLI Spark节点的具体使用教程，请参见开发一个DLI Spark作业。 参数 用户可参考表1，表2和表3配置DLI Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称

查看更多 →

。 表1 预置实例规格 云主机vCPU/内存规格 系统盘容量/类型 峰值带宽 | 流量包 随实例购买的服务（可选） 2vCPUs | 2G 40 GiB 高IO 2 Mbps | 200 GB 支持随Flexus应用 服务器 L实例购买的服务： 数据盘：通用型SSD V2 | 自定义容量

查看更多 →

OlxhYWEudHh0 相关信息 本接口复用E CS 相应接口，响应参数说明、接口使用示例、返回值等信息详见ECS文档修改 云服务器 ，该文档内容同样适用于 L实例 云主机。 ECS接口信息中，L实例中的云主机对应于 弹性云服务器 。 父主题： API

查看更多 →

如何查看按需资源每天消费多少钱？ 登录“费用中心”，在“账单管理 > 流水与明细账单 > 明细账单”页面中，“统计周期”设置为“按天”，“计费模式”设置为“按需”，根据导出的账单详情即可汇总出每天的消费总额。 您还可以登录“成本中心”，在“成本分析”页面，“周期”设置为“每日”，

查看更多 →

该服务器上未安装过ICAgent。 继承安装 当满足以下条件时，您需要按照该方式安装： 您有多个服务器需要安装ICAgent，其中一个服务器绑定了EIP，而剩余的没有绑定EIP。其中一个服务器已经通过首次安装方式装好了ICAgent，对于没有绑定EIP的服务器，您可以采用该安装方式。 请参考继承安装。

查看更多 →

允许开启对接Kafka可靠性功能。 配置描述 在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.streaming.Kafka.reliability Spark Streaming对接Kafka是否开启可靠性功能：

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

使用Spark/Spark2x Spark使用说明 Spark用户权限管理 Spark客户端使用实践 访问Spark WebUI界面 使用代理用户提交Spark作业 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强

查看更多 →

ICAgent管理（华为云主机） 安装ICAgent 升级ICAgent 卸载ICAgent 父主题： 配置管理

查看更多 →

查询Flexus L实例云主机详情 功能介绍 查询Flexus L实例云主机的详细信息，包括云主机的运行状态、云主机名称、公网IP等。 该接口支持查询云主机计费方式，以及是否被冻结。 调试 您可以在 API Explorer 中调试该接口。 URI GET /v1/{project_

查看更多 →

单击“复制命令”，复制ICAgent安装命令。 使用远程登录工具，以root用户登录待安装ICAgent的服务器，执行ICAgent安装命令，根据提示输入已获取的AK和SK。 当显示“ICAgent install success”时，表示安装成功，ICAgent已安装在了/opt/oss/s

查看更多 →