Spark输入 概述 “Spark输入”算子，将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入：SparkSQL表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String

查看更多 →

Spark Core 日志聚合下，如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中

查看更多 →

MRS Spark 功能 通过MRS Spark节点实现在MRS中执行预先定义的Spark作业。 参数 用户可参考表1，表2和表3配置MRS Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”

查看更多 →

建子网、设置安全组和网络ACL、管理路由表、申请弹性公网IP和带宽等。 弹性公网IP EIP：提供独立的公网IP资源，包括公网IP地址与公网出口带宽服务。 MapReduce服务 MRS：提供Hudi、Doris、Spark、HBase、Flink、Clickhouse、Hado

查看更多 →

云服务器 网卡配置虚拟IP地址（废弃） 功能介绍 虚拟IP地址用于为网卡提供第二个IP地址，同时支持与多个弹性云 服务器 的网卡绑定，从而实现多个弹性云服务器之间的高可用性。 该接口用于给云服务器网卡配置虚拟IP地址： 当指定的IP地址是一个不存在的虚拟IP地址时，系统会创建该虚拟IP，并绑定至对应网卡。

查看更多 →

表1 操作指引说明 操作系统类型 IP类型 操作步骤 Linux IPv4 本文以CentOS 8.0 64bit操作系统为例： 为多网卡Linux云服务器配置策略路由 (IPv4/IPv6) IPv6 Windows IPv4 本文以Windows 2012 64bit操作系统为例：

查看更多 →

如何使用PySpark连接MRS Spark？ 问：如何在E CS 服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群？ 答：将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials.hbase

查看更多 →

cd $SPARK_HOME 执行以下命令提交Spark作业。 ./bin/spark-submit --master yarn --deploy-mode client --conf spark.yarn.principal=MRSTest --conf spark.yarn

查看更多 →

数据库连接 使用Spark连接Cassandra失败 使用Java Driver连接数据库时，使用了映射IP报错 如何创建和连接弹性云服务器 GeminiDB Cassandra实例购买成功后是否支持更换VPC 父主题： 常见问题

查看更多 →

如何检查通过EIP访问后端云服务器？ 后端虚拟机绑定EIP。 登录管理控制台。 在管理控制台左上角单击图标，选择区域和项目。 单击“”，选择“计算 > 弹性云服务器”。 选择需要绑定EIP的弹性云服务器名称。 切换到“弹性公网IP”页签后，单击“绑定弹性公网IP”。 选择需要绑定的EIP，单击“确定”。

查看更多 →

示例四：配置云服务器高可用的IPv6虚拟IP功能 操作场景 虚拟IP主要用在弹性云服务器的主备切换，达到高可用性的目的。当主服务器发生故障无法对外提供服务时，动态将虚拟IP切换到备服务器，继续对外提供服务。 本章节指导用户通过调用一系列IPv6虚拟IP相关API，使应用具备高可用性。

查看更多 →

如何查看云服务器的IP地址等网卡信息 操作场景 本章节指导用户获取云服务器的IP地址等网卡信息。 操作步骤 登录管理控制台。 选择“计算 > 弹性云服务器”。 进入弹性云服务器页面。 在服务器列表中，单击待查询弹性云服务器的名称。 进入弹性云服务器详情页面。 选择“网卡”页签。 进入网卡详情页面。

查看更多 →

Spark模板管理 操作场景 在创建Spark作业时，您可以在已有的Spark样例模板中进行修改，来实现实际的作业逻辑需求，节约编辑SQL语句的时间。 当前云平台尚未提供预置的Spark模板，但支持用户自定义Spark作业模板，本节操作介绍在Spark管理页面创建Spark模板的操作方法。

查看更多 →

对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 Spark shuffle异常处理 Spark多服务场景下，普通用户无法登录Spark客户端 安装使用集群外客户端时，连接集群端口失败 Datasource Avro格式查询异常 通过Spark-sql

查看更多 →

Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期，应用失败 为什么Spark Str

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH 配置spark。 重命名/opt/spark-2.3.3/conf/spark-env.sh.template为spark-env.sh并增加配置： export SPARK_DIST_CLASSPATH=$(hadoop

查看更多 →

Spark SQL程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

MRS Spark SQL 功能 通过MRS Spark SQL节点实现在MRS中执行预先定义的SparkSQL语句。 参数 用户可参考表1，表2和表3配置MRS Spark SQL节点的参数。 表1 属性参数 参数 是否必选 说明 MRS作业名称 否 MRS的作业名称。 如果未

查看更多 →

对接的 DLI 服务的Region。 根据Spark应用程序的需要，修改“spark-defaults.conf”中的配置项，配置项兼容开源Spark配置项，参考开源Spark的配置项说明。 使用Spark-submit提交Spark作业 进入工具文件bin目录，执行spark-submit命令，并携带相关参数。

查看更多 →

任务提交验证：将以下地址中的ip和端口修改为实际部署ip和端口，在minio中创建桶data-mining-spark，将test文件夹中的test.py脚本上传至桶data-mining-spark的根路径下，请求以下接口 请求地址：http://localhost:8087/spark-submit

查看更多 →