18 def submit_spark_batch_job(dli_client, batch_queue_name, batch_job_info): try: batch_job = dli_client.submit_spark_batch_job(batch_queue_name

查看更多 →

创建Spark作业 Spark作业编辑页面支持执行Spark作业，为用户提供全托管式的Spark计算服务。 在总览页面，单击Spark作业右上角的“创建作业”，或在Spark作业管理页面，单击右上角的“创建作业”，均可进入Spark作业编辑页面。 进入Spark作业编辑页面，页面

查看更多 →

开发Spark应用 Spark Core程序 Spark SQL程序 Spark Streaming程序 通过JDBC访问Spark SQL的程序 Spark on HBase程序 从HBase读取数据再写入HBase 从Hive读取数据再写入HBase Streaming从Kafka读取数据再写入HBase

查看更多 →

Spark Core程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题： 开发Spark应用

查看更多 →

Spark接口介绍 Spark Java API接口介绍 Spark Scala API接口介绍 Spark Python接口介绍 Spark REST API接口介绍 Spark ThriftServer接口介绍 Spark常用命令介绍 父主题： Spark应用开发常见问题

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

MRS Spark Python 功能 通过MRS Spark Python节点实现在MRS中执行预先定义的Spark Python作业。 MRS Spark Python算子的具体使用教程，请参见开发一个MRS Spark Python作业。 参数 用户可参考表1，表2和表3配置MRS

查看更多 →

batchJob.asyncSubmit(); SparkJobStatus sparkJobStatus=batchJob.getStatus(); System.out.println(sparkJobStatus); } 查询批处理作业日志 DL

查看更多 →

Manager界面中配置。 表1 Spark2x日志列表 日志类型 日志文件名 描述 SparkResource2x日志 spark.log Spark2x服务初始化日志。 prestart.log prestart脚本日志。 cleanup.log 安装卸载实例时的清理日志。 spark-availability-check

查看更多 →

Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期，应用失败 为什么Spark Str

查看更多 →

Spark对接OpenTSDB 创建表关联OpenTSDB 插入数据至OpenTSDB表 查询OpenTSDB表 默认配置修改 父主题： 使用Spark（MRS 3.x之前版本）

查看更多 →

使用Spark on CCE 使用Spark的Kubernetes调度程序spark-submit，可以将Spark应用程序提交到Kubernetes集群中运行，详情请参见在Kubernetes上运行Spark。使用spark-submit提交Spark应用程序的工作原理如下：

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

Spark on HBase程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

云服务器 网卡解绑虚拟IP地址（废弃） 功能介绍 虚拟IP地址用于为网卡提供第二个IP地址，同时支持与多个弹性云 服务器 的网卡绑定，从而实现多个弹性云服务器之间的高可用性。 该接口用于解绑定弹性云服务器网卡的虚拟IP地址。解绑后，网卡不会被删除，如需删除云服务器网卡，请参见批量删除云服务器网卡。

查看更多 →

弹性云服务器IP获取不到时，如何排查？ 问题描述 用户无法查询到弹性云服务器私网IP地址信息。 排查思路 本问题请按照以下思路进行排查处理。 图1 排查思路 查看DHCP是否为启用状态 检查是否存在dhclient进程 检查弹性云服务器日志 步骤一：查看DHCP是否为启用状态 检

查看更多 →

(Windows IPv6) 收集配置策略路由需要的云服务器网卡地址等信息。 具体操作请参见收集云服务器网络信息。 登录弹性云服务器。 弹性云服务器有多种登录方法，具体请参见登录弹性云服务器。 执行以下命令，确保云服务器已开启IPv6协议栈，并且正常获取到IPv6地址。 ipconfig

查看更多 →

EIP 弹性公网IP（Elastic IP，简称EIP）提供独立的公网IP资源，包括公网IP地址与公网出口带宽服务。可以与弹性云服务器、 裸金属服务器 、虚拟IP、弹性负载均衡、NAT网关等资源灵活地绑定及解绑。详情参考帮助文档。 登录华为云网络控制台 单击“弹性公网IP和带宽”->

查看更多 →

-put python36.zip /user/python 配置MRS客户端。 进入Spark客户端安装目录“/opt/client/Spark2x/spark/conf”，在“spark-defaults.conf”配置文件如下参数。 spark.pyspark.driver.pyt

查看更多 →

浮动IP 查询浮动IP列表 查询浮动IP 创建浮动IP 更新浮动IP 删除浮动IP 父主题： API（OpenStack Neutron V2.0 原生）

查看更多 →