Spark SQL程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题： 开发程序

查看更多 →

export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH 配置spark。 重命名/opt/spark-2.3.3/conf/spark-env.sh.template为spark-env.sh并增加配置： export SPARK_DIST_CLASSPATH=$(hadoop

查看更多 →

Spark模板管理 操作场景 在创建Spark作业时，您可以在已有的Spark样例模板中进行修改，来实现实际的作业逻辑需求，节约编辑SQL语句的时间。 当前云平台尚未提供预置的Spark模板，但支持用户自定义Spark作业模板，本节操作介绍在Spark管理页面创建Spark模板的操作方法。

查看更多 →

MRS Spark SQL 功能 通过MRS Spark SQL节点实现在MRS中执行预先定义的SparkSQL语句。 参数 用户可参考表1，表2和表3配置MRS Spark SQL节点的参数。 表1 属性参数 参数 是否必选 说明 MRS作业名称 否 MRS的作业名称。 如果未

查看更多 →

对接的 DLI 服务的Region。 根据Spark应用程序的需要，修改“spark-defaults.conf”中的配置项，配置项兼容开源Spark配置项，参考开源Spark的配置项说明。 使用Spark-submit提交Spark作业 进入工具文件bin目录，执行spark-submit命令，并携带相关参数。

查看更多 →

如何使用PySpark连接MRS Spark？ 问：如何在E CS 服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群？ 答：将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials.hbase

查看更多 →

本章节示例中使用的jar样例程序为“{集群客户端安装目录}/Spark2x/spark/examples/jars/spark-examples_*.jar”（部分版本集群中Spark2x文件夹名称为Spark，请以实际为准）。 可登录客户端节点执行如下命令，将待运行的jar包样例上传至HDFS中，请参考使用HDFS客户端。

查看更多 →

安装ICAgent（华为云主机） ICAgent用于采集指标、日志和应用性能数据。对于在ECS、BMS控制台直接购买的主机，您需手动安装ICAgent。对于通过CCE间接购买的主机，ICAgent会自动安装，您不用安装ICAgent。 安装前提 在进行ICAgent安装前，需要先

查看更多 →

batchJob.asyncSubmit(); SparkJobStatus sparkJobStatus=batchJob.getStatus(); System.out.println(sparkJobStatus); } 查询批处理作业日志 DL

查看更多 →

使用Spark on CCE 使用Spark的Kubernetes调度程序spark-submit，可以将Spark应用程序提交到Kubernetes集群中运行，详情请参见在Kubernetes上运行Spark。使用spark-submit提交Spark应用程序的工作原理如下：

查看更多 →

Spark对接OpenTSDB 创建表关联OpenTSDB 插入数据至OpenTSDB表 查询OpenTSDB表 默认配置修改 父主题： 使用Spark

查看更多 →

Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期，应用失败 为什么Spark Str

查看更多 →

Spark on HBase程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发程序

查看更多 →

Spark SQL程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题： 开发程序

查看更多 →

Spark Core程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题： 开发程序

查看更多 →

：test1为代理用户 创建Spark表： create table sparktest1(a string,b int); 查看新创建的表： desc formatted sparktest1; 可以看到表的owner为代理用户test1，使用代理用户成功。 在spark-sql和spark-submit中使用代理用户提交Spark任务

查看更多 →

锁定优惠券的订单才能使用这个优惠券，其他订单不能使用该优惠券。 coupon_usage String 最大长度：512 优惠券用途。 coupon_group Integer - 优惠券分组。 1：云商店发放的券 2：华为云券-1024-专用代金券 3：华为云券-使用限制-抵扣硬件的券

查看更多 →

ICAgent管理（华为云主机） 安装ICAgent 升级ICAgent 卸载ICAgent 父主题： 配置管理

查看更多 →

标签画像服务引擎 ECS 通用型 16C32G 2 异机备份 服务器 ECS 通用型 8C16G 1 备份服务器 工作台 - 通用型 8C32G 1 工作台（windows sever2012系统） ECS 通用型 4C8G 9 备用服务器 ECS 通用型 8C16G 5 应急备用

查看更多 →

锁定优惠券的订单才能使用这个优惠券，其他订单不能使用该优惠券。 coupon_usage String 最大长度：512 优惠券用途。 coupon_group Integer - 优惠券分组。 1：云商店发放的券 2：华为云券-1024-专用代金券 3：华为云券-使用限制-抵扣硬件的券

查看更多 →

18 def submit_spark_batch_job(dli_client, batch_queue_name, batch_job_info): try: batch_job = dli_client.submit_spark_batch_job(batch_queue_name

查看更多 →