test，输入密码完成认证（首次登录需要修改密码） 使用Spark的beeline命令提交任务，创建Spark表： spark-beeline create table sparktest(a int, b string); insert into sparktest values (1,"test01")

查看更多 →

调测Spark应用 配置Windows通过EIP访问集群Spark 在本地Windows环境中调测Spark应用 在Linux环境中调测Spark应用 父主题： Spark2x开发指南（安全模式）

查看更多 →

调测Spark应用 编包并运行Spark应用 查看Spark应用调测结果 父主题： Spark开发指南

查看更多 →

广播。 参见https://spark.apache.org/docs/latest/sql-programming-guide.html 配置自动广播阈值的方法： 在Spark的配置文件“spark-defaults.conf”中，设置“spark.sql.autoBroadc

查看更多 →

提供Python语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Python API接口介绍。 按不同的模块分，Spark Core和Spark Streaming使用上表中的API接口进行程序开发。而SparkSQL模块，支持CLI或者JD

查看更多 →

// 通过Spark接口获取表中的数据。 SparkConf conf = new SparkConf().setAppName("SparkHivetoHbase"); JavaSparkContext jsc = new JavaSparkContext(conf);

查看更多 →

言进行Spark应用程序开发。 按不同的语言分，Spark的API接口如表1所示。 表1 Spark API接口 功能 说明 Scala API 提供Scala语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Scala

查看更多 →

调测Spark应用 在本地Windows环境中调测Spark应用 在Linux环境中调测Spark应用 父主题： Spark2x开发指南（普通模式）

查看更多 →

明请参考Spark Configuration。 表2 spark-defaults.conf可选参数说明 Spark作业参数 对应Spark批处理参数 备注 spark.dli.user.file file 如果是对接notebook工具场景时不需要设置。 spark.dli.user

查看更多 →

-cp $SPARK_HOME/jars/*:$SPARK_HOME/jars/hive/*:$SPARK_HOME/conf:/opt/female/SparkThriftServerJavaExample-1.0.jar com.huawei.bigdata.spark.examples

查看更多 →

非华为云SSL证书如何配置到华为云服务中？ 如何将证书应用到 华为云产品 ？ 部署证书到云产品 将SSL证书部署到 服务器 上使用 下载证书 如何在服务器上安装SSL证书？ SSL证书支持在哪些服务器上部署？ SSL证书支持在哪些地域部署？ 宝塔搭建的网站如何在后台添加SSL证书？ SSL证书的安装和配置提供咨询服务吗？

查看更多 →

哪些微认证可以兑换开发者认证？兑换关系是什么？ 领域 微认证名称 微认证版本 可兑换开发者认证 云原生 云原生基础设施之容器入门 2．0 云原生入门级开发者认证 云原生 云原生基础设施之容器进阶 2．0 云原生 基于CCE Kubernetes编排实战 2．0 云原生 CCE网络与存储实战

查看更多 →

MX 置为空 5 mx1.sparkspace.huaweicloud.com 10 mx2.sparkspace.huaweicloud.com 表示邮箱服务器地址为： mx1.sparkspace.huaweicloud.com mx2.sparkspace.huaweicloud

查看更多 →

如何获得华为云开发者认证证书 开发者认证购买常见问题 开发者认证课程学习常见问题 开发者认证理论考试常见问题 开发者认证实验考试常见问题 移动应用入门级开发者认证（HCCDA – Mobile App）考试注意事项 开发者认证证书常见问题 微认证兑换开发者认证常见问题 云认证业务动态说明 修订记录

查看更多 →

com 端口：993 (需勾选SSL） SMTP服务器：smtp.sparkspace.huaweicloud.com 端口：465 (需勾选SSL） 如若选择POP3接收服务器类型，参数如下： POP服务器：pop3.sparkspace.huaweicloud.com 端口：995（需勾选SSL）

查看更多 →

使用Spark-Beeline工具创建Spark和HBase表table1、table2，并通过HBase插入数据。 确保JD BCS erver已启动。登录Spark2x客户端节点。 使用Spark-beeline工具创建Spark表table1。 create table table1 ( key string

查看更多 →

bigdata.spark.examples.StreamingExampleProducer {BrokerList} {Topic} 其中，ClassPath应包含Spark客户端Kafka jar包的绝对路径，如/opt/client/Spark2x/spark/jars/*

查看更多 →

Spark性能优化 概述 Spark是基于内存的分布式计算框架。在迭代计算的场景下，数据处理过程中的数据可以存储在内存中，提供了比MapReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储，使用户能够快速地从MapReduce切换到Spark计算平台上去

查看更多 →

Spark作业开发类 Spark作业使用咨询 Spark如何将数据写入到 DLI 表中 通用队列操作OBS表如何设置AK/SK 如何查看DLI Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？

查看更多 →

已创建弹性云服务器，创建弹性云服务器的方法，请参见《弹性云服务器快速入门》中“创建弹性云服务器”章节。 弹性云服务器上已经安装Spark环境。 操作步骤 获取GeminiDB Cassandra实例的内网IP地址、端口。 内网IP地址和端口的获取方法请参见查看IP地址和端口。 登录弹性云服务器，具体操作

查看更多 →

org.apache.spark.SparkContext // RDD操作时引入的类。 import org.apache.spark.SparkContext._ // 创建SparkConf时引入的类。 import org.apache.spark.SparkConf 分布式模

查看更多 →