ght_Spark2x_xxx/install/ FusionInsight -Spark2x-*/spark/conf/log4j-executor.properties”）中的日志级别为DEBUG，如下所示： log4j.rootCategory=DEBUG, sparklog DEBUG级别生效会有一定的时延。

查看更多 →

Spark常见问题 Spark Core SQL和DataFrame Spark Streaming Spark客户端设置回收站version不生效 Spark yarn-client模式下如何修改日志级别为INFO 父主题： 使用Spark/Spark2x

查看更多 →

证书有效期是多久，证书是怎么样的？ 开发者认证证书自颁布之日起3年内有效。证书样式如图1 图1 云原生入门级开发者认证证书样例 父主题： 开发者认证证书常见问题

查看更多 →

SSL证书选型类 如何选择SSL证书？ 如何申请入门级SSL证书？ 多泛 域名 和混合域名证书的申请方法 SSL证书购买后，可以修改证书品牌、证书类型、域名类型等信息吗？ 购买证书相关问题，该如何解决？ 如何购买并申请国密SSL证书？ 父主题： SSL证书申购

查看更多 →

应用到服务产品中或者安装到 服务器 使用的证书，即该证书生效。 证书是一次性的，当目前的证书不能满足您的要求或者证书即将过期，您可以再购买新的可匹配该域名类型的证书，将新证书配置到目标域名使用。 相关操作： 如何将SSL证书应用到 华为云产品 ？ 如何在服务器上安装SSL证书？ 父主题：

查看更多 →

实例 什么是实例 实例即云耀云服务器，是由CPU、内存、操作系统、云硬盘组成的基础的计算组件。 云耀云服务器创建成功后，您就可以像使用自己的本地PC或物理服务器一样，在云上使用云耀云服务器，打造一个高效、可靠、安全的计算环境。云耀云服务器的开通是自助完成的，您只需要指定镜像、配置

查看更多 →

入门型规格适用于入门级网站搭建应用。创建云耀云服务器后，默认分配一个固定的弹性公网IP。 设置密码 勾选此选项 密码指使用设置初始密码方式作为云耀云服务器的鉴权方式，此时，您可以通过用户名密码方式登录云耀云服务器。 勾选此选项时，请在购买云耀云服务器后，先设置初始登录密码再登录服务器。默认勾选此选项。

查看更多 →

-cp $SPARK_HOME/jars/*:$SPARK_HOME/jars/hive/*:$SPARK_HOME/conf:/opt/female/SparkThriftServerJavaExample-1.0.jar com.huawei.bigdata.spark.examples

查看更多 →

哪些微认证可以兑换开发者认证？兑换关系是什么？ 领域 微认证名称 微认证版本 可兑换开发者认证 云原生 云原生基础设施之容器入门 2．0 云原生入门级开发者认证 云原生 云原生基础设施之容器进阶 2．0 云原生 基于CCE Kubernetes编排实战 2．0 云原生 CCE网络与存储实战

查看更多 →

com 端口：993 (需勾选SSL） SMTP服务器：smtp.sparkspace.huaweicloud.com 端口：465 (需勾选SSL） 如若选择POP3接收服务器类型，参数如下： POP服务器：pop3.sparkspace.huaweicloud.com 端口：995（需勾选SSL）

查看更多 →

DIS Spark Streaming概述 DIS Spark Streaming是 数据接入服务 （DIS）提供的一个sdk，支持将DIS作为数据源创建DStream对接SparkStreaming。dis-spark-streaming使用流程如图1所示。 图1 DIS Spark

查看更多 →

SparkRTC Demo怎么体验？ 您可以提交工单联系华为云技术客服，获取各平台对应的Demo进行体验。 父主题： 产品咨询

查看更多 →

查看目录下是否有对应的appid文件（Spark的eventlog存放目录： MRS 3.x及以后版本的目录是hdfs://hacluster/spark2xJobHistory2x，MRS 3.x以前版本的目录是hdfs://hacluster/sparkJobHistory，任务运行日

查看更多 →

Spark连接Kafka认证错误 问题现象 MRS 2.1.0版本集群中Spark消费kafka数据，过一天以后就会出现认证失败的报错： 原因分析 集群版本和运行的程序包版本不匹配。 处理步骤 参考运行Spark Streaming 对接Kafka0-10样例程序进行相关配置。 当前集群为MRS

查看更多 →

Spark作业管理概述 DLI 在开源Spark基础上进行了大量的性能优化与服务化改造，兼容Apache Spark生态和接口，执行批处理任务。 DLI还支持使用Spark作业访问DLI元数据，具体请参考《 数据湖探索 开发指南》。 Spark作业管理主要包括如下功能： 创建Spark作业

查看更多 →

print_function from pyspark.sql import SparkSession if __name__ == "__main__": # Create a SparkSession session. sparkSession = SparkSession.builder

查看更多 →

from pyspark.sql.types import StructType, StructField, IntegerType, StringType from pyspark.sql import SparkSession 创建session 1 sparkSession

查看更多 →

Spark开源命令支持说明 本章节介绍了目前DLI对开源的Spark SQL语法的支持情况。详细的语法、参数说明，示例等信息请参考Spark官方文档。 表1 DLI Spark开源命令支持说明 功能描述 语法示例 DLI Spark 2.4.5 DLI Spark 3.3.1 创建数据库

查看更多 →

Spark SQL样例程序 Spark SQL样例程序开发思路 Spark SQL样例程序（Java） Spark SQL样例程序（Scala） Spark SQL样例程序（Python） 父主题： 开发Spark应用

查看更多 →

Spark scala API接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类： SparkContext：是Spark的对外接口，负责向调用该类的scala应

查看更多 →

Spark应用开发流程介绍 Spark包含Spark Core、Spark SQL和Spark Streaming三个组件，其应用开发流程都是相同的。 开发流程中各阶段的说明如图1和表1所示。 图1 Spark应用程序开发流程 表1 Spark应用开发的流程说明 阶段 说明 参考文档

查看更多 →