已创建弹性云 服务器 ，创建弹性云服务器的方法，请参见《弹性云服务器快速入门》中“创建弹性云服务器”章节。 弹性云服务器上已经安装Spark环境。 操作步骤 获取GeminiDB Cassandra实例的内网IP地址、端口。 内网IP地址和端口的获取方法请参见查看IP地址和端口。 登录弹性云服务器，具体操作

查看更多 →

管理Spark作业模板 操作场景 在创建Spark作业时，您可以在已有的Spark样例模板中进行修改，来实现实际的作业逻辑需求，节约编辑SQL语句的时间。 当前云平台尚未提供预置的Spark模板，但支持用户自定义Spark作业模板，本节操作介绍在Spark管理页面创建Spark模板的操作方法。

查看更多 →

conf”配置文件中设置该参数。 Spark客户端提交的任务在客户端配的“spark-defaults.conf”配置文件中设置该参数。 Spark长时间任务安全认证配置 安全模式下，使用Spark CLI（如spark shell、spark sql、spark submit）时，如果使

查看更多 →

Spark用户权限管理 SparkSQL用户权限介绍 创建SparkSQL角色 配置Spark表、列和数据库的用户权限 配置SparkSQL业务用户权限 配置Spark Web UI ACL Spark客户端和服务端权限参数配置说明 父主题： 使用Spark/Spark2x

查看更多 →

现场可编程门阵列（FPGA）：一种入门级可编程的器件，通过硬件描述语言（Verilog或VHDL）所完成的电路设计，经过综合与布局，实现复杂的组合或者时序逻辑功能 镜像：弹性云服务镜像。 使用流程 FPGA加速云服务器提供了GitHub开源的Web化服务平台，便于用户将FPGA加速云服务器集成到第三方系统，用于二次开发。

查看更多 →

入门型规格适用于入门级网站搭建应用。创建云耀云服务器后，默认分配一个固定的弹性公网IP。 设置密码 勾选此选项 密码指使用设置初始密码方式作为云耀云服务器的鉴权方式，此时，您可以通过用户名密码方式登录云耀云服务器。 勾选此选项时，请在购买云耀云服务器后，先设置初始登录密码再登录服务器。默认勾选此选项。

查看更多 →

实例 什么是实例 实例即云耀云服务器，是由CPU、内存、操作系统、云硬盘组成的基础的计算组件。 云耀云服务器创建成功后，您就可以像使用自己的本地PC或物理服务器一样，在云上使用云耀云服务器，打造一个高效、可靠、安全的计算环境。云耀云服务器的开通是自助完成的，您只需要指定镜像、配置

查看更多 →

￥9.00 云备份 存储库类型: 云服务器备份存储库 | 1000GB 1 华为公有云 包周期 2月 ￥400.00 企业主机安全 规格: 企业版 1 华为公有云 包周期 1年 ￥900.00 SSL证书管理 SSL证书管理 一次性，DV入门级，证书品牌 DigiCert，泛 域名 ，有效期1年

查看更多 →

Standalone模式spark配置 数据工厂应用内配置 图1 计算引擎配置 参数配置中spark.executor.extraClassPath指定spark上需要额外加载的jar包的路径，jar包需要放在spark所在服务器上。如果spark是集群环境，则每个节点都需要放入jar包，且路径相同。

查看更多 →

Spark SQL语法概览 本章节介绍了目前 DLI 所提供的Spark SQL语法列表。参数说明，示例等详细信息请参考具体的语法说明。 表1 批作业SQL语法 语法分类 操作链接 数据库相关语法 创建数据库 删除数据库 查看指定数据库 查看所有数据库 创建OBS表相关语法 使用DataSource语法创建OBS表

查看更多 →

Spark用户权限管理 SparkSQL权限介绍 创建SparkSQL角色 配置Spark表、列和数据库的用户权限 配置SparkSQL业务用户权限 配置Spark2x Web UI ACL Spark客户端和服务端权限参数配置说明 父主题： 使用Spark2x（ MRS 3.x及之后版本）

查看更多 →

进程的JVM参数1 参数 说明 默认日志级别 spark.driver.extraJavaOptions Driver的JVM参数。 INFO spark.executor.extraJavaOptions Executor的JVM参数。 INFO spark.yarn.am.extraJavaOptions

查看更多 →

Studio服务进行作业开发请参考《 数据治理中心 用户指南》。 Spark SQL语法创建表时是否支持定义主键 Spark SQL语法不支持定义主键。 DLI Spark jar作业是否能访问DWS跨源表？ 可以访问。 详细操作请参考访问DWS和访问SQL库表。 如何查看Spark内置依赖包的版本？ DLI内置依

查看更多 →

调测Spark应用 编包并运行Spark应用 查看Spark应用调测结果 父主题： Spark开发指南

查看更多 →

广播。 参见https://spark.apache.org/docs/latest/sql-programming-guide.html 配置自动广播阈值的方法： 在Spark的配置文件“spark-defaults.conf”中，设置“spark.sql.autoBroadc

查看更多 →

言进行Spark应用程序开发。 按不同的语言分，Spark的API接口如表1所示。 表1 Spark API接口 功能 说明 Scala API 提供Scala语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Scala

查看更多 →

调测Spark应用 配置Windows通过EIP访问集群Spark 在本地Windows环境中调测Spark应用 在Linux环境中调测Spark应用 父主题： Spark2x开发指南（安全模式）

查看更多 →

调测Spark应用 在本地Windows环境中调测Spark应用 在Linux环境中调测Spark应用 父主题： Spark2x开发指南（普通模式）

查看更多 →

// 通过Spark接口获取表中的数据。 SparkConf conf = new SparkConf().setAppName("SparkHivetoHbase"); JavaSparkContext jsc = new JavaSparkContext(conf);

查看更多 →

提供Python语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Python API接口介绍。 按不同的模块分，Spark Core和Spark Streaming使用上表中的API接口进行程序开发。而SparkSQL模块，支持CLI或者JD

查看更多 →

ght_Spark2x_xxx/install/ FusionInsight -Spark2x-*/spark/conf/log4j-executor.properties”）中的日志级别为DEBUG，如下所示： log4j.rootCategory=DEBUG, sparklog DEBUG级别生效会有一定的时延。

查看更多 →