配置Spark对接LakeFormation 使用pyspark时，需要将以下配置中“spark.hadoop”开头的参数去掉“spark.hadoop”后配置到hive-site.xml配置文件中。 对接通用配置 在“spark/conf/spark-defaults.conf”中添加以下配置：

查看更多 →

在客户端的“spark-defaults.conf”配置文件中，配置“spark.kerberos.keytab”和“spark.kerberos.principal”参数指定认证信息。 执行bin/spark-submit的命令中添加如下参数来指定认证信息。 --conf spark

查看更多 →

在客户端的“spark-defaults.conf”配置文件中，配置“spark.kerberos.keytab”和“spark.kerberos.principal”参数指定认证信息。 执行bin/spark-submit的命令中添加如下参数来指定认证信息。 --conf spark

查看更多 →

true spark.acls.enable 配置是否开启Spark权限管理。 如果开启，将会检查用户是否有权限访问和修改任务信息。 true spark.admin.acls 配置Spark管理员列表，列表中成员有权限管理所有Spark任务，此处可以配置多个管理员用户，使用“

查看更多 →

配置Spark读写Doris数据 Spark Doris Connector可以支持通过Spark读取Doris中存储的数据，也支持通过Spark写入数据到Doris中。 支持从Doris中读取数据 支持Spark DataFrame批量/流式写入Doris。 可以将Doris表

查看更多 →

Spark的数据读取效率。 前提条件 Guardian服务正常，且已开启存算分离，具体请参考配置Guardian服务对接OBS。 已完成Spark对接OBS，具体请参考配置Spark通过Guardian访问OBS。 修改Spark配置 登录 FusionInsight Manager，选择“集群

查看更多 →

通用型测试数据 关于IOPS RDS for PostgreSQL支持的IOPS取决于云硬盘（Elastic Volume Service，简称EVS）的IO性能，具体请参见《云硬盘产品介绍》中“磁盘类型及性能介绍”的内容。 通用型实例测试列表 表1 CPU:内存=1:2 CPU(Core)

查看更多 →

通用型测试数据 本节提供RDS for PostgreSQL 14 X86通用型SSD云盘测试数据。 关于IOPS RDS for PostgreSQL支持的IOPS取决于云硬盘（Elastic Volume Service，简称EVS）的IO性能，具体请参见《云硬盘产品介绍》中“磁盘类型及性能介绍”的内容。

查看更多 →

通用型测试数据 关于IOPS RDS for MySQL支持的IOPS取决于云硬盘（Elastic Volume Service，简称EVS）的IO性能，具体请参见《云硬盘产品介绍》中“磁盘类型及性能介绍”的内容。 通用型实例测试列表 如下表中的“最大连接数（压力测试值）”是RD

查看更多 →

通用型测试数据 关于IOPS RDS for MySQL支持的IOPS取决于云硬盘（Elastic Volume Service，简称EVS）的IO性能，具体请参见《云硬盘产品介绍》中“磁盘类型及性能介绍”的内容。 通用型实例测试列表 如下表中的“最大连接数（压力测试值）”是RD

查看更多 →

通用型测试数据 关于IOPS RDS for MySQL支持的IOPS取决于云硬盘（Elastic Volume Service，简称EVS）的IO性能，具体请参见《云硬盘产品介绍》中“磁盘类型及性能介绍”的内容。 通用型实例测试列表 根据业务场景的不同，RDS for MySQL

查看更多 →

怎样将老版本的Spark队列切换成通用型队列 当前 DLI 服务包括“SQL队列”和“通用队列”两种队列类型。 其中，“SQL队列”用于运行SQL作业，“通用队列”兼容老版本的Spark队列，用于运行Spark作业和Flink作业。 通过以下步骤，可以将老版本的“Spark队列”转换为新的“通用队列”。

查看更多 →

通用型测试数据 关于IOPS RDS for PostgreSQL支持的IOPS取决于云硬盘（Elastic Volume Service，简称EVS）的IO性能，具体请参见《云硬盘产品介绍》中“磁盘类型及性能介绍”的内容。 通用型实例测试列表 表1 CPU:内存=1:2 CPU(Core)

查看更多 →

通用型测试数据 本节提供RDS for PostgreSQL 15 X86通用型SSD云盘测试数据。 关于IOPS RDS for PostgreSQL支持的IOPS取决于云硬盘（Elastic Volume Service，简称EVS）的IO性能，具体请参见《云硬盘产品介绍》中“磁盘类型及性能介绍”的内容。

查看更多 →

在客户端的“spark-default.conf”配置文件中，配置“spark.yarn.keytab”和“spark.yarn.principal”参数指定认证信息。 执行bin/spark-submit的命令中添加如下参数来指定认证信息。 --conf spark.yarn.keytab=<keytab文件路径>

查看更多 →

配置Spark SQL防御规则 配置Spark SQL防御操作场景 用户可以在Manager界面配置Spark的SQL防御规则，根据业务调整对应SQL防御规则的参数。 配置Spark SQL防御前提条件 已安装包含Spark服务的集群客户端，安装目录如“/opt/hadoopclient”。

查看更多 →

AMD64、ARM 支持的场景：spark-sql模式 配置参数 在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”配置文件中进行设置，修改如下参数： 参数 说明 默认值 spark.plugins Spark用到的插件，参数值设置为io

查看更多 →

快速配置Spark参数 概述 本节介绍Spark2x使用过程中快速配置常用参数和不建议修改的配置参数。 快速配置常用参数 其他参数在安装集群时已进行了适配，以下参数需要根据使用场景进行调整。以下参数除特别指出外，一般在Spark2x客户端的“spark-defaults.conf”文件中配置。

查看更多 →

配置Spark多租户模式 配置场景 多租户模式是将JD BCS erver和租户绑定，每一个租户对应一个或多个JDB CS erver，一个JDBCServer只给一个租户提供服务。不同的租户可以配置不同的Yarn队列，从而达到资源隔离。 配置描述 登录Manager，选择“集群 > 服务

查看更多 →

特殊价格修改 接口地址 /id/b1s/v1/SpecialPrices 接口API功能描述 特殊价格接口 调用方式 PATCH 可涵盖范围 采购核价单、业务报价单 请求地址参数 参数名称 参数说明 地址示例 (id) 在地址中加入(特殊价格id)返回指定特殊价格信息 /id/b

查看更多 →

云服务价格 本章节介绍华为云服务一些常见的收费疑问。 针对具体的云服务产品，您可以到对应的产品侧查看详细的计费说明，例如：ECS的计费说明。您还可以访问华为云官网云服务 定价 页面，单击“价格计算器”，选择具体的产品，设置产品规格、计费方式等信息，查看价格详情。例如：ECS的价格计算器。

查看更多 →