配置认证 服务器 配置无线认证模板（用户名密码认证） 在WAC认证界面，创建SSID信息，与WAC设备侧保存一致。对通过WAC上线的用户进行认证。 登录华为乾坤控制台。 单击页面左上角按钮，单击“我的服务 > 云管理网络”，在快捷菜单栏选择“ > 高级配置”。 在高级配置界面选择“网络配置

查看更多 →

配置服务器 通过分配的公网IP-121.36.25.2远程服务器配置。 Hosts配置 图1 Hosts配置 IIS组件安装 图2 IIS组件安装 父主题： 安装测试环境

查看更多 →

资源和成本规划 该解决方案主要部署如下资源，每月花费如下所示，具体请参考华为云官网价格详情，实际收费以账单为准： 表1 资源和成本规划（包年包月） 华为云服务 配置示例 每月花费 弹性云服务器 E CS 区域：华北-北京四 计费模式：包月 规格：X86计算 | 通用计算型 | s6

查看更多 →

2023/04/20 23:59:59） 公网带宽：6Mbit/s 秒级监控：1秒监控 计费时长：1个月 图中价格仅供参考，以华北-北京四为例，实际计算请以RDS价格详情中的价格为准。 在按需付费模式下，价格计算器上的金额如果遇小数点，则保留小数点后两位，第三位四舍五入。如遇四舍五入后不足￥0.01，则按￥0

查看更多 →

使用须知 M3型弹性云服务器没有IB网卡和SSD卡。 M3型弹性云服务器支持同类型云服务器之间的规格变更。 适用场景 高性能数据库 内存数据库 分布式内存缓存 数据分析和挖掘 Hadoop/Spark集群以及其他企业应用程序 规格 表7 M3型弹性云服务器的规格 规格名称 vCPU

查看更多 →

15:30:00购买了一台按需计费的X实例，规格配置如下： 规格：2vCPUs/2GiB 镜像：Windows Server 2019 标准版 系统盘：通用型SSD，40GiB 数据盘：通用型SSD，100GiB 公网带宽：6Mbit/s 用了一段时间后，用户发现云服务器当前规格无法满足业务需要，于2024/03/20

查看更多 →

资源和成本规划 建议采用分布式部署的方式： DPE按五个节点来配置云服务器资源； DCE按三个节点来配置云服务器资源； 后期随着业务量的增加，可支持横向扩展云服务器资源，以满足业务使用。 表1 资源和成本规划 组件 云资源 规格 数量 每月费用（元） 备注 DPE DPE控制平面

查看更多 →

计费模式 购买量 单位 购买个数 规格 实际价格 (￥) 弹性云服务器 包年 1 年 5 X86计算 | 通用计算增强型 | c3.2xlarge.4 | 8核 | 32GB; CentOS | CentOS 7.6 64bit; 通用型SSD | 40GB; 49,384.00 云数据库

查看更多 →

配置开源Spark组件对接LakeFormation 环境准备 配置Spark对接LakeFormation 对接后二次开发

查看更多 →

若需要在本地Windows调测Spark样例代码，需参考准备Spark连接集群配置文件获取各样例项目所需的配置文件、认证文件，并手动将配置文件导入到Spark样例工程的配置文件目录中。 安装IntelliJ IDEA和JDK工具后，需要在IntelliJ IDEA中配置JDK。 打开IntelliJ

查看更多 →

ntConfig_ConfigFiles.tar”，继续解压该文件。 进入客户端配置文件解压路径“*\Spark\config”，获取Spark配置文件，并所有的配置文件导入到Spark样例工程的配置文件目录中（通常为“resources”文件夹）。 准备集群认证用户信息时获取的keytab文件也放置于该目录下。

查看更多 →

若需要在本地Windows调测Spark样例代码，需参考准备Spark连接集群配置文件获取各样例项目所需的配置文件，并手动将配置文件导入到Spark样例工程的配置文件目录中。 安装IntelliJ IDEA和JDK工具后，需要在IntelliJ IDEA中配置JDK。 打开IntelliJ

查看更多 →

Scala SparkOnMultiHbaseScalaExample Spark同时访问两个HBase Scala SparkRExample 安装SparkR R SparkOnHudiJavaExample 使用Spark执行Hudi基本操作 Java SparkOnHudiPythonExample

查看更多 →

Manager系统，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。 参数 说明 默认值 spark.sql.adaptive.enabled 配置是否启用自适应执行功能。 注意：AQE特性与DPP（动态分区裁剪）特性同时开启时，SparkSQL任务执行中会优先执

查看更多 →

配置SparkSQL业务用户权限 操作场景 SparkSQL业务还可能需要关联使用其他组件，例如Spark on HBase需要HBase权限。以下介绍SparkSQL关联HBase服务的操作。 前提条件 完成Spark客户端的安装，例如安装目录为“/opt/client”。 获

查看更多 →

Manager系统，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。 参数 说明 默认值 spark.sql.adaptive.enabled 配置是否启用自适应执行功能。 注意：AQE特性与DPP（动态分区裁剪）特性同时开启时，SparkSQL任务执行中会优先执

查看更多 →

配置SparkSQL业务用户权限 操作场景 SparkSQL业务还可能需要关联使用其他组件，例如spark on HBase需要HBase权限。以下介绍SparkSQL关联HBase服务的操作。 前提条件 完成Spark客户端的安装，例如安装目录为“/opt/client”。 获

查看更多 →

导入并配置Spark样例工程 操作场景 Spark针对多个场景提供样例工程，包含Java样例工程和Scala样例工程等，帮助客户快速学习Spark工程。 针对Java和Scala不同语言的工程，其导入方式相同。使用Python开发的样例工程不需要导入，直接打开Python文件（*

查看更多 →

Spark Spark jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的Spark包运行样例代码，但是不同版本的spark-core包在使用的时候可能导致互相序列化ID不一样，因此建议使用集群自带jar包。

查看更多 →

单击“OK”完成编码配置。 样例代码路径说明 表1 样例代码路径说明 样例代码项目 样例名称 样例语言 SparkJavaExample Spark Core程序 Java SparkScalaExample Spark Core程序 Scala SparkPyhtonExample Spark Core程序

查看更多 →

Spark读写Hudi资源配置建议 Spark读写Hudi任务资源配置规则，内存和CPU核心的比例2:1，堆外内存和CPU核心比例0.5:1；即一个核心，需要2G堆内存，0.5G堆外内存 Spark初始化入库场景，由于处理的数据量比较大，上述资源配比需要调整，内存和Core的比例

查看更多 →