典型使用案例 在这个章节中，我们将介绍一个QingTian Enclave的使用场景。其中包含了一些角色和基本的工作流程，同时使用了华为云数据加密服务（DEW）的KMS子服务，华为云统一身份认证服务（IAM）和华为云 对象存储服务 （OBS）。 工作流程 构建QingTian Enclave镜像

查看更多 →

Spark Spark基本原理 Spark HA方案介绍 Spark与其他组件的关系 Spark开源增强特性 父主题： 组件介绍

查看更多 →

配置 服务器 通过分配的公网IP-121.36.25.2远程服务器配置。 Hosts配置 图1 Hosts配置 IIS组件安装 图2 IIS组件安装 父主题： 安装测试环境

查看更多 →

CA服务器配置 查询授权信息 查询配置 授权CA服务器 父主题： 运维

查看更多 →

配置认证服务器 配置无线认证模板（用户名密码认证） 在WAC认证界面，创建SSID信息，与WAC设备侧保存一致。对通过WAC上线的用户进行认证。 登录华为乾坤控制台。 单击页面左上角按钮，单击“我的服务 > 云管理网络”，在页面右上角选择“ > 高级配置”。 在高级配置界面选择“网络配置

查看更多 →

Insight，简称 DLI ）是完全兼容Apache Spark、Apache Flink、HetuEngine生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器，即开即用。支持标准SQL/Spark SQL/Flink SQL，支持多种

查看更多 →

Spark SQL常用配置项说明 本章节为您介绍DLI 批作业SQL语法的常用配置项。 表1 常用配置项 名称 默认值 描述 spark.sql.files.maxRecordsPerFile 0 要写入单个文件的最大记录数。如果该值为零或为负，则没有限制。 spark.sql.shuffle

查看更多 →

ntConfig_ConfigFiles.tar”，继续解压该文件。 进入客户端配置文件解压路径“*\Spark\config”，获取Spark配置文件，并所有的配置文件导入到Spark样例工程的配置文件目录中（通常为“resources”文件夹）。 复制解压目录下的“hosts

查看更多 →

使用，在这边添加一个配置项，用户可以根据Driver的内存大小设置合适的值。 配置描述 参数入口： 在执行应用之前，在Spark服务配置中修改。在Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”。在搜索框中输入参数名称。

查看更多 →

为了更灵活的使用，在这边添加一个配置项，用户可以根据Driver的内存大小设置合适的值。 配置描述 参数入口： 在执行应用之前，在Spark服务配置中修改。在Manager系统中，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”。在搜索框中输入参数名称。 表1

查看更多 →

discarded 例如，SparkSQL运行TPCDS 500G的测试时，使用默认配置出现错误。所以当数据量较大时需要适当的调整该参数。 配置参数 参数入口： 在Manager系统中，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”。在搜索框中输入参数名称。

查看更多 →

tables; 图3 Spark2x验证返回已创建的表名 使用“Ctrl + C”退出spark beeline。 集群安装后使用spark sql 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env 修改配置文件： vim 客

查看更多 →

服务器基础配置 本方案基于H CS 底座部署，华为云的欧拉系统：基于稳定的Linux内核研发出面向企业级的通用服务器架构平台——Euler OS（Open Euler OS 2.8开源欧拉操作系统），支持ARM64鲲鹏处理器和容器虚拟化技术。 由HCS底座运维人员提供相关的操作系统、镜像和 云服务器 。

查看更多 →

DNS服务器配置 选择默认DNS服务器或者添加DNS服务器地址， 域名 防护策略将会按照您配置的域名服务器进行IP解析并下发。 当前账号拥有多个防火墙时，DNS解析操作仅应用于设置的防火墙。 约束条件 最多支持自定义2个DNS服务器。 DNS服务器配置 登录管理控制台。 单击管理控制台左上角的，选择区域。

查看更多 →

com/dev-container/spark:3.1.3-obs 配置Spark History Server 修改~/spark-obs/conf/spark-defaults.conf文件，开启Spark事件日志记录，并配置OBS桶名称及目录。 cat >> ~/spark-obs/conf/spark-defaults

查看更多 →

快速使用Oozie 快速使用Presto 快速使用Ranger 快速使用Spark 快速使用Tez 快速使用HetuEngine 配置 MRS 集群存算分离 使用MRS访问OBS 常见问题 了解更多常见问题、案例和解决方案 热门案例 MRS故障案例集在哪里？ MRS集群内包含哪些组件？ HDFS显示磁盘空间不足怎么办？

查看更多 →

创建一个数据开发模块空作业，作业名称为“job_MRS_Spark_Python”。 图2 新建作业 进入到作业开发页面，拖动“MRS Spark Python”节点到画布中并单击，配置节点的属性。 图3 配置MRS Spark Python节点属性 参数设置说明： --master

查看更多 →

作业开发”。 选择MRS Spark SQL节点和For Each循环执行的节点，让 CDM 子作业循环执行，并配置节点属性参数。 配置MRS Spark SQL节点的属性参数，并关联已创建的脚本maxtime。 图3 配置MRS Spark SQL节点属性参数 配置For Each节点的属性参数，并关联已创建的CDM子作业。

查看更多 →

配置Windows通过EIP访问集群Spark 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Spark文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行SparkScalaExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并将本

查看更多 →

动态分配资源，使整个Spark系统更加健康。 操作步骤 需要先配置External shuffle service。 登录 FusionInsight Manager，选择“集群 > 服务 > Spark2x > 配置 > 全部配置”。在搜索框中输入“spark.dynamicAllocation

查看更多 →

SQL作业。 图2 创建Spark SQL单任务作业 配置与Hudi相对应的Spark数据连接，并选中需要操作Hudi表对应的数据库。 图3 配置连接与数据库 根据实际情况配置compaction的调度周期。 图4 配置调度周期 填写Spark SQL的compaction语句，提交并运行作业。

查看更多 →