Scala SparkOnMultiHbaseScalaExample Spark同时访问两个HBase Scala SparkRExample 安装SparkR R SparkOnHudiJavaExample 使用Spark执行Hudi基本操作 Java SparkOnHudiPythonExample

查看更多 →

若需要在本地Windows调测Spark样例代码，需参考准备Spark连接集群配置文件获取各样例项目所需的配置文件，并手动将配置文件导入到Spark样例工程的配置文件目录中。 安装IntelliJ IDEA和JDK工具后，需要在IntelliJ IDEA中配置JDK。 打开IntelliJ

查看更多 →

配置SparkSQL业务用户权限 操作场景 SparkSQL业务还可能需要关联使用其他组件，例如Spark on HBase需要HBase权限。以下介绍SparkSQL关联HBase服务的操作。 前提条件 完成Spark客户端的安装，例如安装目录为“/opt/client”。 获

查看更多 →

Manager系统，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。 参数 说明 默认值 spark.sql.adaptive.enabled 配置是否启用自适应执行功能。 注意：AQE特性与DPP（动态分区裁剪）特性同时开启时，SparkSQL任务执行中会优先执

查看更多 →

配置认证 服务器 配置无线认证模板（用户名密码认证） 在WAC认证界面，创建SSID信息，与WAC设备侧保存一致。对通过WAC上线的用户进行认证。 登录华为乾坤控制台。 单击页面左上角按钮，单击“我的服务 > 云管理网络”，在快捷菜单栏选择“ > 高级配置”。 在高级配置界面选择“网络配置

查看更多 →

单击“OK”完成编码配置。 样例代码路径说明 表1 样例代码路径说明 样例代码项目 样例名称 样例语言 SparkJavaExample Spark Core程序 Java SparkScalaExample Spark Core程序 Scala SparkPyhtonExample Spark Core程序

查看更多 →

discarded 例如，SparkSQL运行TPCDS 500G的测试时，使用默认配置出现错误。所以当数据量较大时需要适当的调整该参数。 配置参数 参数入口： 在Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”。在搜索框中输入参数名称。

查看更多 →

Spark读写Hudi资源配置建议 Spark读写Hudi任务资源配置规则，内存和CPU核心的比例2:1，堆外内存和CPU核心比例0.5:1；即一个核心，需要2G堆内存，0.5G堆外内存 Spark初始化入库场景，由于处理的数据量比较大，上述资源配比需要调整，内存和Core的比例

查看更多 →

配置Spark数据传输加密 操作场景 本章节指导用户设置Spark安全通道加密，以增强安全性。 该章节仅适用于 MRS 3.x及之后版本。 配置Spark数据传输加密 参数修改入口：登录Manager页面，选择“集群 > 服务 > Spark > 配置”，展开“全部配置”页签，在搜索框中输入相关参数名称。

查看更多 →

服务器基础配置 本方案基于H CS 底座部署，华为云的欧拉系统：基于稳定的Linux内核研发出面向企业级的通用服务器架构平台——Euler OS（Open Euler OS 2.8开源欧拉操作系统），支持ARM64鲲鹏处理器和容器虚拟化技术。 由HCS底座运维人员提供相关的操作系统、镜像和 云服务器 。

查看更多 →

DNS服务器配置 选择默认DNS服务器或者添加DNS服务器地址， 域名 防护策略将会按照您配置的域名服务器进行IP解析并下发。 当前账号拥有多个防火墙时，DNS解析操作仅应用于设置的防火墙。 约束条件 最多支持自定义2个DNS服务器。 DNS服务器配置 登录管理控制台。 单击管理控制台左上角的，选择区域。

查看更多 →

案例：改写SQL消除子查询（案例1） 现象描述 1 2 3 4 select 1, (select count(*) from customer_address_001 a4 where a4.ca_address_sk = a.ca_address_sk) as

查看更多 →

案例：设置cost_param对查询性能优化 现象描述1 cost_param的bit0(set cost_param=1)值为1时，表示对于求由不等式（!=）条件连接的选择率时选择一种改良机制，此方法在自连接（两个相同的表之间连接）的估算中更加准确。下面查询的例子是cost_p

查看更多 →

高频故障案例 弹性云服务器访问中国大陆外网站时加载缓慢怎么办？ ping不通或丢包时如何进行链路测试？ 访问ECS实例上运行的网站卡顿，如何定位问题？ 网站无法访问怎么办？ 云服务器端口不通怎样排查？ 云服务器带宽占用高怎么办？ Windows云服务器卡顿怎么办？ Linux云服务器卡顿怎么办？

查看更多 →

更多案例实践 关于数据集成更多的使用进阶指导和案例，请参见最佳实践。 父主题： 使用教程

查看更多 →

证书选型案例 表1 以下为部分典型行业证书选型案例，您在选购证书时可以进行参考。 实例 所属行业 业务特征 常用证书类型 中国农业银行 中国平安 金融、银行、保险 有严格的数据保密要求 希望在网站地址栏展示身份信息 EV 教育部 淘宝、京东 百度、新浪、今日头条 上海证券交易所 国家电网

查看更多 →

案例：设置cost_param对查询性能优化 cost_param参数用于控制在特定的客户场景中，使用不同的估算方法使得估算值与真实值更接近。此参数可以同时控制多种方法，与某一方法对应的位做与操作，不为0表示该方法被选择。 场景一：优化前 cost_param的bit0（set

查看更多 →

典型使用案例 在这个章节中，我们将介绍一个QingTian Enclave的使用场景。其中包含了一些角色和基本的工作流程，同时使用了华为云数据加密服务（DEW）的KMS子服务，华为云统一身份认证服务（IAM）和华为云 对象存储服务 （OBS）。 工作流程 构建QingTian Enclave镜像

查看更多 →

创建一个数据开发模块空作业，作业名称为“job_MRS_Spark_Python”。 图2 新建作业 进入到作业开发页面，拖动“MRS Spark Python”节点到画布中并单击，配置节点的属性。 图3 配置MRS Spark Python节点属性 参数设置说明： --master

查看更多 →

案例：NOT IN转NOT EXISTS NOT IN语句需要使用nestloop anti join来实现，而NOT EXISTS则可以通过hash anti join来实现。在join列不存在null值的情况下，not exists和not in等价。因此在确保没有null值时，可以通过将not

查看更多 →

批量迁移jfrog仓库至私有依赖库 部署 通过代理主机在内网部署应用 基于Nginx实现应用的灰度发布 基于Kubernetes Nginx-Ingress实现应用的灰度发布 通过自托管资源池部署应用至云下IDC 通过自托管资源池实现跨Region虚拟机部署 测试计划 基于接口自动化用例和关键字驱动的电商平台测试

查看更多 →