不支持RIGHT OUTER JOIN的左表倾斜处理。 示例：执行下面SQL语句，a表倾斜无法触发该优化。 select aid FROM a RIGHT OUTER JOIN b ON aid=bid; 配置描述 在Spark Driver端的“spark-defaults.conf”配置文件中添加如下表格中的参数。

查看更多 →

优化小文件场景下的Spark SQL性能 配置场景 Spark SQL的表中，经常会存在很多小文件（大小远小于HDFS块大小），每个小文件默认对应Spark中的一个Partition，也就是一个Task。在很多小文件场景下，Spark会起很多Task。当SQL逻辑中存在Shuff

查看更多 →

已发布区域：北京四、北京二 如何创建多方安全计算作业？ 可信联邦学习作业 可信联邦学习作业是 可信智能计算 服务提供的在保障用户数据安全的前提下，利用多方数据实现的联合建模，曾经也被称为联邦机器学习。 横向联邦机器学习 横向联邦机器学习，适用于参与者的数据特征重叠较多，而样本ID重叠较少的情

查看更多 →

false true 重启Spark2x服务，配置生效。 如果需要在Spark2x客户端用External Shuffle Service功能，需要重新下载并安装Spark2x客户端。 父主题： Spark Core性能调优

查看更多 →

apReduce/Spark/HDFS）。下面列举目前可查看到的相关指标信息： 通用指标 主要是指通用的服务器的相关性能指标：CPU使用率，内存占用量，磁盘IO读写速度，使用Core数量等，通过这些指标可以衡量任务在该类型机器或该机器上的执行情况，观察集群各机器的通用指标，可以看到集群的负载是否均衡。

查看更多 →

JDK先配置好(1.8) 安装大数据组件客户端(HDFS\YARN\HIVE\SPARK) 安装机器 前提 CDH中需要有两个Hadoop集群，每个集群下部署一个livy (CDH机器允许部署的情况) CDH机器不允许部署的情况，参考https://deepexi.yuque.com/

查看更多 →

Spark Core内存调优 操作场景 并行度控制任务的数量，影响shuffle操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到合适。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度

查看更多 →

可见范围内的学员在学员端可看见此项目并可以进行学习，学习数据可在学习项目列表【数据】-【自学记录】查看。 学习设置： 防作弊设置项可以单个项目进行单独设置，不再根据平台统一设置进行控制。 文档学习按浏览时长计算，时长最大计为：每页浏览时长*文档页数；文档学习按浏览页数计算，不计入学习时长。 更多设置：添加协同人

查看更多 →

准备和上线过程中问题支持服务 服务不覆盖范围 不包含《华为云成长型企业数字化转型包集成实施服务产品介绍》中定义服务外的范围。 服务区域 中国大陆。 服务流程 暂无单独的服务流程，客户需配套华为云SparkPack解决方案使用，服务流程与之一致。 序号 服务流程 工作内容 1 项目小组成立

查看更多 →

设置Spark Core并行度 操作场景 并行度控制任务的数量，影响shuffle操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到更优。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行

查看更多 →

见监控服务使用说明。 实时性能监控 进入运维中心工作台。 在顶部导航栏选择自有服务。 单击，选择“微服务开发 > 数据库治理”。 选择左侧导航栏的“实时诊断”。 在左侧树中选择目标数据库类型以及目标节点，选择“性能”页签。 选择“实时性能监控”子页签，可以查看页面展示的性能指标。您可以根据需要执行如下操作：

查看更多 →

性能 历史性能 实时性能 实时诊断 性能趋势对比查看 自定义图表 父主题： DBA智能运维

查看更多 →

迁移学习 如果当前数据集的特征数据不够理想，而此数据集的数据类别和一份理想的数据集部分重合或者相差不大的时候，可以使用特征迁移功能，将理想数据集的特征数据迁移到当前数据集中。 进行特征迁移前，请先完成如下操作： 将源数据集和目标数据集导入系统，详细操作请参见数据集。 创建迁移数据

查看更多 →

Volcano是一个基于Kubernetes的批处理平台，提供了机器学习、深度学习、生物信息学、基因组学及其他大数据应用所需要而Kubernetes当前缺失的一系列特性，提供了高性能任务调度引擎、高性能异构芯片管理、高性能任务运行管理等通用计算能力。 Volcano Scheduler Volcano

查看更多 →

Spark Spark jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的Spark包运行样例代码，但是不同版本的spark-core包在使用的时候可能导致互相序列化ID不一样，因此建议使用集群自带jar包。

查看更多 →

ML Studio快速入门 背景信息 使用MLS预置算链进行机器学习建模 从0到1利用ML Studio进行机器学习建模 父主题： ML Studio

查看更多 →

FPGA加速云服务器（FPGA Accelerated Cloud Server，FA CS ）提供FPGA开发和使用的工具及环境，让用户方便地开发FPGA加速器和部署基于FPGA加速的业务，为您提供易用、经济、敏捷和安全的FPGA云服务。 FPGA加速云服务器包括两类： 高性能架构 基于

查看更多 →

性能 实例性能 单节点多指标 多节点单指标 父主题： DBA智能运维

查看更多 →

性能 历史性能 实时性能 实时诊断 性能趋势对比查看 自定义图表 父主题： DBA智能运维（旧版）

查看更多 →

配置。Spark的运行环境即Spark客户端，请根据指导完成客户端的安装和配置。 准备本地应用开发环境 准备工程 Spark提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。或者您可以根据指导，新建一个Spark工程。 导入并配置Spark样例工程 新建Spark样例工程（可选）

查看更多 →

。 使用 AI开发平台 ModelArts，用于机器学习模型训练，预测故障分析结果。 使用 函数工作流 FunctionGraph创建一个函数，进行数据处理并调用ModelArts在线服务获取预测结果，并存储至OBS桶。 在统一身份认证服务 IAM上创建一个委托，用于授权Functio

查看更多 →