选择业务QPS时是按照入流量计算还是出流量计算？ WAF的业务QPS是指所有该WAF防护的 域名 、站点中正常业务流量的大小，单位为QPS。 购买WAF时，您需要提前考虑准备通过WAF配置防护的所有站点的日常入方向和出方向总流量的峰值，确保您选购的WAF所对应的业务带宽限制大于入、出方向总流量峰值中较大的值。

查看更多 →

云平台提供了多种实例类型供您选择，不同类型的实例可以提供不同的计算能力和存储能力。同一实例类型下可以根据CPU和内存的配置选择不同的实例规格。本章节以通用计算增强型C6s、通用计算增强型C6、内存优化型M6为例，采用SPECInt（Standard Performance Evaluation Corporation，Integer）基准

查看更多 →

配置Spark读写Doris数据 Spark Doris Connector可以支持通过Spark读取Doris中存储的数据，也支持通过Spark写入数据到Doris中。 支持从Doris中读取数据 支持Spark DataFrame批量/流式写入Doris。 可以将Doris表

查看更多 →

管理科学计算大模型部署任务 模型更新、修改部署 成功创建部署任务后，如需修改已部署的模型或配置信息，可以在详情页面单击右上角的“模型更新”或“修改部署”进行调整。更新模型时可以替换模型和修改作业配置参数，但在修改部署时模型不可替换或修改作业配置参数。 在“模型更新”或“修改部署”

查看更多 →

支持的大数据平台简介 华为云大数据存算分离方案中，OBS支持与多种大数据平台对接，包括华为云 MapReduce服务 （ MRS ）、Cloudera CDH和Hortonworks HDP，满足用户业务的灵活诉求。 华为云MapReduce服务（MRS） 华为云MapReduce服务（

查看更多 →

优点：写入过程中对主键进行hash分桶写入，性能比较高，不受表的数据量限制。Flink和Spark引擎都支持，Flink和Spark引擎可以实现交叉混写同一张表。 缺点：Bucket个数不能动态调整，数据量波动和整表数据量持续上涨会导致单个Bucket数据量过大出现大数据文件。需要结合分区表来进行平衡改善。

查看更多 →

窄依赖对优化很有利。逻辑上，每个RDD的算子都是一个fork/join（此join非上文的join算子，而是指同步多个并行任务的barrier）：把计算fork到每个分区，算完后join，然后fork/join下一个RDD的算子。如果直接翻译到物理实现，是很不经济的：一是每一个RDD（即使是中间结果）

查看更多 →

程序，通常是对一个大数据集应用相同的计算过程，因此之前提到的粗粒度的更新限制并没有想象中的大。事实上，Spark论文中阐述了RDD完全可以作为多种不同计算框架，例如MapReduce，Pregel等的编程模型。并且，Spark同时提供了操作允许用户显式地将数据转换过程持久化到硬盘

查看更多 →

大容量数据库 大容量数据库背景介绍 表分区技术 数据分区查找优化 数据分区运维管理 父主题： 分区表

查看更多 →

小（更新时（I/O）开销大） 大（更新时开销小） Write Amplification（写放大） 高 低（取决于compaction策略） Hudi表使用约束与限制 Hudi支持使用Spark SQL操作Hudi的DDL/DML的语法。但在使用 DLI 提供的元数据提交SparkSQL作业时，

查看更多 →

COST08-03 存算分离 风险等级 中 关键策略 传统大数据方案计算和存储融合部署，扩容磁盘时必须扩容计算节点，在实际使用时产生浪费。存算分离是一种数据处理技术，它将数据存储和数据处理（计算）分开，使得存储和计算可以独立地进行优化和扩展，这种技术提高数据处理的效率、降低成本并满足大规模数据存储和分析的需求。

查看更多 →

优点：写入过程中对主键进行hash分桶写入，性能比较高，不受表的数据量限制。Flink和Spark引擎都支持，Flink和Spark引擎可以实现交叉混写同一张表。 缺点：Bucket个数不能动态调整，数据量波动和整表数据量持续上涨会导致单个Bucket数据量过大出现大数据文件。需要结合分区表来进行平衡改善。

查看更多 →

K客户端，更进一步方便计算引擎的对接集成。 API方式 如果用户需要将公有云平台上的LakeFormation实例集成到第三方系统，用于二次开发，可使用API方式访问LakeFormation实例，具体操作请参见API参考。 控制台方式 如果用户已注册公有云，用户可使用管理控制台方式，从服务列表中选择“大数据

查看更多 →

询、统一数仓构建、数据湖联邦查询加速等使用场景。 云数据库 RDS 华为云RDS是一种基于云计算平台的即开即用、稳定可靠、弹性伸缩、便捷管理的在线关系型数据库服务。 MySQL MySQL是目前最受欢迎的开源数据库之一，其性能卓越，架构成熟稳定，支持流行应用程序，适用于多领域多行

查看更多 →

Spark Python API接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类： pyspark.SparkContext：是Spark的对外接口。负责向调用

查看更多 →

Spark Python API接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类： pyspark.SparkContext：是Spark的对外接口。负责向调用

查看更多 →

大容量数据库 大容量数据库背景介绍 表分区技术 数据分区查找优化 数据分区运维管理 父主题： 分区表

查看更多 →

大容量数据库 大容量数据库背景介绍 表分区技术 数据分区查找优化 数据分区运维管理 父主题： 分区表

查看更多 →

Spark Python API接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类： pyspark.SparkContext：是Spark的对外接口。负责向调用

查看更多 →

Spark Python接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的开源API。 Spark Core常用接口 Spark主要使用到如下这几个类： pyspark.SparkContext：是Spark的对外接口。负责向调用该类

查看更多 →

ask内存不足导致。此时应减少executor数量，增大数据分片。 数据量少，但小文件数量多：减少数据分片，在reduce算子后执行coalesce算子，以减少task数量，减少cpu负载。 使用spark sql查找一个大表，表列数较多，但是查找的列较少：尽量使用rcfile或

查看更多 →