卓越架构技术框架简介 卓越架构技术框架（Well-Architected Framework）聚焦客户业务上云后的关键问题的设计指导和最佳实践。 以华为公司和业界最佳实践为基础，以韧性、安全性、性能效率、成本优化与卓越运营五个架构关注点为支柱，打造领先的卓越架构技术框架，支撑客户完

查看更多 →

ModelArts支持哪些AI框架？ ModelArts的开发环境Notebook、训练作业、模型推理（即AI应用管理和部署上线）支持的AI框架及其版本，不同模块的呈现方式存在细微差异，各模块支持的AI框架请参见如下描述。 统一镜像列表 ModelArts提供了ARM+Ascen

查看更多 →

Groupings进行连接的有向无环图（DAG）。Topology里面的每一个Component（Spout/Bolt）节点都是并行运行的。在Topology里面， 可以指定每个节点的并行度，Storm则会在集群里面分配相应的Task来同时计算，以增强系统的处理能力。 图2 Topology St

查看更多 →

Spark基本原理 Spark简介 Spark是一个开源的，并行数据处理框架，能够帮助用户简单、快速的开发大数据应用，对数据进行离线处理、流式处理、交互式分析等。 Spark提供了一个快速的计算、写入及交互式查询的框架。相比于Hadoop，Spark拥有明显的性能优势。Spark

查看更多 →

Global 并行执行的最大活跃线程个数。当并行执行的活跃线程超过该值时，新的查询将不允许启用并行执行。 取值范围：0-4294967295 默认值：64 parallel_default_dop Global, Session 并行执行的默认并行度。当查询语句没有指定并行度时，使用该值。

查看更多 →

并行查询（PQ） 并行查询简介 注意事项 开启并行查询 验证并行查询效果 父主题： 常见内核功能

查看更多 →

根据用户配置，将用户数据存储到 对象存储服务 （Object Storage Service，简称OBS）、 MapReduce服务 （MapReduce Service,简称 MRS ）、 数据仓库 服务（Data Warehouse Service，简称DWS）、 数据湖探索 （Data Lake

查看更多 →

的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是随着代码的增加以及原MapReduce框架设计的不足，在原MapReduce框架上进行修改变得越来越困难，所以MapReduce的committer

查看更多 →

的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是随着代码的增加以及原MapReduce框架设计的不足，在原MapReduce框架上进行修改变得越来越困难，所以MapReduce的committer

查看更多 →

的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是随着代码的增加以及原MapReduce框架设计的不足，在原MapReduce框架上进行修改变得越来越困难，所以MapReduce的committer

查看更多 →

）执行引擎提升数据处理能力，比MapReduce性能高10倍到100倍。 提供多种语言开发接口（Scala/Java/Python），并且提供几十种高度抽象算子，可以很方便构建分布式的数据处理应用。 结合SQL、Streaming等形成数据处理栈，提供一站式数据处理能力。 支持契

查看更多 →

批处理的查询提供了一个熟悉且统一的平台。作为查询大数据的工具的补充，Impala不会替代基于MapReduce构建的批处理框架，例如Hive。基于MapReduce构建的Hive和其他框架最适合长时间运行的批处理作业。 Impala主要特点如下： 支持Hive查询语言（HQL）中

查看更多 →

步骤三：创建OBS文件系统 登录OBS控制台。 选择“并行文件系统 > 创建并行文件系统”。 填写文件系统名称，例如“mrs-demo01”。 其他参数请根据需要填写。 图5 创建并行文件系统 单击“立即创建”。 在OBS控制台并行文件系统列表中，单击文件系统名称进入详情页面。 在左

查看更多 →

的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是随着代码的增加以及原MapReduce框架设计的不足，在原MapReduce框架上进行修改变得越来越困难，所以MapReduce的committer

查看更多 →

各个算子的并行情况。 非适用场景： 生成计划时间占比很高的短查询场景。 不支持CN上的算子并行。 不支持不能下推的查询并行执行。 不支持子查询subplan的并行，以及包含子查询的算子并行。 资源对SMP性能的影响 SMP架构是一种利用富余资源来换取时间的方案，计划并行之后必定会

查看更多 →

验证并行查询效果 本章节使用TPCH测试工具测试并行查询对22条QUERY的性能提升情况。 测试的实例信息如下： 实例规格：32 vCPUs | 256 GB 内核版本：2.0.26.1 并行线程数：16 测试数据量：100GB 操作步骤 生成测试数据。 请在https://github

查看更多 →

优化了读取块数据的并行性。 为了优化并行数据处理及并行读取块数据，CarbonData根据块的局域性申请executor，因此CarbonData可获得所有节点上的executor。 为了优化并行数据处理及并行读取块数据，运用动态分配的用户需配置以下特性。 使用参数“spark.dynamicAllocation

查看更多 →

优化了读取块数据的并行性。 为了优化并行数据处理及并行读取块数据，CarbonData根据块的局域性申请executor，因此CarbonData可获得所有节点上的executor。 为了优化并行数据处理及并行读取块数据，运用动态分配的用户需配置以下特性。 使用参数“spark.dynamicAllocation

查看更多 →

ISDP产品功能整体框架 功能模块 角色说明

查看更多 →

Standard支持的AI框架 ModelArts Standard的开发环境Notebook、训练作业、模型推理（即AI应用管理和部署上线）支持的AI框架及其版本，请参见如下描述。 统一镜像列表 ModelArts提供了ARM+Ascend规格的统一镜像，包括MindSpore

查看更多 →

客户端安装目录/HDFS/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar pi -Dmapreduce.job.hdfs-servers=NAMESERVICE -fs obs://OBS并行文件系统名称 1 1 其中“NAMESE

查看更多 →