系统架构 架构介绍 云数据库 GeminiDB是一款基于计算存储分离架构的 分布式数据库 ，由多个同构节点组成计算集群。数据存储在分布式共享存储池中。计算和存储资源解耦，支持独立弹性伸缩，扩缩容无数据迁移。 图1 系统架构 更多架构特点请参见系统架构。

查看更多 →

内部架构 模块SDK用于开发运行在边缘节点中的应用，包括数据处理应用（简称应用，例如数据清洗）和协议驱动（简称驱动，例如EdgeAccess）。 图1 边缘设备接入和应用开发能力架构图 部署在边缘节点中的第三方应用和第三方驱动使用模块SDK进行开发。 图2 模块SDK调用流程图 基本调用流程如图2所示。

查看更多 →

架构检查 通用检查规则 4+1视图规范一致性检查错误修复指导 父主题： 4+1视图建模

查看更多 →

VPN隧道中，实现站点间的业务通过VPN隧道进行访问。 基于SD-WAN的架构介绍 基于SD-WAN的华为乾坤安全分支解决方案总体架构如图1所示，主要包括管理层、控制层、网络层。 图1 安全分支网络互联架构模型（SD-WAN） 第三方BSS/OSS 华为乾坤开放了北向API接口，

查看更多 →

信息架构 信息架构概述 枢纽元模型V2.0 业务架构 技术架构 父主题： 应用模型

查看更多 →

数据架构 码表和数据标准有什么关系？ 关系建模和维度建模的区别？ 数据架构支持哪些数据建模方法？ 规范化的数据如何使用？ 数据架构支持逆向数据库吗？ 数据架构中的指标与数据质量的指标的区别？ 为什么关系建模或维度建模修改字段后，数据库中表无变化？ 表是否可配置生命周期管理？

查看更多 →

组合架构 架构说明 图1 架构图例 作业发起方通过计算节点提供的控制台页面，发起多方安全计算作业。 多方安全计算作业在 TICS 中进行解析和任务计划构建，并下发任务给各个数据参与方所在的计算节点。 参与方计算节点从租户侧网络内的数据中获取数据，并使用安全算法进行加密输出。 数据在TI CS 提供的 服务器 中进行机密计算。

查看更多 →

MapReduce Java API接口介绍 MapReduce常用接口 MapReduce中常见的类如下。 org.apache.hadoop.mapreduce.Job：用户提交MR作业的接口，用于设置作业参数、提交作业、控制作业执行以及查询作业状态。 org.apache.hadoop

查看更多 →

HDFS文件系统上，Hive所有的数据操作也都是通过Hadoop HDFS接口进行的。 Hive与MapReduce组件的关系 Hive的数据计算依赖于MapReduce。MapReduce也是Apache的Hadoop项目的子项目，它是一个基于Hadoop HDFS分布式并行计算框架。Hive进行数据分

查看更多 →

TsvImporterByteMapper”时可以得到更好的性能。 org.apache.hadoop.hbase.mapreduce.TsvImporterByteMapper 和 org.apache.hadoop.hbase.mapreduce.TsvImporterTextMapper 父主题： HBase性能调优

查看更多 →

apache.hadoop.io.compress.BZip2Codec org.apache.hadoop.io.compress.Lz4Codec org.apache.hadoop.io.compress.DeflateCodec org.apache.hadoop.io.compress

查看更多 →

支持扩容减容、实例迁移、升级、健康检查等。 MapReduce开源增强特性：特定场景优化MapReduce的Merge/Sort流程提升MapReduce性能 下图展示了MapReduce任务的工作流程。 图2 MapReduce 作业 图3 MapReduce作业执行流程 Reduce过程分

查看更多 →

apache.org/docs/r3.1.1/hadoop-mapreduce-client/hadoop-mapreduce-client-hs/HistoryServerRest.html 准备运行环境 在节点上安装客户端，例如安装到“/opt/client”目录。 进入客户端安装目

查看更多 →

据迁移操作。这个MapReduce任务配置直接从Spark任务配置里面提取，但是Spark任务的net.topology.node.switch.mapping.impl配置项不是hadoop的默认值，需要使用Spark的jar包，因此MapReduce会报类找不到。 处理步骤 方案一：

查看更多 →

heap space. 解决方案： 对于MapReduce任务，增大下列参数： set mapreduce.map.memory.mb=8192; set mapreduce.map.java.opts=-Xmx6554M; set mapreduce.reduce.memory.mb=8192;

查看更多 →

heap space. 解决方案： 对于MapReduce任务，增大下列参数： set mapreduce.map.memory.mb=8192; set mapreduce.map.java.opts=-Xmx6554M; set mapreduce.reduce.memory.mb=8192;

查看更多 →

配置MapReduce应用安全认证 场景说明 在kerberos认证集群环境下，各个组件之间的相互通信不能够简单的互通，而需要在通信之前进行相互认证，以确保通信的安全性。 用户在提交MapReduce应用程序时，需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的应

查看更多 →

MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（applicat

查看更多 →

MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（applicat

查看更多 →

MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上TB级别的数据集。 一个MapReduce作业（applica

查看更多 →

codec为“org.apache.hadoop.io.compress.ZStandardCode”： set hive.exec.compress.output=true; set mapreduce.map.output.compress=true; set mapreduce.map.output

查看更多 →