shuffle性能的高低直接影响到了整个程序的运行效率。 下图清晰地描述了MapReduce算法的整个流程。 图12 算法流程 概念上shuffle就是一个沟通数据连接的桥梁，实际上shuffle这一部分是如何实现的呢，下面就以Spark为例讲解shuffle在Spark中的实现。

查看更多 →

Hue基本原理 Hue是一组WEB应用，用于和 MRS 大数据组件进行交互，能够帮助用户浏览HDFS，进行Hive查询，启动MapReduce任务等，它承载了与所有MRS大数据组件交互的应用。 Hue主要包括了文件浏览器和查询编辑器的功能： 文件浏览器能够允许用户直接通过界面浏览以及操作HDFS的不同目录；

查看更多 →

Storm基本原理 Apache Storm是一个分布式、可靠、容错的实时流式数据处理的系统。在Storm中，先要设计一个用于实时计算的图状结构，称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（master node）分发代码，将任务分配给工作节点（worker

查看更多 →

Flink基本原理 Flink简介 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景

查看更多 →

YARN基本原理 为了实现一个Hadoop集群的集群共享、可伸缩性和可靠性，并消除早期MapReduce框架中的JobTracker性能瓶颈，开源社区引入了统一的资源管理框架YARN。 YARN是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离，主要方法是创建

查看更多 →

Ranger基本原理 Apache Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限

查看更多 →

ZooKeeper基本原理 ZooKeeper简介 ZooKeeper是一个分布式、高可用性的协调服务。在大数据产品中主要提供两个功能： 帮助系统避免单点故障，建立可靠的应用程序。 提供分布式协作服务和维护配置信息。 ZooKeeper结构 ZooKeeper集群中的节点分为三种

查看更多 →

Flume基本原理 Flume是一个高可用、高可靠，分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。其中Flume-NG是Flume的一个分支，其特点

查看更多 →

Manager基本原理 Manager功能 Manager是MRS的运维管理系统，为部署在集群内的服务提供统一的集群管理能力。 Manager支持大规模集群的性能监控、告警、用户管理、权限管理、审计、服务管理、健康检查、日志采集等功能。 Manager结构 Manager的整体逻辑架构如图1所示。

查看更多 →

联营Kit接口描述 租户信息同步接口 租户应用信息同步接口 租户应用授权信息同步接口 组织部门信息同步（增量） 组织部门信息同步（全量） 父主题： 接口描述

查看更多 →

保存集群描述信息 功能介绍 该接口用于保存集群描述信息。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/clusters/{cluster_id}/description 表1 路径参数 参数 是否必选 参数类型 描述 project_id

查看更多 →

依赖接口清单描述 企业微信OA接口 SparkPackERP接口 父主题： 开发指南

查看更多 →

商家接入接口描述 商家接入接口说明 接入准备工作 接口描述 接口调试 调用结果码说明 父主题： 联营License类商品接入指南（2.0版本）

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的 数据仓库 框架，提供类似SQL的HiveQL语言操作结构化数据，其基本原理是将HiveQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

依赖接口清单描述 完成上述两个场景需要依赖泛微OA和ERP两个系统的接口。 B1(servicelayer)接口 泛微OA接口 父主题： SparkPack(B1)和EcologyOA集成

查看更多 →

联营kit接口描述 企业同步 应用同步 用户授权同步 部门增量同步 部门全量同步 父主题： SaaS类商品接入指南 V2.0

查看更多 →

联营Kit接口描述 租户信息同步接口 租户应用信息同步接口 租户应用授权信息同步接口 组织部门信息同步（增量） 组织部门信息同步（全量） 父主题： 接口描述

查看更多 →

依赖接口清单描述 下表是上述SparkPack 企业ERP和钉钉集成场景所依赖接口： 应用场景 数据流向 SparkPack 企业ERP接口名称 SparkPack 企业ERP接口对象 钉钉接口名称 钉钉接口对象 业务单据创建审批 SparkPack 企业ERP-> 钉钉->SparkPack

查看更多 →

依赖接口清单描述 下表是上述SparkPack 企业ERP和黑湖MES集成场景所依赖接口： 应用场景 数据流向 SparkPack 企业ERP接口名称 SparkPack 企业ERP接口对象 MES接口名称 MES接口 物料同步 SparkPack 企业ERP->MES 查询物料

查看更多 →

依赖接口清单描述 接下来介绍完成上述两个场景所依赖接口 diapi接口 servicelayer接口 父主题： SparkPack(B1)和条码集成

查看更多 →