MapReduce基本原理 如需使用MapReduce，请确保 MRS 集群内已安装Hadoop服务。 MapReduce是Hadoop的核心，是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（化简）”及其主要思想，均取自于函数式编程语言及矢量编程语言。

查看更多 →

org/repos/dist/release/hadoop/common/中下载Hadoop的样例程序。 例如，选择hadoop-x.x.x版本，下载“hadoop-x.x.x.tar.gz”，解压后在“hadoop-x.x.x\share\hadoop\mapreduce”路径下获取“hadoop-mapreduce-examples-x

查看更多 →

新建Hadoop集群配置 集群配置管理支持新建、编辑或删除Hadoop集群配置。 Hadoop集群配置主要用于新建Hadoop类型连接时，能够简化复杂的连接参数配置，如图1所示。 图1 使用集群配置前后对比 CDM 支持的Hadoop类型连接主要包括以下几类： MRS集群：MRS HDFS，MRS

查看更多 →

Hive基本原理 Hive是建立在Hadoop上的 数据仓库 基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据。

查看更多 →

Hive应用开发简介 Hive介绍 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

生成。 将hadoop-huaweicloud-x.x.x-hw-y.jar拷贝到/opt/hadoop-3.1.1/share/hadoop/tools/lib和/opt/hadoop-3.1.1/share/hadoop/common/lib目录下。 hadoop-huaweicloud-x

查看更多 →

org/repos/dist/release/hadoop/common/中下载Hadoop的样例程序。 例如，选择hadoop-x.x.x版本，下载“hadoop-x.x.x.tar.gz”，解压后在“hadoop-x.x.x\share\hadoop\mapreduce”路径下获取“hadoop-mapreduce-examples-x

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HiveQL语言操作结构化数据，其基本原理是将HiveQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

Tomcat 服务器 是免费的开放源代码的Web应用服务器。 Hadoop组件 底层执行Oozie编排流程的各个组件，包括MapReduce、Hive等。 Oozie原理 Oozie是一个工作流引擎服务器，用于运行MapReduce任务工作流。同时Oozie还是一个Java Web程序，运行在Tomcat容器中。

查看更多 →

提交Flink作业 提交MapReduce作业 MapReduce提供快速并行处理大量数据的能力，是一种分布式数据处理模式和执行环境。MapReduce作业用于提交jar程序快速并行处理大量数据。 提交MapReduce作业 提交Hive作业 Hive是建立在Hadoop基础上的开源的数

查看更多 →

新建Hadoop集群配置 集群配置管理支持新建、编辑或删除Hadoop集群配置。 Hadoop集群配置主要用于新建Hadoop类型连接时，能够简化复杂的连接参数配置，如图1所示。 图1 使用集群配置前后对比 CDM支持的Hadoop类型连接主要包括以下几类： MRS集群：MRS HDFS，MRS

查看更多 →

技术原理 父主题： CA代理服务介绍

查看更多 →

技术原理 CA服务技术原理图请参见图1。 图1 CA服务的技术原理 用户在通过CA服务申请证书时，需要根据实际需求来配置CA信息、证书模板、白名单和CRL等信息。 申请证书方式： 手动申请：分为通过基本信息申请证书、通过上传 CS R文件申请证书两种方式。 自动申请：通过配置CMP协

查看更多 →

方案原理 本章节分别通过生产站点正常工作、生产站点故障以及生产站点和跨可用区容灾站点同时故障三个场景，介绍在不同的故障情况下，本方案如何接管用户的业务。 生产站点正常工作 当生产站点正常工作时，状态如图1所示。 通过SDRS，在区域A内将可用区1的生产站点服务器的数据、配置信息同

查看更多 →

原理介绍 作业流（Workflow）是对作业流程及其各操作步骤之间业务规则的抽象、概括描述。作业流提供了一种很好的工程化的方式来解决业务问题，使得业务抽象、流程格式化、易维护和易拓展，实现一定程度的业务可视化。 下面将介绍两种开发模式的作业流。 分支开发模式：是采用直接 clone

查看更多 →

迁移原理 CDM迁移原理 用户使用CDM服务时，CDM管理系统在用户VPC中发放全托管的CDM实例。此实例仅提供控制台和Rest API访问权限，用户无法通过其他接口（如SSH）访问实例。这种方式保证了CDM用户间的隔离，避免数据泄漏，同时保证VPC内不同云服务间数据迁移时的传输

查看更多 →

原理介绍 工业数字模型驱动引擎（Industrial Digital Model Engine，简称iDME）基于数据模型驱动，以正向设计即开发的模式构建云化SaaS多租的业务应用，基于全领域数据模型和数字化模型，构建企业级数字化与智能化数据应用。 图1 iDME工作原理 数据建模引擎是怎样工作的？

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

技术原理 应用安全的原理如图1所示。 图1 应用安全原理图 父主题： 应用安全介绍

查看更多 →

工作原理 当用户访问使用CDN服务的网站时，本地DNS服务器通过CNAME方式将最终 域名 请求重定向到CDN服务。CDN通过一组预先定义好的策略（如内容类型、地理区域、网络负载状况等），将当时能够最快响应用户的CDN节点IP地址提供给用户，使用户可以以最快的速度获得网站内容。使用CDN后的HTTP请求处理流程如下。

查看更多 →

集成原理 如果您期望了解我们的集成原理，请参见图1。 图1 Web聊天控件token认证方式集成原理 父主题： 集成轻量级WEB聊天控件（引入Token认证方式）

查看更多 →