能够存储大规模的结构化和非结构化数据，并提供高效的数据读取。 快速的查询和聚合 支持复杂的查询操作和聚合分析，提供快速且灵活的数据处理能力。 分布式计算 与分布式计算框架（如Hadoop和Spark）结合使用，能够实现高效的大数据分析。 父主题： 产品介绍

查看更多 →

基于Hadoop HDFS分布式并行计算框架。Hive进行数据分析时，会将用户提交的HQL语句解析成相应的MapReduce任务并提交MapReduce执行。 Hive与Tez的关系 Tez是Apache的开源项目，它是一个支持有向无环图的分布式计算框架，Hive使用Tez引擎进

查看更多 →

CDM 有哪些优势？ 云数据迁移 （Cloud Data Migration，简称CDM）服务基于分布式计算框架，利用并行化处理技术，使用CDM迁移数据的优势如表1所示。 表1 CDM优势 优势项 用户自行开发 CDM 易使用 自行准备 服务器 资源，安装配置必要的软件并进行配置，等待时间长。

查看更多 →

CDM有哪些优势？ 云数据迁移（Cloud Data Migration，简称CDM）服务基于分布式计算框架，利用并行化处理技术，使用CDM迁移数据的优势如表1所示。 表1 CDM优势 优势项 用户自行开发 CDM 易使用 自行准备服务器资源，安装配置必要的软件并进行配置，等待时间长。

查看更多 →

nsport=dt_socket,server=y,suspend=y,address=8000”，保存文件。 MapReduce为分布式计算框架，Map/Reduce任务启动所在的节点存在不确定性，建议将集群内NodeManager实例只保留一个运行，其他全部停止，以保证任务一

查看更多 →

nsport=dt_socket,server=y,suspend=y,address=8000”，保存文件。 MapReduce为分布式计算框架，Map/Reduce任务启动所在的节点存在不确定性，建议将集群内NodeManager实例只保留一个运行，其他全部停止，以保证任务一

查看更多 →

Storm与其他组件的关系 Storm，提供实时的分布式计算框架，它可以从数据源（如Kafka、TCP连接等）中获得实时消息数据，在实时平台上完成高吞吐、低延迟的实时计算，并将结果输出到消息队列或者进行持久化。Storm与其他组件的关系如图1所示： 图1 组件关系图 Storm和Streaming的关系

查看更多 →

nsport=dt_socket,server=y,suspend=y,address=8000”，保存文件。 MapReduce为分布式计算框架，Map/Reduce任务启动所在的节点存在不确定性，建议将集群内NodeManager实例只保留一个运行，其他全部停止，以保证任务一

查看更多 →

Studio）服务中，CDM作为其中的“数据集成”组件使用，产品能力与独立的CDM服务保持一致。因此，后文中的“云数据迁移”、“数据集成”均指CDM服务。 CDM服务基于分布式计算框架，利用并行化处理技术，支持用户稳定高效地对海量数据进行移动，实现不停服数据迁移，快速构建所需的数据架构。 图1 CDM定位 产品功能 表/文件/整库迁移

查看更多 →

nsport=dt_socket,server=y,suspend=y,address=8000”，保存文件。 MapReduce为分布式计算框架，Map/Reduce任务启动所在的节点存在不确定性，建议将集群内NodeManager实例只保留一个运行，其他全部停止，以保证任务一

查看更多 →

doop生态，采用YARN管理集群资源，提供Hive、Spark离线大规模分布式数据存储和计算，SparkStreaming、Flink流式数据计算，Presto交互式查询，Tez有向无环图的分布式计算框架等Hadoop生态圈的组件，进行海量数据分析与查询。 Hadoop分析集群包含如下组件：

查看更多 →

。 登录 DataArts Studio 控制台。选择对应工作空间的“数据集成”模块，进入CDM主界面。 云数据迁移简介 云数据迁移基于分布式计算框架，利用并行化处理技术，支持用户稳定高效地对海量数据进行移动，实现不停服数据迁移，快速构建所需的数据架构。 图1 数据集成定位 产品功能

查看更多 →

高效率 在迁移过程中，数据读写过程都是由一个单一任务完成的，受限于资源，整体性能较低，对于海量数据场景通常不能满足要求。 CDM任务基于分布式计算框架，自动将任务切分为独立的子任务并行执行，能够极大提高数据迁移的效率。针对Hive、HBase、MySQL、DWS（ 数据仓库 服务）数据源，使用高效的数据导入接口导入数据。

查看更多 →

分布式 开发规范 使用JDBC连接数据库 使用ODBC连接数据库 使用libpq连接数据库 使用Psycopg连接数据库 使用Hibernate连接数据库 使用MyBatis连接数据库 使用JayDebeApi连接数据库 父主题： 使用驱动连接实例

查看更多 →

分布式 Oracle数据库兼容性概述 SQL的基本元素 伪列 操作符 表达式 条件 常见的SQL DDL子句 SQL查询和子查询 PL/SQL语言 系统函数 系统视图 高级包 父主题： 与Oracle兼容性说明

查看更多 →

目标读者 本文档专供需要对Yarn进行应用开发的用户使用。本指南主要适用于具备Java开发经验的开发人员。 简介 Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初

查看更多 →

Hadoop数据迁移示意 方案优势 简单易用：免编程，向导式任务开发界面，通过简单配置几分钟即可完成迁移任务开发。 迁移效率高： 基于分布式计算框架进行数据任务执行和数据传输优化，并针对特定数据源写入做了专项优化，迁移效率高。 实时监控：迁移过程中可以执行自动实时监控、告警和通知操作。

查看更多 →

MapReduce与其他组件的关系 MapReduce和HDFS的关系 HDFS是Hadoop分布式文件系统，具有高容错和高吞吐量的特性，可以部署在价格低廉的硬件上，存储应用程序的数据，适合有超大数据集的应用程序。 MapReduce是一种编程模型，用于大数据集（大于1TB）的并

查看更多 →

HDFS：是一个分布式文件系统，可对应用程序数据进行分布式储存和读取。 MapReduce：是一个分布式计算框架，MapReduce的核心思想是把计算任务分配给集群内的服务器执行。通过对计算任务的拆分（Map计算和Reduce计算），再根据任务调度器（JobTracker）对任务进行分布式计算。 更多信息，请参见Hadoop官网。

查看更多 →

目标读者 本文档专供需要对Yarn进行应用开发的用户使用。本指南主要适用于具备Java开发经验的开发人员。 简介 Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初

查看更多 →

目标读者 本文档专供需要对Yarn进行应用开发的用户使用。本指南主要适用于具备Java开发经验的开发人员。 简介 Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初

查看更多 →