L、Derby。Hive中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。 Hive结构 Hive为单实例的服务进程，提供服务的原理是将HQL编译解析成相应的MapReduce或者HDFS任务，图1为Hive的结构概图。 图1 Hive结构

查看更多 →

若干独立的数据块，由map任务（task）以完全并行的方式来处理。框架会对map的输出先进行排序，然后把结果输入给reduce任务，最后返回给客户端。通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控，以及重新执行已经失败的任务。 MapReduce主要特点如下：

查看更多 →

常会把输入的数据集切分为若干独立的数据块，由map任务（task）以完全并行的方式来处理。框架会对map的输出先进行排序，然后把结果输入给reduce任务，最后返回给客户端。通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控，以及重新执行已经失败的任务。 MapReduce主要特点如下：

查看更多 →

使用MapReduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →

使用Mapreduce 配置日志归档和清理机制 降低客户端应用的失败率 将MR任务从Windows上提交到Linux上运行 配置使用分布式缓存 配置MapReduce shuffle address 配置集群管理员列表 MapReduce日志介绍 MapReduce性能调优 MapReduce常见问题

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →

常会把输入的数据集切分为若干独立的数据块，由map任务（task）以完全并行的方式来处理。框架会对map的输出先进行排序，然后把结果输入给reduce任务，最后返回给客户端。通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控，以及重新执行已经失败的任务。 MapReduce主要特点如下：

查看更多 →

Properties，其中Host为运行的NodeManager节点IP，Port端口号为8000，然后单击“Debug”。 若使用IDE直接提交MapReduce任务，则IDE即成为客户端的角色，参考1修改二次开发工程中的“mapred-site.xml”即可。 父主题： MapReduce应用开发常见问题

查看更多 →

0)字段映射到DWS的SMALLINT。 图1 自动建表的字段映射 CDM在Hive中自动建表时，Hive表与源表的字段类型映射关系参见表1、表2、表3及表4。例如使用CDM将MySQL整库迁移到Hive，CDM在Hive上自动建表，会将Oracle的YEAR字段映射到Hive的DATE。

查看更多 →

定义Column的数量和类型。HBase中表的列非常稀疏，不同行的列的个数和类型都可以不同。此外，每个CF都有独立的生存周期（TTL）。可以只对行上锁，对行的操作始终是原始的。 Column 与传统的数据库类似，HBase的表中也有列的概念，列用于表示相同类型的数据。 RegionServer数据存储

查看更多 →

Kafka基本原理 Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据

查看更多 →

HetuEngine的客户端，使用者通过客户端向服务端提交查询请求，然后将执行结果取回并展示。 HSBroker HetuEngine的服务管理，用作计算实例的资源管理校验，健康监控与自动维护等。 HSConsole 对外提供数据源信息管理，计算实例管理，自动化任务的查看等功能的可视化操作界面和RESTful接口。

查看更多 →

压缩和重量级压缩的组合压缩算法压缩数据，可以减少60%~80%数据存储空间，很大程度上节省硬件存储成本。 CarbonData索引缓存服务器 为了解决日益增长的数据量给driver带来的压力与出现的各种问题，现引入单独的索引缓存服务器，将索引从Carbon查询的Spark应用侧剥

查看更多 →

ebalance的能力，创建任务时指定的task数量会在整个集群中的CDLConnector实例之间做均衡，保证每个实例上运行的task数量大致相同，如果某个CDLConnector实例异常或者节点宕机，该任务会在其它节点重新平衡task的数量。 图1 Task的Rebalance示意图

查看更多 →

设备上。但在逻辑上，一列数据可以看成是由相同类型的元素构成的一个数组， 一行数据的所有列值在各自的数组中按照列顺序排列，即拥有相同的数组下标。数组下标是隐式的，不需要存储。表中所有的行按照维度列，做多重排序，排序后的位置就是该行的行号。 索引 StarRocks通过前缀索引 (Prefix

查看更多 →

ion Properties，其中Host为运行的NodeManager节点IP，Port端口号为8000，然后单击“Debug”。 若使用IDE直接提交MapReduce任务，则IDE即成为客户端的角色，参考1修改二次开发工程中的“mapred-site.xml”即可。 父主题：

查看更多 →

Properties，其中Host为运行的NodeManager节点IP，Port端口号为8000，然后单击“Debug”。 若使用IDE直接提交MapReduce任务，则IDE即成为客户端的角色，参考1修改二次开发工程中的“mapred-site.xml”即可。 父主题： MapReduce应用开发常见问题

查看更多 →

ion Properties，其中Host为运行的NodeManager节点IP，Port端口号为8000，然后单击“Debug”。 若使用IDE直接提交MapReduce任务，则IDE即成为客户端的角色，参考1修改二次开发工程中的“mapred-site.xml”即可。 父主题：

查看更多 →

如何给工作项添加新的工作状态？ 需求管理中工作项提供了默认的工作项状态（新建、进行中、已解决、测试中、已拒绝、已关闭）。 在项目的“设置 > 项目设置 > 状态与流转”中，根据项目需要创建新的工作状态，详细操作请参见 工作项状态与流转。 父主题： 工作项

查看更多 →

工作 管理IPD项目工作项字段 管理IPD项目工作项状态 父主题： 租户设置

查看更多 →