HCatalog是建立在Hive元数据之上的一个表信息管理层，吸收了Hive的DDL命令。为Mapreduce提供读写接口，提供Hive命令行接口来进行数据定义和元数据查询。基于 MRS 的HCatalog功能，Hive、Mapreduce开发人员能够共享元数据信息，避免中间转换和调整，能够提升数据处理的效率。

查看更多 →

批处理主要特点是耗时时间长，消耗的资源比较多，主要的调优和设计推荐如下： 尽量使用ORC File， 配上合适的压缩算法， 主要可选的压缩算法为Zlib和Snappy。其中Zlib压缩比高，但压缩解压时间比Snappy长，消耗资源比如Snappy多。Snappy平衡了的压缩比和压缩解压的性能。推荐使用Snappy。

查看更多 →

Tez任务仅在一个任务中就能完成同样的处理过程，任务之间不需要访问HDFS。 Tez和Yarn间的关系 Tez是运行在Yarn之上的计算框架，运行时环境由Yarn的ResourceManager和ApplicationMaster组成。其中ResourceManager是一个全新的资源

查看更多 →

Hive应用开发简介 Hive介绍 Hive是一个开源的，建立在Hadoop上的 数据仓库 框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

ericStatsEvaluator.init. 解决方案：set hive.map.aggr=false; Hive SQL设置hive.auto.convert.join = true（默认开启）和hive.optimize.skewjoin=true执行报错：ClassCastException

查看更多 →

配置MapReduce任务日志归档和清理机制 配置场景 执行一个MapReduce应用会产生两种类型日志文件：作业日志和任务日志。 作业日志由MRApplicationMaster产生，详细记录了作业启动时间、运行时间，每个任务启动时间、运行时间、Counter值等信息。此日志内

查看更多 →

配置MapReduce任务日志归档和清理机制 配置场景 执行一个MapReduce应用会产生两种类型日志文件：作业日志和任务日志。 作业日志由MRApplicationMaster产生，详细记录了作业启动时间、运行时间，每个任务启动时间、运行时间、Counter值等信息。此日志内

查看更多 →

快速开发Hive HCatalog应用 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

MapReduce引擎无法查询Tez引擎执行union语句写入的数据 问题 Hive通过Tez引擎执行union相关语句写入的数据，切换到Mapreduce引擎后进行查询，发现数据没有查询出来。 回答 由于Hive使用Tez引擎在执行union语句时，生成的输出文件会存在HIVE

查看更多 →

基础版和专业版区别 当前华为HiLens提供基础版和专业版两种控制台，两者区别如表1所示。 表1 基础版和专业版区别 区别项 基础版控制台 专业版控制台 设备管理 支持注册的设备：HiLens Kit、Atlas 500。 支持注册的设备：SDC-M系列、SDC-X系列、Andr

查看更多 →

IAM和企业管理的区别 企业管理是提供给企业客户的与多层级组织和项目结构相匹配的云资源管理服务。主要包括企业项目管理、财务管理、应用管理、和人员管理。统一身份认证（Identity and Access Management，简称IAM）是提供用户身份认证、权限分配、访问控制等功能的身份管理服务。

查看更多 →

IAM和企业管理的区别 企业管理是提供给企业客户的与多层级组织和项目结构相匹配的云资源管理服务。主要包括企业项目管理、人员管理、财务管理和应用管理。 统一身份认证（Identity and Access Management，简称IAM）是提供用户身份认证、权限分配、访问控制等功能的身份管理服务。

查看更多 →

跨区域复制镜像：跨区域复制适用于跨区域部署 服务器 ，或者跨区域备份数据，常和共享镜像结合使用，以达到跨区域跨账号复制镜像的目的。 共享镜像和复制镜像使用场景不同，具体如下表。 场景 操作 说明 相关文档 同区域跨账号共享 共享 共享镜像不会生成新的镜像，接受者所看到的镜像和源镜像拥有相同的ID。镜像所有者仍为共享者。

查看更多 →

er.keytab”和“krb5.conf”文件，“hbase-site.xml”从HBase客户端获取，例如：/opt/client/HBase/hbase/conf，“hiveclient.properties”和“hive-site.xml”从Hive客户端获取，例如：/o

查看更多 →

通道隔离和隐私保护的区别？ 通道隔离：通道可以将 区块链 网络中的账本数据进行隔离和保密，主要用于实现联盟链中业务的隔离，每个通道可视为一条子链，并且对应一套账本，同一个区块链网络，不同通道之间的账本数据不可见。 隐私保护：在同一个通道内的不同成员，例如A、B成员，经过隐私保护配置，

查看更多 →

关系建模和维度建模的区别？ 问题描述 关系建模和维度建模的区别是什么。 解决方案 关系建模为事务性模型，对应三范式建模。 维度建模为分析性模型，主要包括事实表、维度表的设计，多用于实现多角度、多层次的数据查询和分析。 DataArts Studio 是基于 数据湖 的数据运营平台，维度建模使用的场景比较多。

查看更多 →

团队和群聊有什么区别？ 团队：可同步至通讯录团队列表，且享受团队空间，用于共享文件，适合团队管理。 群聊：临时创建的会话群组，不会默认同步到通讯录的团队列表，且无团队空间。 群聊可升级为团队：点击群聊右上角头像 > “升级为团队”。 父主题： 群组

查看更多 →

镜像和备份有什么区别？ 云备份和 镜像服务 有很多功能交融的地方，有时需要搭配一起使用。镜像有时也可用来备份 云服务器 运行环境，作为备份来使用。 备份和镜像的区别 云备份和镜像服务区别主要有以下几点，如表1所示。 表1 备份和镜像的区别 对比维度 云备份 镜像服务 概念 备份是将云服务

查看更多 →

充值和续费有什么区别？ 充值：客户通过在线支付、转账汇款等支付方式向华为云账户增加金额的过程。如何充值请参见账户充值。 续费：客户通过在线支付、转账汇款等支付方式延长已购买产品的使用权限。如何续费请参见如何续费实例。 父主题： 续费

查看更多 →

spark-shell执行SQL跨文件系统load数据到Hive表失败 用户问题 使用spark-shell命令执行SQL或者spark-submit提交的Spark任务里面有SQL的load命令，并且原数据和目标表存储位置不是同一套文件系统，上述两种方式MapReduce任务启动时会报错。 原因分析 当

查看更多 →

MapReduce访问多组件样例程序开发思路 场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例，介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下： 以HDFS文本文件为输入数据： log1

查看更多 →