指定表的格式为RCFile(推荐使用)或SequenceFile，加密算法为ARC4Codec。SequenceFile是Hadoop特有的文件格式，RCFile是Hive优化的文件格式。RCFile优化了列存储，在对大表进行查询时，综合性能表现比SequenceFile更优。 set hive

查看更多 →

指定表的格式为RCFile(推荐使用)或SequenceFile，加密算法为ARC4Codec。SequenceFile是Hadoop特有的文件格式，RCFile是Hive优化的文件格式。RCFile优化了列存储，在对大表进行查询时，综合性能表现比SequenceFile更优。 set hive

查看更多 →

encountered while connecting to the server : org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.token.SecretManager$InvalidToken): token

查看更多 →

HDFS连接 介绍 通过HDFS连接，可以对 MRS 、 FusionInsight HD或开源Hadoop的HDFS抽取、加载文件，支持 CS V、Parquet和二进制格式。 连接样例 { "links": [ { "link-config-values":

查看更多 →

Superior调度性能提升 物理资源感知特性 ORC合并文件时从文件中读取ORC列压缩属性 Hiveserver堆内存监控限制 大数据量场景，Hive分批加载元数据，提升Hiveserver容错能力 Hive支持Redis缓存连接失败重试 支持OBSA客户端数据监控上报 支持OBS流控重试机制 pms性能优化

查看更多 →

大量数据一次性加载到HBase。 对数据加载到HBase可靠性要求不高，不需要生成WAL文件。 使用put加载大量数据到HBase速度变慢，且查询速度变慢时。 加载到HBase新生成的单个HFile文件大小接近HDFS block大小。 创建MRS离线查询集群 进入购买MRS集群页面。 选择“快速购买”，填写配置参数。

查看更多 →

Manager页面加载卡顿 用户问题 MRS集群Manager页面加载卡顿。 问题现象 登录MRS集群的Manager页面，单击一个按钮需要等一分钟后才能加载到数据，部分按钮单击后卡顿无法访问。 原因分析 查看“/var/log/Bigdata/omm/oms/pms/scriptlog/pms_script

查看更多 →

描述 bucketName 是 String 词库文件存放的OBS桶（桶类型必须为标准存储或者低频存储，不支持归档存储）。 mainObject 否 String 主词库文件对象，必须为UTF-8无BOM编码的文本文件，一行一个分词，文件大小最大支持100M。 7个词库参数至少修改一

查看更多 →

用户能够访问该数据文件。 如果加载数据语句中有关键字OVERWRITE，表示加载的数据会覆盖表中原有的数据，否则加载的数据会追加到表中。 样例代码 -- 从本地文件系统/opt/hive_examples_data/目录下将employee_info.txt加载进employees_info表中

查看更多 →

权限及对加载数据文件具有owner权限和读写权限。 如果加载数据语句中有关键字LOCAL，表明从本地加载数据，除要求对相应表的UPDATE权限外，还要求该数据在当前连接的HiveServer节点上，加载用户对数据路径“PATH”具有读权限，且以omm用户能够访问该数据文件。 如果

查看更多 →

分析Hive组件的“jdbc-examples”样例工程，不存在类似问题，是因为该工程的classpath路径下，存在core-site.xml配置文件，此配置文件上设置“hadoop.security.authentication”为“kerberos”。 解决办法 属于用户使用不当。对于本业务应用来说

查看更多 →

件包，须手工加载云服务组件包。 操作步骤 访问华为安全中心平台（ 域名 为isecurity.huawei.com），选择“特征库升级 > 特征库升级”。筛选到对应的产品和版本。 下载安全云服务组件包文件。 请注意系统软件版本和组件包版本的配套关系，不配套的组件包无法加载成功。 图1

查看更多 →

加载云服务组件包 操作步骤 执行display module-information verbose命令查看是否已加载云服务组件包。 如果存在类似如下信息表示已加载云服务组件包，如果不存在请执行2至5。 访问华为安全中心平台（域名为isecurity.huawei.com），选择“特征库升级

查看更多 →

加载数据到Hive表中 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 样例代码 -- 从本地文件系统/opt/hive_examples_

查看更多 →

HDFS文件系统目录简介 HDFS是Hadoop的分布式文件系统（Hadoop Distributed File System），实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写，多次读”的特征，而数据“写”操作是顺序写，也就是在文件创建时的写入或者在

查看更多 →

快速创建和使用Hadoop离线数据分析集群 操作场景 本入门提供从零开始创建Hadoop离线数据分析集群并通过集群客户端提交一个wordcount作业的操作指导。wordcount是最经典的Hadoop作业，用于统计海量文本的单词数量。 Hadoop集群完全使用开源Hadoop生态，采

查看更多 →

d目录，新建一个openEuler.repo文件，并将以下内容复制到该文件里面。 由于openEuler.repo文件和HCE OS系统repo文件有冲突，请先将/etc/yum.repos.d目录下HCE OS原有的repo文件进行备份，并删除HCE OS原有的repo文件，再创建openEuler

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的 数据仓库 框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

日志滚动功能，将日志输出到stdout文件下；而Container同时也会监控这个文件，导致此文件被两个进程同时监控。当其中一个进程按照配置滚动的时候，删除了最早的日志文件，但是另一个进程依旧占用此文件句柄，从而产生了deleted状态的文件。 处理步骤 将Spark的executor日志输出目录修改成其他名称：

查看更多 →

确认这个方法对应的类所在的jar包是否加载到jvm的classpath里面，spark自带的类都在“spark客户端目录/jars/”。 确认是否有多个jar包包含这个类（尤其注意相同工具的不同版本）。 如果报错是Hadoop相关的包，有可能是因为使用的Hadoop版本不一致导致部分方法已经更改。

查看更多 →

确认这个方法对应的类所在的jar包是否加载到jvm的classpath里面，spark自带的类都在“spark客户端目录/jars/”。 确认是否有多个jar包包含这个类（尤其注意相同工具的不同版本）。 如果报错是Hadoop相关的包，有可能是因为使用的Hadoop版本不一致导致部分方法已经更改。

查看更多 →