org/repos/dist/release/hadoop/common/中下载Hadoop的样例程序。 例如，选择hadoop-x.x.x版本，下载“hadoop-x.x.x.tar.gz”，解压后在“hadoop-x.x.x\share\hadoop\mapreduce”路径下获取“hadoop-mapreduce-examples-x

查看更多 →

org/repos/dist/release/hadoop/common/中下载Hadoop的样例程序。 例如，选择hadoop-x.x.x版本，下载“hadoop-x.x.x.tar.gz”，解压后在“hadoop-x.x.x\share\hadoop\mapreduce”路径下获取“hadoop-mapreduce-examples-x

查看更多 →

Hadoop对接OBS 概述 Hadoop系统提供了分布式存储、计算和资源调度引擎，用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议，在大数据场景中可以替代Hadoop系统中的HDFS服务，实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接，为大数据计算提供“ 数据湖 ”存储。

查看更多 →

具体可参见 FusionInsight 文档。 Apache集群 Apache HDFS Apache HBase Apache Hive Apache集群场景下，此处仅说明需要哪些配置文件与打包原则，各配置文件的具体获取方式请参见对应版本说明文档。 HDFS需要将以下文件压缩为无目录格式的zip包：

查看更多 →

具体可参见FusionInsight文档。 Apache集群 Apache HDFS Apache HBase Apache Hive Apache集群场景下，此处仅说明需要哪些配置文件与打包原则，各配置文件的具体获取方式请参见对应版本说明文档。 HDFS需要将以下文件压缩为无目录格式的zip包：

查看更多 →

Hive与其他组件的关系 Hive与HDFS组件的关系 Hive是Apache的Hadoop项目的子项目，Hive利用HDFS作为其文件存储系统。Hive通过解析和计算处理结构化的数据，Hadoop HDFS则为Hive提供了高可靠性的底层存储支持。Hive数据库中的所有数据文件都可以存储在Hadoop

查看更多 →

元数据缓存设置。 hive.version Hive版本。 dfs.nameservices name service名称，与hdfs-site.xml保持一致。 dfs.ha.namenodes.[nameservice ID] namenode的ID列表，与hdfs-site

查看更多 →

JAVA_HOME=/opt/jdk-23.0.1" >> /opt/hadoop-2.10.x/etc/hadoop/hadoop-env.sh 验证安装。 hadoop version 回显信息如下所示表示Hadoop安装成功。 Hadoop 2.10.x Subversion https://github

查看更多 →

Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示，客户端与服务端的配置相同。要使用表权限功能，需要在服务端和客户端添加如下配置。 “spark-defaults.conf”配置文件 表1 参数说明（1） 参数 描述 默认值 spark.sql

查看更多 →

参考Hive JDBC代码用例开发的业务应用运行失败 问题背景与现象 用户参考Hive组件的“jdbc-examples”样例工程，完成其自身业务应用开发后，运行此应用失败。应用侧报如下异常： .......... 2017-05-11 14:33:52.174 ERROR

查看更多 →

talog所在的OBS路径的操作权限。 Hive表格式仅支持Parquet、ORC、TextFile。 前提条件 已创建包含Doris服务的集群，集群内各服务运行正常。 待连接Doris数据库的节点与 MRS 集群网络互通。 创建具有Doris管理权限的用户。 集群已启用Kerberos认证（安全模式）

查看更多 →

Hive任务失败，报没有HDFS目录的权限 问题背景与现象 Hive任务报错，提示执行用户没有HDFS目录权限： 2019-04-09 17:49:19,845 | ERROR | HiveServer2-Background-Pool: Thread-3160445 | Job

查看更多 →

Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示，客户端与服务端的配置相同。要使用表权限功能，需要在服务端和客户端添加如下配置。 “spark-defaults.conf”配置文件 表1 参数说明（1） 参数 描述 默认值 spark.sql

查看更多 →

输入文件数超出设置限制导致任务执行失败 问题背景与现象 Hive执行查询操作时报Job Submission failed with exception 'java.lang.RuntimeException(input file number exceeded the limits

查看更多 →

使用MetastoreClient方式对接：MetastoreClient方式对接基于Spark HiveExternalCatalog机制与Hive MetastoreClient机制，支持Hive大部分SQL语句，但无法同时对接多个Catalog。 使用SparkCatalogPlugin方式对接：

查看更多 →

beeline客户端报错“Failed to execute session hooks: over max connections” 问题背景与现象 HiveServer连接的最大连接数默认为200，当超过200时，beeline会报Failed to execute session hooks:

查看更多 →

Elasticsearch-Hadoop (ES-Hadoop) 连接器将Hadoop海量的数据存储和深度加工能力与Elasticsearch实时搜索和分析功能结合在一起。 它能够让您快速深入了解大数据，并让您在Hadoop生态系统中更好地开展工作。 方案架构 Hive是建立在Hadoop上的数据仓

查看更多 →

使用新建的dorisuser用户重新登录FusionInsight Manager，修改该用户初始密码。 配置MRS Hive集群与Doris集群互信。 配置MRS Hive集群与Doris集群互信，详细操作请参考集群互信管理。 配置后验证。 以root用户登录Doris集群客户端，执行以下命令加载环境变量。

查看更多 →

本文通过MRS的ES-Hadoop与 CSS 集群连接作为示例，您可以配置其他任何需要使用ES集群的应用。如有需要，也可以参考本文在其他服务中使用Elasticsearch，前提是要保证客户端与Elasticsearch集群网络连通。 准备工作 CS S集群处于可用状态。 确保客户端与CSS集群的网络是互通的。

查看更多 →

更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具：下载地址。 下载OBSA-HDFS工具的jar包（如hadoop-huaweicloud-3.1.1-hw-53.8.jar）到/mnt/obsjar目录。 hadoop-huaweicloud-x.x

查看更多 →

执行join操作时localtask启动失败 问题背景与现象 执行join等操作，数据量较小时，会启动localtask执行，执行过程会报错： jdbc:hive2://10.*.*.*:21066/> select a.name ,b.gender from student a

查看更多 →