overwrite语句误操作导致数据丢失 未安装HBase时Hive on Spark任务卡顿如何处理 Hive使用WHERE条件查询超过3.2万分区的表报错 使用IBM的JDK访问Beeline客户端出现连接HiveServer失败 Hive表的Location支持跨OBS和HDFS路径吗

查看更多 →

组件配置类 MRS 是否支持Hive on Kudu？ MRS集群是否支持Hive on Spark？ 如何修改DBService的IP地址？ Kafka支持的访问协议类型有哪些？ MRS集群中Spark任务支持哪些Python版本？ MRS 2.1.0版本集群对Storm日志的大小有什么限制？

查看更多 →

Guardian Guardian基本原理 Guardian是一个在存算分离场景下为HDFS、Hive、Spark、HBase、Loader、HetuEngine等服务提供访问OBS的临时认证凭据的服务，只有对接OBS的场景下才需要安装Guardian组件。Guardian的典型特性包括：

查看更多 →

解决sudo提权漏洞 解决扩容刷新队列会导致队列丢失问题 MRS大数据组件 解决Hive on Spark任务报block id乱码，导致任务卡住问题 Hive中增加自研的接口 解决map.xml无法读取的问题 Hive har特性优化 解决ZK脏数据导致Yarn服务不可用问题 OBS包升级

查看更多 →

overwrite语句误操作导致数据丢失 未安装HBase时Hive on Spark任务卡顿如何处理 Hive使用WHERE条件查询超过3.2万分区的表报错 使用IBM的JDK访问beeline客户端出现连接HiveServer失败 Hive表的Location支持跨OBS和HDFS路径吗

查看更多 →

Hive 创建hive catalog 通过连接Hive Metastore，或者兼容Hive Metastore的元数据服务，Doris可以自动获取Hive的库表信息，并进行数据查询。 除了Hive外，很多其他系统也会使用Hive Metastore存储元数据。所以通过Hive

查看更多 →

理需求。具体信息可参考《 MapReduce服务 用户指南》。 用户可以将海量业务数据，存储在MRS的分析集群，即使用Hive/Spark组件保存。Hive/Spark的数据文件则保存在HDFS中。 GaussDB (DWS)支持在相同网络中，配置一个GaussDB(DWS)集群连接到一

查看更多 →

java_import(spark._jvm, 'com.huawei.bigdata.spark.examples.SparkHivetoHbase') # 创建类实例并调用方法 spark._jvm.SparkHivetoHbase().hivetohbase(spark._jsc)

查看更多 →

java_import(spark._jvm, 'com.huawei.bigdata.spark.examples.SparkHivetoHbase') # 创建类实例并调用方法 spark._jvm.SparkHivetoHbase().hivetohbase(spark._jsc)

查看更多 →

spark-beeline查询Hive视图报错 用户问题 MRS 3.1.2版本，spark-beeline查询Hive视图报错，报错如下： 根据提示set spark.sql.hive.manageFilesourcePartitions=false后，查不到数据（但是实际在Hive查询中是有数据的）。

查看更多 →

YARN管理集群资源，提供Hive、Spark离线大规模分布式数据存储和计算，SparkStreaming、Flink流式数据计算、Tez有向无环图的分布式计算框架等Hadoop生态圈的组件，进行海量数据分析与查询。 Hadoop、Hive、Spark、Tez、Flink、ZooKeeper、Ranger

查看更多 →

Spark从Hive读取数据再写入HBase样例程序（Java） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata

查看更多 →

3版本发布的所有补丁内容。 安装补丁的影响 安装MRS 1.9.3.3补丁期间会重启MRS Manager，滚动重启Hadoop、HDFS、Hive、Spark及相关依赖服务，重启MRS Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。 MRS 1.9.3.3补丁安装后，需

查看更多 →

Spark从Hive读取数据再写入HBase样例程序（Java） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata

查看更多 →

在华为云大数据存算分离方案中，OBS除了可以与大数据平台对接外，还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下： Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题： 对接大数据组件

查看更多 →

配置Spark对接LakeFormation 使用pyspark时，需要将以下配置中“spark.hadoop”开头的参数去掉“spark.hadoop”后配置到hive-site.xml配置文件中。 对接通用配置 在“spark/conf/spark-defaults.conf”中添加以下配置：

查看更多 →

Spark从Hive读取数据再写入HBase样例程序（Scala） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata

查看更多 →

proxyuser.spark.hosts 允许Spark用户伪装成来自哪些host的用户，需设为“*”，代表所有节点。 - hadoop.proxyuser.spark.groups 允许Spark用户伪装成哪些用户组的用户，需设为“*”，代表所有用户组。 - 父主题： Spark用户权限管理

查看更多 →

dfs -put spark-archive-2x-x86.zip /user/spark2x/jars/8.1.0.1/ 上传完毕后删除本地的spark-archive-2x-arm.zip，spark-archive-2x-x86.zip文件。 对其他的sparkResource安装节点执行1~2。

查看更多 →

java_import(spark._jvm, 'com.huawei.bigdata.spark.examples.SparkHivetoHbase') # 创建类实例并调用方法 spark._jvm.SparkHivetoHbase().hivetohbase(spark._jsc)

查看更多 →

dfs -put spark-archive-2x-x86.zip /user/spark2x/jars/8.1.0.1/ 上传完毕后删除本地的spark-archive-2x-arm.zip，spark-archive-2x-x86.zip文件。 对其他的SparkResource安装节点执行1~2。

查看更多 →