方式对接基于Spark HiveExternalCatalog机制与Hive MetastoreClient机制，支持Hive大部分SQL语句，但无法同时对接多个Catalog。 使用SparkCatalogPlugin方式对接： 在“spark/conf/spark-defaults

查看更多 →

。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在 服务器 的任意目录（例如“ /opt/female/” ）下。 运行任务 进入Spark客户端目录，使用java -cp命令运行代码（类名与文件名等请与实际代码保持一致，此处仅为示例）：

查看更多 →

MRS 支持的角色与组件对应表 表1 MRS支持的角色与组件对应表 角色名 组件名 OMS Server OMSServer NameNode HDFS Zkfc HDFS JournalNode HDFS DataNode HDFS ResourceManager Yarn NodeManager

查看更多 →

Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示，客户端与服务端的配置相同。要使用表权限功能，需要在服务端和客户端添加如下配置。 “spark-defaults.conf”配置文件 表1 参数说明（1） 参数 描述 默认值 spark.sql

查看更多 →

ALM-16001 Hive 数据仓库 空间使用率超过阈值（2.x及以前版本） 告警解释 系统每30秒周期性检测Hive数据仓库空间使用率，该指标可在Hive服务监控界面查看，指标名称为“Hive已经使用的HDFS空间占可使用空间的百分比”。Hive数据仓库空间使用率指标默认提供一个

查看更多 →

操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt/female/” ）下。 运行任务 进入Spark客户端目录，使用java -cp命令运行代码（类名与文件名等请与实际代码保持一致，此处仅为示例）：

查看更多 →

校验压缩包：下载后在Windows环境下执行certutil -hashfile <压缩包> sha256，检查回显信息与对应sha256文件内容是否一致。 方式二：本地编译客户端 获取客户端代码。 获取地址为：https://gitee.com/HuaweiCloudDeveloper/huaweicl

查看更多 →

storm-hbase-examples MRS的Storm与HBase组件实现交互的示例程序。实现提交Storm拓扑将数据存储到HBase的WordCount表中。 storm-hdfs-examples MRS的Storm与HDFS组件实现交互的示例程序。实现提交Storm拓扑数据存储到HDFS的功能。

查看更多 →

Doris与HDFS组件的关系 Doris支持导入和导出HDFS数据，并且支持直接查询HDFS数据源。 Doris与Hudi组件的关系 Doris支持直接查询Hudi数据源。 Doris与Spark组件的关系 使用Spark Doris Connector可以通过Spark读取Do

查看更多 →

数值改回“false”）。 运行任务 进入Spark客户端目录，调用bin/spark-submit脚本运行代码，运行命令分别如下（类名与文件名等请与实际代码保持一致，此处仅为示例）： 运行Java或Scala样例代码 bin/spark-submit --class com.huawei

查看更多 →

API类 DLV 目前只支持API数据源。 数据库类 DLV支持以下几种数据库： 数据仓库服务（DWS） 数据湖探索 （ DLI ） MapReduce服务 （MRS Hive） MapReduce服务（MRS SparkSQL） MapReduce服务（ClickHouse） 云数据库 MySQL

查看更多 →

MRS集群告警与事件管理 03:05 MRS集群告警与事件管理 MapReduce服务 MRS MRS导入数据至HDFS 04:30 MRS导入数据至HDFS MapReduce服务 MRS 配置存算分离并使用Hive访问OBS 05:47 配置存算分离并使用Hive访问OBS MapReduce服务

查看更多 →

k来读写Hive的表。Overview | Apache Flink 从Flink 1.11.0开始，在使用 Hive方言时，Flink允许用户用Hive语法来编写SQL语句。通过提供与Hive语法的兼容性，改善与Hive的互操作性，并减少用户需要在Flink和Hive之间切换来

查看更多 →

Hive分区修剪的谓词下推增强 配置场景 在旧版本中，对Hive表的分区修剪的谓词下推，只支持列名与整数或者字符串的比较表达式的下推，在2.3版本中，增加了对null、in、and、or表达式的下推支持。 配置参数 登录 FusionInsight Manager系统，选择“集群 >

查看更多 →

在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt/female/” ）下。 运行任务 进入Spark客户端目录，调用bin/spark-submit脚本运行代码，运行命令分别如下（类名与文件名等请与实际代码保持一致，此处仅为示例）：

查看更多 →

在用户名中选择一个拥有Hive权限的用户，然后在右侧“操作”列中选择“更多 >下载认证凭据”，保存后解压得到用户的user.keytab文件与krb5.conf文件。 将krb5.conf文件中Master节点对用的IP修改为对应节点绑定的弹性公网IP。并将user.keytab文件与krb5

查看更多 →

将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt/female/” ）下。 运行任务 进入Spark客户端目录，使用java -cp命令运行代码（类名与文件名等请与实际代码保持一致，此处仅为示例）： 运行Java样例代码： java -cp $SPARK_HOME

查看更多 →

java_import(spark._jvm, 'com.huawei.bigdata.spark.examples.SparkHivetoHbase') # 创建类实例并调用方法 spark._jvm.SparkHivetoHbase().hivetohbase(spark._jsc)

查看更多 →

5.conf”。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt/female/” ）下。 运行任务 进入Spark客户端目录，调用bin/spark-submit脚本运行代码，运行命令分别如下（类名与文件名等请与实际代码保持一致，此处仅为示例）：

查看更多 →

Manager界面选择“系统设置>用户管理”，在用户名中选择sparkuser，单击操作中下载认证凭据文件，保存后解压得到用户的keytab文件与krb5.conf文件。用于在样例工程中进行安全认证，具体使用请参考准备认证机制代码。 父主题： 准备Spark应用开发环境

查看更多 →

Hive 创建Hive Catalog Hive方言 Hive源表 Hive结果表 Hive维表 使用Temporal join关联维表的最新分区 使用Temporal join关联维表的最新版本 父主题： Connector列表

查看更多 →