。SQLContext其中一个子类是HiveContext，相较于其父类，HiveContext添加了HiveQL的parser、UDF以及读取存量Hive数据的功能等。但注意，HiveContext并不依赖运行时的Hive，只是依赖Hive的类库。 由SQLContext及其子

查看更多 →

如何强制停止Hive执行的MapReduce任务 问题 在Hive执行MapReduce任务长时间卡住的情况下想手动停止任务，需要如何操作？ 回答 登录 FusionInsight Manager。 选择“集群 > 待操作的集群名称 > 服务 > Yarn”。 单击左侧页面的“Re

查看更多 →

如何强制停止Hive执行的MapReduce任务 问题 在Hive执行MapReduce任务长时间卡住的情况下想手动停止任务，需要如何操作？ 回答 登录FusionInsight Manager。 选择“集群 > 服务 > Yarn”。 单击左侧页面的“ResourceManag

查看更多 →

使用Hue提交Oozie Hive2作业 使用Hue提交Oozie HQL脚本 使用Hue提交Oozie Spark2x作业 使用Hue提交Oozie Java作业 使用Hue提交Oozie Loader作业 使用Hue提交Oozie Mapreduce作业 使用Hue提交Oozie

查看更多 →

方法相同。由于Spark JD BCS erver是Hive中的HiveServer2的另外一个实现，其使用方法，请参见https://cwiki.apache.org/confluence/display/Hive/HiveServer2+Clients。 Spark多租户HA方案实现

查看更多 →

不涉及 取值范围： MapReduce SparkSubmit SparkPython：该类型作业将转换为SparkSubmit类型提交， MRS 控制台界面的作业类型展示为SparkSubmit，通过接口查询作业列表信息时作业类型请选择SparkSubmit。 HiveScript HiveSql

查看更多 →

SMN：发送短信或邮件 MRSSpark：执行MRS服务的Spark作业 MapReduce：执行MRS服务的MapReduce作业 MRSFlinkJob: 执行MRS服务的FlinkJob作业。 MRSHetuEngine: 执行MRS服务的HetuEngine作业。 DLI Spark：执行DLF服务的Spark作业

查看更多 →

2.0 Hive 3.1.0 Hudi（集成在Spark2x中） 0.11.0 Hue 4.7.0 IoTDB 0.14.0 Kafka 2.11-2.4.0 KrbServer 1.18 LdapServer 2.7.0 Loader 1.99.3 Mapreduce 3.3.1

查看更多 →

MRS相关的节点（MRS Presto SQL、MRS Spark、MRS Spark Python、MRS Flink Job、 MRS MapReduce），通过直连方式的（MRS Spark SQL、MRS Hive SQL）节点，以及目标端为DWS的ETL Job节点，解决部分MRS集群和部分ETL

查看更多 →

普通模式，执行5。 配置Hue。 Spark2x环境配置（如果不涉及spark2x任务，可以跳过此步骤）： hdfs dfs -put /opt/client/Spark2x/spark/jars/*.jar /user/oozie/share/lib/spark2x/ 当HDFS目录“/

查看更多 →

已创建MRS集群。 在MRS集群上创建了Hive/Spark ORC表，且表数据已经存储到该表对应的HDFS路径上。 如果您已经完成上述准备，则可以跳过本章节。 为方便起见，以在MRS集群上创建Hive ORC表作为示例，完成上述准备工作。在MRS集群上创建Spark ORC表的大致流程和SQ

查看更多 →

配置数据操作的MapReduce任务中同时启动的map数量。参数值必须小于或等于“3000”。 SPARK Spark实例 仅支持SparkSQL存取Hive数据。在SparkSQL作业中，Loader支持从集群可添加的所有Spark服务实例中选择任意一个。如果选定的Spark服务实例在集群中未添加，则此作业无法正常运行。

查看更多 →

解决HetuEngine使用HSFabric连接JDBC执行SQL失败。 解决Hive on tez overwrite分区表结果为空时会报错的问题。 Hive集成DataAtrs元数据同步插件包。 解决配置Hive元数据最后访问时间后Hive作业频繁报错的问题。 解决Hive alter table test drop

查看更多 →

依赖NodeManager的remote shuffle Spark任务受影响，Flink任务有概率失败，Hive任务有概率失败。 滚动重启10节点耗时约25分钟。 Spark2x 直接重启 仅影响Spark Thrift任务，SparkSQL、Spark Submit任务不受影响。 直接重启耗时约5分钟。

查看更多 →

3.1.1 Hive 3.1.0 Hudi（集成在Spark2x中） 0.9.0 Hue 4.7.0 Impala 3.4.0 Kafka 2.11-2.4.0 KrbServer 1.18 Kudu 1.12.1 LdapServer 2.7.0 Mapreduce 3.1.1

查看更多 →

不同类型作业提交请参考以下章节： 使用Hue提交Oozie Hive2作业 使用Hue提交Oozie Spark2x作业 使用Hue提交Oozie Java作业 使用Hue提交Oozie Loader作业 使用Hue提交Oozie Mapreduce作业 使用Hue提交Oozie Sub workflow作业

查看更多 →

不同类型作业提交请参考以下章节： 使用Hue提交Oozie Hive2作业 使用Hue提交Oozie Spark2x作业 使用Hue提交Oozie Java作业 使用Hue提交Oozie Loader作业 使用Hue提交Oozie Mapreduce作业 使用Hue提交Oozie Sub workflow作业

查看更多 →

Hive应用开发简介 Hive介绍 Hive是一个开源的，建立在Hadoop上的 数据仓库 框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

如果需要在Spark2x客户端用Spark on HBase功能，需要重新下载并安装Spark2x客户端。 在Spark2x客户端使用spark-sql或者spark-beeline连接，可以查询由Hive on HBase所创建的表，支持通过SQL命令创建HBase表或创建外表关联

查看更多 →

因此通过预写日志和可靠的Receiver，Spark Streaming就可以保证没有输入数据会由于Driver的失败而丢失。 SparkSQL和DataSet原理 SparkSQL 图7 SparkSQL和DataSet Spark SQL是Spark中用于结构化数据处理的模块。在Spark应用中，可以无缝的使用SQL语句亦或是DataSet

查看更多 →

创建资源 功能介绍 创建一个新资源，作业节点类型MRS Spark、MRS MapReduce、DLI Spark可以通过资源引用JAR、properties等文件。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。 URI URI格式 POST /v1/{

查看更多 →