过界面图形化的方式轻松使用Hadoop组件。目前Hue支持HDFS、Hive、HBase、Yarn、MapReduce、Oozie和SparkSQL等组件的可视化操作。 前提条件 已安装Hue组件。 操作步骤 访问Hue WebUI，请参考访问Hue WebUI界面。 在左侧导航栏单击编辑器，然后选择“Hive”。

查看更多 →

。 若集群为 MRS 1.8.7版本或MRS 2.0.1之后版本，需要配置此参数。 MRS SparkSQL作业的运行程序参数，请参见《MapReduce用户指南》中的“运行SparkSql作业 > 表2 运行程序参数”。 节点名称 是 默认显示为SQL脚本的名称，支持修改。 节点

查看更多 →

streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 SparkSQL UDF功能的权限控制机制 由于Kafka配置的限制，导致Spark Streaming应用运行失败 执行Spark Core应用，

查看更多 →

lazyInit to true if you expect to start your database after your app). SparkSQL任务使用时，需要访问DBService以获取元数据信息，在客户端需要解密密文来访问，在使用过程中，用户没有按照流程操作，没有执行配置

查看更多 →

120").collect().foreach(println) spark.stop() } } 上面是简单示例，其它sparkSQL特性请参见如下链接：http://archive.apache.org/dist/spark/docs/3.3.1/sql-programming-guide

查看更多 →

120").collect().foreach(println) spark.stop() } } 上面是简单示例，其它sparkSQL特性请参见如下链接：http://archive.apache.org/dist/spark/docs/3.3.1/sql-programming-guide

查看更多 →

Spark动态分区插入场景内存优化 操作场景 SparkSQL在往动态分区表中插入数据时，分区数越多，单个Task生成的HDFS文件越多，则元数据占用的内存也越多。这就导致程序GC（Gabage Collection）严重，甚至发生OOM（Out of Memory）。 经测试证

查看更多 →

DLV 支持以下几种数据库： 数据仓库 服务（DWS） 数据湖探索 （ DLI ） MapReduce服务 （MRS Hive） MapReduce服务（MRS SparkSQL） MapReduce服务（ClickHouse） 云数据库 MySQL 云数据库 PostgreSQL 云数据库 SQL Server

查看更多 →

streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 SparkSQL UDF功能的权限控制机制 由于Kafka配置的限制，导致Spark Streaming应用运行失败 执行Spark Core应用，

查看更多 →

2021-08-14 解决的问题 MRS 3.0.5.1 修复问题列表： MRS Manager 解决SQL语句过长导致作业管理界面提交SparkSQL作业失败的问题 解决带有注释的SQL语句作业执行失败问题 大数据组件 解决ClickHouse集群IAM用户同步失败问题 解决集群内

查看更多 →

120").collect().foreach(println) spark.stop() } } 上面是简单示例，其它sparkSQL特性请参见如下链接：http://archive.apache.org/dist/spark/docs/3.3.1/sql-programming-guide

查看更多 →

120").collect() c.foreach(println) sc.stop() } } 上面是简单示例，其它sparkSQL特性请参见如下链接：http://spark.apache.org/docs/latest/sql-programming-guide

查看更多 →

120").collect().foreach(println) spark.stop() } } 上面是简单示例，其它sparkSQL特性请参见如下链接：http://archive.apache.org/dist/spark/docs/3.3.1/sql-programming-guide

查看更多 →

动态分区插入场景内存优化 操作场景 SparkSQL在往动态分区表中插入数据时，分区数越多，单个Task生成的HDFS文件越多，则元数据占用的内存也越多。这就导致程序GC（Gabage Collection）严重，甚至发生OOM（Out of Memory）。 经测试证明：102

查看更多 →

System.out.println(result); jsc.stop(); 上面是简单示例，其它sparkSQL特性请参见如下链接：http://spark.apache.org/docs/latest/sql-programming-guide

查看更多 →

'info:valid','1' 上述数据的modify_time列可设置为样例程序启动后30分钟到60分钟内的时间值，即第二次同步周期。 在sparksql中创建HBase的hive外表，命令如下： create table external_hbase_table(key string

查看更多 →

System.out.println(result); spark.stop(); } 上面是简单示例，其它SparkSQL特性请参见如下链接：http://archive.apache.org/dist/spark/docs/3.3.1/sql-programming-guide

查看更多 →

Spark SQL ROLLUP和CUBE使用的注意事项 Spark SQL在不同DB都可以显示临时表 如何在Spark命令中指定参数值 SparkSQL建表时的目录权限 为什么不同服务之间互相删除UDF失败 Spark SQL无法查询到Parquet类型的Hive表的新插入数据 cache

查看更多 →

0及之后版本。 配置场景 Spark Native引擎是通过使用向量化的C++加速库，实现对Spark算子性能加速的一种技术方案。传统的SparkSQL是基于行式数据，通过JVM的codegen来实现查询加速的，由于JVM对生成的java代码存在各种约束，比如方法长度，参数个数等，以

查看更多 →

pyspark.sql.SQLContext：是SparkSQL功能的主入口。可用于创建DataFrame，注册DataFrame为一张表，表上执行SQL等。 pyspark.sql.DataFrame：分布式数据集。DataFrame等效于SparkSQL中的关系表，可被SQLContext中的方法创建。

查看更多 →

System.out.println(result); spark.stop(); } 上面是简单示例，其它sparkSQL特性请参见如下链接：http://archive.apache.org/dist/spark/docs/3.3.1/sql-programming-guide

查看更多 →