from pyspark.sql import SparkSession from pyspark.sql import SQLContext def contains(str1, substr1): if substr1 in str1: return

查看更多 →

partitions = XXX;命令调大“hive.exec.max.dynamic.partitions”参数值。 SparkSQL中需要设置“spark.hadoop.hive.exec.max.dynamic.partitions”参数。 父主题： 使用Hive

查看更多 →

er来访问SparkSQL的数据。JD BCS erver在启动的时候，会启动一个sparkSQL的应用程序，而通过JDBC连接进来的客户端共同分享这个sparkSQL应用程序的资源，也就是说不同的用户之间可以共享数据。JDB CS erver启动时还会开启一个侦听器，等待JDBC客户端

查看更多 →

educe Jar程序。 Spark：基于内存进行计算的分布式计算框架， MRS 支持提交SparkSubmit、Spark Script和Spark SQL作业。 SparkSubmit：提交Spark Jar和Spark Python程序，运行Spark Application计算和处理用户数据。

查看更多 →

er来访问SparkSQL的数据。JDBCServer在启动的时候，会启动一个sparkSQL的应用程序，而通过JDBC连接进来的客户端共同分享这个sparkSQL应用程序的资源，也就是说不同的用户之间可以共享数据。JDBCServer启动时还会开启一个侦听器，等待JDBC客户端

查看更多 →

r包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在 服务器 的任意目录（例如“ /opt/female/” ）下。 运行任务 进入Spark客户端目录，调用bin/spark-submit脚本运行代码，运行命令分别如下（类

查看更多 →

Spark SQL企业级能力增强 配置矢量化读取ORC数据 配置过滤掉分区表中路径不存在的分区 配置Hive表分区动态覆盖 配置Spark SQL开启Adaptive Execution特性 配置SparkSQL的分块个数 父主题： 使用Spark2x（MRS 3.x及之后版本）

查看更多 →

er来访问SparkSQL的数据。JDBCServer在启动的时候，会启动一个sparkSQL的应用程序，而通过JDBC连接进来的客户端共同分享这个sparkSQL应用程序的资源，也就是说不同的用户之间可以共享数据。JDBCServer启动时还会开启一个侦听器，等待JDBC客户端

查看更多 →

Spark SQL性能调优 Spark SQL join优化 优化数据倾斜场景下的Spark SQL性能 优化小文件场景下的Spark SQL性能 Spark INSERT SELECT语句调优 配置多并发客户端连接JDBCServer 配置SparkSQL的分块个数 Spark动态分区插入场景内存优化

查看更多 →

riftServer来访问SparkSQL的数据。ThriftServer在启动的时候，会启动一个SparkSQL的应用程序，而通过JDBC连接进来的客户端共同分享这个sparkSQL应用程序的资源，也就是说不同的用户之间可以共享数据。ThriftServer启动时还会开启一个侦

查看更多 →

成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt/female/” ）下。 运行任务 进入Spark客户端目录，调用bin/spark-submit脚本运行代码，运行命令分别如下（类

查看更多 →

脚本类型，包含： FlinkSQL DLI SQL SparkSQL HiveSQL DWSSQL RDSSQL Shell PRESTO ClickHouseSQL HetuEngineSQL PYTHON ImpalaSQL SparkPython content 是 String

查看更多 →

proxyuser.spark.hosts 允许Spark用户伪装成来自哪些host的用户，需设为“*”，代表所有节点。 - hadoop.proxyuser.spark.groups 允许Spark用户伪装成哪些用户组的用户，需设为“*”，代表所有用户组。 - 父主题： Spark用户权限管理

查看更多 →

指定是否开启bulk insert写入。 spark.sql.hive.convertMetastoreParquet sparksql把parquet表转化为datasource表进行读取。当hudi的provider为hive的情况下，使用sparksql或sparkbeeline进行读取，需要将该参数设置为false。

查看更多 →

er来访问SparkSQL的数据。JDBCServer在启动的时候，会启动一个sparkSQL的应用程序，而通过JDBC连接进来的客户端共同分享这个sparkSQL应用程序的资源，也就是说不同的用户之间可以共享数据。JDBCServer启动时还会开启一个侦听器，等待JDBC客户端

查看更多 →

"connectionName":"mrs_spark", "content":"SELECT 1;", "database":"aaa", "description":"", "directory":"/", "name":"mrs_spark_sql", "type":"SparkSQL" } 失败响应

查看更多 →

运行MRS作业 运行MapReduce作业 运行SparkSubmit作业 运行HiveSql作业 运行SparkSql作业 运行Flink作业 运行HadoopStream作业 父主题： 提交MRS作业

查看更多 →

proxyuser.spark.hosts 允许Spark用户伪装成来自哪些host的用户，需设为“*”，代表所有节点。 - hadoop.proxyuser.spark.groups 允许Spark用户伪装成哪些用户组的用户，需设为“*”，代表所有用户组。 - 父主题： Spark用户权限管理

查看更多 →

本工程应用程序实现从HDFS上读取文本数据并计算分析。 SparkRExample示例不支持未开启Kerberos认证的集群。 sparksecurity-examples/SparkPythonExample sparksecurity-examples/SparkRExample sparksecurity-e

查看更多 →

MapReduce服务 MRS 使用java命令提交spark任务样例 21:22 使用java命令提交spark任务样例 MapReduce服务 MRS Spark读写HBase样例 21:23 Spark读写HBase样例 MapReduce服务 MRS Spark读取Hive写入HBase样例 23:41

查看更多 →

cow表视图 实时视图读取（Hive，SparkSQL为例）：直接读取Hive里面存储的Hudi表即可，${table_name}表示表名称。 select count(*) from ${table_name}; 实时视图读取（Spark dataSource API为例）：和读普通的dataSource表类似。

查看更多 →