索服务（ DLI ）、 MapReduce服务 （ MRS ）的Hive、MapReduce服务（MRS）的SparkSQL、云数据库（RDS）MySQL、云数据库（RDS）PostgreSQL、云数据库（RDS）SQL Server、MySQL、PostreSQL、SQL Server、Oracle。

查看更多 →

集群。 SparkSQLJavaExample Spark SQL任务的Java/Python/Scala示例程序。 本工程应用程序实现从HDFS上读取文本数据并计算分析。 SparkSQLPythonExample SparkSQLScalaExample SparkStrea

查看更多 →

使用MRS Spark SQL访问DWS表 应用场景 华为云提供MapReduce服务（MRS），可在云上快速构建和运营全栈云原生大数据平台。它包含HDFS、Hive、HBase、Spark等大数据组件，专为分析海量企业数据而量身定制。 Spark提供了类似SQL的Spark S

查看更多 →

执行analyze table语句，因资源不足出现任务卡住 问题 使用spark-sql执行analyze table语句，任务一直卡住，打印的信息如下： spark-sql> analyze table hivetable2 compute statistics; Query ID

查看更多 →

SparkSubmit：提交Spark Jar和Spark Python程序，运行Spark Application计算和处理用户数据。 SparkScript：提交SparkScript脚本，批量执行Spark SQL语句。 Spark SQL：使用Spark提供的类似SQL的Spark

查看更多 →

作业类型码。 约束限制： 不涉及 取值范围： 1：MapReduce 2：Spark 3：Hive Script 4：HiveSQL（当前不支持） 5：DistCp，导入、导出数据。 6：Spark Script 7：Spark SQL，提交SQL语句（该接口当前不支持） 默认取值： 不涉及

查看更多 →

数据仓库 服务（DWS） 数据湖探索 （DLI） MapReduce服务（MRS Hive） MapReduce服务（MRS SparkSQL） MapReduce服务（ClickHouse） 云数据库 MySQL 云数据库 PostgreSQL 云数据库 SQL Server 云数据库 GaussDB

查看更多 →

spark.stop() } } 上面是简单示例，其它sparkSQL特性请参见如下链接：http://archive.apache.org/dist/spark/docs/3.3.1/sql-programming-guide.html#running-sql-que

查看更多 →

from pyspark.sql import SparkSession from pyspark.sql import SQLContext def contains(str1, substr1): if substr1 in str1: return

查看更多 →

throws Exception { SparkSession spark = SparkSession .builder() .appName("CollectFemaleInfo") .config("spark.some.config.option"

查看更多 →

spark.stop() } } 上面是简单示例，其它sparkSQL特性请参见如下链接：http://archive.apache.org/dist/spark/docs/3.3.1/sql-programming-guide.html#running-sql-que

查看更多 →

from pyspark.sql import SparkSession from pyspark.sql import SQLContext def contains(str1, substr1): if substr1 in str1: return

查看更多 →

是 String 节点类型： Hive SQL：执行Hive SQL脚本 Spark SQL：执行Spark SQL脚本 DWS SQL： 执行DWS SQL脚本 DLI SQL： 执行DLI SQL脚本 Shell：执行Shell SQL脚本 CDM Job：执行CDM作业 D

查看更多 →

依赖NM的 remote shuffle Spark任务受影响，Flink任务有概率失败，Hive任务有概率失败 滚动重启10节点耗时约25分钟 Spark2x 直接重启 仅影响Spark thrift任务，SparkSQL、Spark Submit任务不受影响 直接重启耗时约5分钟

查看更多 →

依赖NM的 remote shuffle Spark任务受影响，Flink任务有概率失败，Hive任务有概率失败 滚动重启10节点耗时约25分钟 Spark2x 直接重启 仅影响Spark thrift任务，SparkSQL、Spark Submit任务不受影响 直接重启耗时约5分钟

查看更多 →

om参数添加spark.sql.legacy.correlated.scalar.query.enabled参数值为true，并添加参数spark.sql.legacy.correlated.scalar.query.enabled=true到客户端目录下“Spark2x/spa

查看更多 →

集群内节点使用MRS客户端 更新客户端 开源组件Web站点 开源组件端口列表 修改组件运行用户密码 如何提交作业 运行MapReduce作业 运行Spark作业 运行SparkSql作业 运行HiveSql作业 运行Flink作业 如何监控集群 查看MRS云服务操作日志 查看和定制集群监控指标 导出服务日志

查看更多 →

SparkSQL建表参数规范 规则 建表必须指定primaryKey和preCombineField。 Hudi表提供了数据更新的能力和幂等写入的能力，该能力要求数据记录必须设置主键用来识别重复数据和更新操作。不指定主键会导致表丢失数据更新能力，不指定preCombineField会导致主键重复。

查看更多 →

从零开始使用Spark SQL Spark提供类似SQL的Spark SQL语言操作结构化数据，本章节提供从零开始使用Spark SQL，创建一个名称为src_data的表，然后在src_data表中每行写入一条数据，最后将数据存储在“mrs_20160907”集群中。再使用SQ

查看更多 →

Spark SQL企业级能力增强 配置矢量化读取ORC数据 配置过滤掉分区表中路径不存在的分区 配置Hive表分区动态覆盖 配置Spark SQL开启Adaptive Execution特性 配置SparkSQL的分块个数 父主题： 使用Spark2x（MRS 3.x及之后版本）

查看更多 →

配置SparkSQL业务用户权限 操作场景 SparkSQL业务还可能需要关联使用其他组件，例如spark on HBase需要HBase权限。以下介绍SparkSQL关联HBase服务的操作。 前提条件 完成Spark客户端的安装，例如安装目录为“/opt/client”。 获

查看更多 →