数据库类：包括 数据仓库 服务（DWS）、 数据湖探索 服务（ DLI ）、 MapReduce服务 （ MRS ）的Hive、MapReduce服务（MRS）的SparkSQL、云数据库（RDS）MySQL、云数据库（RDS）PostgreSQL、云数据库（RDS）SQL Server、MySQL、PostreSQL、SQL

查看更多 →

作业管理 MRS作业管理为用户提供向集群提交作业的入口，支持包括MapReduce、Spark、HQL和SparkSQL等类型的作业。 结合华为云 数据治理中心 DataArts Studio，提供一站式的大数据协同开发环境、全托管的大数据调度能力，帮助用户快速构建大数据处理中心。 通过 数据治理 中心DataArts

查看更多 →

配置Spark动态脱敏 distinct聚合优化 配置Spark作业失败时清理残留文件 配置Spark加载第三方jar包，用于注册UDF或者扩展SparkSQL 父主题： 使用Spark/Spark2x

查看更多 →

不合理会导致数据重复。主键可以为单一主键也可以为复合主键，两种主键类型均要求主键不能有null值和空值，可以参考以下示例设置主键： SparkSQL： // 通过primaryKey指定主键，如果是复合主键需要用逗号分隔 create table hudi_table ( id1

查看更多 →

spark.sql.hive.convertMetastoreParquet sparksql把parquet表转化为datasource表进行读取。当hudi的provider为hive的情况下，使用sparksql或sparkbeeline进行读取，需要将该参数设置为false。 示例

查看更多 →

读取Hudi cow表视图 实时视图读取（Hive，SparkSQL为例）：直接读取Hive里面存储的Hudi表即可，${table_name}表示表名称。 select count(*) from ${table_name}; 实时视图读取（Spark dataSource A

查看更多 →

Hue”。 在“Hue WebUI”右侧，单击链接，打开Hue的WebUI。 Hue的WebUI支持以下功能： 使用编辑器执行Hive、SparkSql的查询语句以及Notebook代码段。需要MRS集群已安装Hive、Spark2x。 使用计划程序提交Workflow任务、计划任务、Bundle任务。

查看更多 →

Spark-submit提交SparkSQL样例 19:35 Spark-submit提交SparkSQL样例 MapReduce服务 MRS HDFS调用样例 11:11 HDFS调用样例 MapReduce服务 MRS 通过JDBC接口访问SparkSQL样例 17:29 通过JDBC接口访问SparkSQL样例

查看更多 →

Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示，客户端与服务端的配置相同。要使用表权限功能，需要在服务端和客户端添加如下配置。 “spark-defaults.conf”配置文件 表1 参数说明（1） 参数 描述 默认值 spark.sql

查看更多 →

Hue”。 在“Hue WebUI”右侧，单击链接，打开Hue的WebUI。 Hue的WebUI支持以下功能： 使用编辑器执行Hive、SparkSql的查询语句以及Notebook代码段。需要MRS集群已安装Hive、Spark2x。 使用计划程序提交Workflow任务、计划任务、Bundle任务。

查看更多 →

数据库空值扫描 DLI、DWS、HIVE、SparkSQL、CLICKHOUSE、GBASE、ORACLE、RDS、DORIS 计算数据库每个表中每个字段的空值字段行数，结果以字段为维度呈现。 表级 准确性 表行数 DLI、DWS、HIVE、SparkSQL、CLICKHOUSE、GBAS

查看更多 →

当创建了表名为table的表后，执行drop table table上报以下错误。 或者执行其他操作也会出现类似错误。 16/07/12 18:56:29 ERROR SparkSQLDriver: Failed in [drop table table] java.lang.RuntimeException: [1

查看更多 →

Flink流式写Hudi表建议 使用SparkSQL统一建表。 推荐使用Spark异步任务对Hudi表进行Compaction。 表名必须以字母或下划线开头，不能以数字开头。 表名只能包含字母、数字、下划线。 表名长度不能超过128个字符。 表名中不能包含空格和特殊字符，如冒号、分号、斜杠等。

查看更多 →

点号，且长度小于等于128个字符。脚本名称不能重复。 type 是 String 脚本类型，包含： FlinkSQL DLISQL SparkSQL HiveSQL DWSSQL RDSSQL Shell PRESTO ClickHouseSQL HetuEngineSQL PYTHON

查看更多 →

点号，且长度小于等于128个字符。脚本名称不能重复。 type 是 String 脚本类型，包含： FlinkSQL DLISQL SparkSQL HiveSQL DWSSQL RDSSQL Shell PRESTO ClickHouseSQL HetuEngineSQL PYTHON

查看更多 →

且文件中的数据尽可能的压缩来降低存储空间的消耗。矢量化读取ORC格式的数据能够大幅提升ORC数据读取性能。在Spark2.3版本中，SparkSQL支持矢量化读取ORC数据（这个特性在Hive的历史版本中已经得到支持）。矢量化读取ORC格式的数据能够获得比传统读取方式数倍的性能提升。

查看更多 →

且文件中的数据尽可能的压缩来降低存储空间的消耗。矢量化读取ORC格式的数据能够大幅提升ORC数据读取性能。在Spark2.3版本中，SparkSQL支持矢量化读取ORC数据（这个特性在Hive的历史版本中已经得到支持）。矢量化读取ORC格式的数据能够获得比传统读取方式数倍的性能提升。

查看更多 →

新建 CS V文件数据连接 新建 对象存储服务 （OBS）数据连接 新建DWS数据连接 新建DLI数据连接 新建MRS Hive数据连接 新建MRS SparkSQL数据连接 新建ClickHouse数据连接 新建RDS MySQL数据连接 新建RDS PostgreSQL数据连接 新建RDS SQL

查看更多 →

不合理会导致数据重复。主键可以为单一主键也可以为复合主键，两种主键类型均要求主键不能有null值和空值，可以参考以下示例设置主键： SparkSQL： -- 通过primaryKey指定主键，如果是复合主键需要用逗号分隔。 create table hudi_table ( id1

查看更多 →

内存不足时，应用挂起不退出 Spark应用名在使用yarn-cluster模式提交时不生效 如何采用Java命令提交Spark应用 SparkSQL UDF功能的权限控制机制 由于kafka配置的限制，导致Spark Streaming应用运行失败 如何使用IDEA远程调试 使用IBM

查看更多 →

sparksecurity-examples/SparkSQLJavaExample Spark SQL任务的Java/Python/Scala示例程序。 本工程应用程序实现从HDFS上读取文本数据并计算分析。 sparksecurity-examples/SparkSQLPythonExample

查看更多 →