sparknormal-examples/SparkSQLJavaExample Spark SQL任务的Java/Python/Scala示例程序。 本工程应用程序实现从HDFS上读取文本数据并计算分析。 sparknormal-examples/SparkSQLPythonExample

查看更多 →

。 产品架构 GeminiDB HBase的适配服务内嵌在GeminiDB Cassandra内核服务中，对外提供标准的HBase接口服务。同时还能保持原有的Cassandra CQL协议，客户可以自由根据业务选用合适的数据库连接方式，整体架构如下图所示： 图1 GeminiDB

查看更多 →

新建 CS V文件数据连接 新建 对象存储服务 （OBS）数据连接 新建DWS数据连接 新建 DLI 数据连接 新建 MRS Hive数据连接 新建MRS SparkSQL数据连接 新建ClickHouse数据连接 新建RDS MySQL数据连接 新建RDS PostgreSQL数据连接 新建RDS SQL

查看更多 →

执行SQL语句所关联的数据库，当type参数值为DLISQL、SparkSQL、HiveSQL、DWSSQL、PRESTO、ClickHouseSQL、ImpalaSQL、HetuEngineSQL、RDSSQL其中之一时，才支持此参数。 type为DLI SQL时，可以通过查看所有数据库接口获取数据库信息。

查看更多 →

其他问题 使用无痕浏览器打开产品内嵌的OrgID页面报错

查看更多 →

generic-jdbc-connector 架构名称 数据库模式名。 表名 数据库表名，用于最终保存传输的数据。 临时表 数据库临时表的表名，用于临时保存传输过程中的数据，字段需要和“表名”配置的表一致。 oracle-partition-connector 架构名称 数据库模式名。 表名 数据库表名，用于最终保存传输的数据。

查看更多 →

DB特性，用户可以通过SDK/CLI访问数据库服务。在协议层面完全支持AWS DynamoDB，用户可以在不改造业务代码的情况下，平滑的迁移至GeminiDB Cassandra。 产品架构 GeminiDB DynamoDB的适配服务内嵌在GeminiDB Cassandra内

查看更多 →

数据湖探索（DLI） MapReduce服务（MRS Hive） MapReduce服务（MRS SparkSQL） 云数据库 MySQL 云数据库 PostgreSQL 云数据库 SQL Server 分布式数据库中间件（DDM） 本地CSV文件 本地自建的MySQL、PostgreSQL、Oracle、SQL

查看更多 →

Spark2x版本相对于Spark 1.5版本新增了一些开源特性。 具体特性或相关概念如下： DataSet，详见SparkSQL和DataSet原理。 Spark SQL Native DDL/DML，详见SparkSQL和DataSet原理。 SparkSession，详见SparkSession原理。 Structured

查看更多 →

登录OBS控制台。 单击“并行文件系统 > 创建并行文件系统”，创建一个名称为sparksql的文件系统。 sparksql仅为示例，文件系统名称必须全局唯一，否则会创建并行文件系统失败。 单击sparksql文件系统名称，并选择“文件”。 单击“新建文件夹”，创建input文件夹。

查看更多 →

SparkSQL访问Hive分区表启动Job前耗时较长如何处理？ 问题背景 使用SparkSql访问Hive的一个数据存放于OBS的一个分区表，但是运行速度却很慢，并且会大量调用OBS的查询接口。 SQL样例： select a,b,c from test where b=xxx

查看更多 →

同步Hive后hive表中多出两张表分别为${table_name}_rt和${table_name}_ro。 实时视图读取（Hive，SparkSQL为例）：直接读取Hive里面存储的后缀为_rt的hudi表即可。 select count(*) from ${table_name}_rt;

查看更多 →

同步Hive后hive表中多出两张表分别为${table_name}_rt,和${table_name}_ro。 实时视图读取（Hive，SparkSQL为例）：直接读取Hive里面存储的后缀为_rt的hudi表即可。 select count(*) from ${table_name}_rt;

查看更多 →

generic-jdbc-connector 架构名称 数据库模式名。 表名 数据库表名，用于最终保存传输的数据。 临时表 数据库临时表的表名，用于临时保存传输过程中的数据，字段需要和“表名”配置的表一致。 oracle-partition-connector 架构名称 数据库模式名。 表名 数据库表名，用于最终保存传输的数据。

查看更多 →

在此处选择到已配置的队列。当有多处同时配置了资源队列时，此处配置的资源队列为最高优先级。 数据库 是 默认选择SQL脚本中设置的数据库，支持修改。 MRS API连接方式下不支持选择数据库。 脚本参数 否 关联的SQL脚本如果使用了参数，此处显示参数名称，请在参数名称后的输入框配置参数值。参数值支持使用EL表达式。

查看更多 →

要求页面要能以POST方式访问，可以通过接口调用工具进行测试，输入URL地址，访问方式选择POST。 要求页面能处理提交的表单内容，并将处理渲染到页面。 对于内嵌页面，要求被集成方允许以iframe的方式集成，具体原因可参见嵌入云客服系统的页面无法打开。 向运营管理员提出申请，将https://www

查看更多 →

架构名称 数据库模式名。 表名 数据库表名。 查询条件 指定表的查询条件。 分区列名 指定数据库表的一列，根据该列来划分要导入的数据，在map任务中用于分区。建议配置主键字段。 说明： 分区列必须有索引，如果没有索引，请不要指定分区列，指定没有索引的分区列会导致数据库 服务器 磁盘I

查看更多 →

数据库 MySQL Redis DB2 Gauss 200 Oracle PostgreSQL Sql Server 父主题： 连接器

查看更多 →

数据库 云数据库 RDS 文档数据库服务 DDS 云数据库 GaussDB 数据复制服务 DRS 云数据库 GaussDB(for MySQL) 父主题： SCP授权参考

查看更多 →

MetaStore动态分区数超出阈值导致SQL报错 现象描述 执行SparkSQL或HiveSQL命令时，系统报错如下： Number of dynamic partitions created is 2001, which is more than 2000. To slove

查看更多 →

SQL样例程序（Python） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见SparkSQLPythonExample： # -*- coding:utf-8 -*- import sys from pyspark.sql

查看更多 →