SparkSQL建表参数规范 规则 建表必须指定primaryKey和preCombineField。 Hudi表提供了数据更新的能力和幂等写入的能力，该能力要求数据记录必须设置主键用来识别重复数据和更新操作。不指定主键会导致表丢失数据更新能力，不指定preCombineField会导致主键重复。

查看更多 →

run(Server.java:2083) ) (state=,code=0) 回答 Spark SQL建表底层调用的是Hive的接口，其建表时会在“/user/hive/warehouse”目录下新建一个以表名命名的目录，因此要求用户具备“/user/hive/warehouse”目录的读写

查看更多 →

run(Server.java:2083) ) (state=,code=0) 回答 Spark SQL建表底层调用的是Hive的接口，其建表时会在“/user/hive/warehouse”目录下新建一个以表名命名的目录，因此要求用户具备“/user/hive/warehouse”目录的读写

查看更多 →

文件。 创建表时的副本数必须至少为2，默认是3，禁止使用单副本。 没有聚合函数列的表不应该被创建为AGGREGATE表。 创建主键表时需保持主键的列唯一，不建议将所有列都设置为主键列，且主键表需设置value列。主键表不建议用于数据去重场景。 Doris建表建议 单表物化视图不能

查看更多 →

WS， CDM 在DWS上自动建表，会将Oracle的NUMBER(3,0)字段映射到DWS的SMALLINT。 图1 自动建表的字段映射 CDM在Hive中自动建表时，Hive表与源表的字段类型映射关系参见表1、表2、表3及表4。例如使用CDM将MySQL整库迁移到Hive，CDM

查看更多 →

WS，CDM在DWS上自动建表，会将Oracle的NUMBER(3,0)字段映射到DWS的SMALLINT。 图1 自动建表的字段映射 CDM在Hive中自动建表时，Hive表与源表的字段类型映射关系参见表1、表2、表3及表4。例如使用CDM将MySQL整库迁移到Hive，CDM

查看更多 →

建表与导入SSB数据 创建SSB目标表 连接DWS数据库后执行以下SQL语句。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

查看更多 →

建表与导入TPC-H数据 创建TPC-H目标表 连接DWS数据库后执行以下命令创建目标表。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

查看更多 →

建表与导入TPC-DS数据 创建TPC-DS目标表 连接DWS数据库后执行以下SQL语句。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

查看更多 →

Hudi目的端的作业自动建表报错：schema不匹配，建表失败怎么办？ 问题描述 cdm迁移数据到hudi，hudi选择自动建表，执行建表语句报schema不匹配错误“org.apache.spark.sql.AnalysisException:Specified schema in

查看更多 →

数据库建连、执行SQL并返回结果 gcc编译libpq源程序，需要通过-I directory选项，提供头文件的安装位置（有些时候编译器会查找缺省的目录，因此可以忽略这些选项）。如： gcc -I (头文件所在目录) -L (libpq库所在目录) -o testlibpq testlibpq

查看更多 →

数据库建连、执行SQL并返回结果 gcc编译libpq源程序，需要通过-I directory选项，提供头文件的安装位置（有些时候编译器会查找缺省的目录，因此可以忽略这些选项）。如： gcc -I (头文件所在目录) -L (libpq库所在目录) -o testlibpq testlibpq

查看更多 →

建表时timestamp字段默认值无效 场景描述 执行建表SQL语句失败，报错：ERROR 1067: Invalid default value for 'session_start' CREATE TABLE cluster_membership ( ... session_start

查看更多 →

建表时timestamp字段默认值无效 场景描述 客户执行一个建表SQL语句失败，详细SQL语句及报错如下： CREATE TABLE cluster_membership ( ... session_start TIMESTAMP DEFAULT '1970-01-01 00:00:01'

查看更多 →

建表时timestamp字段默认值无效 场景描述 客户执行一个建表SQL语句失败，详细SQL语句及报错如下： CREATE TABLE cluster_membership ( ... session_start TIMESTAMP DEFAULT '1970-01-01 00:00:01'

查看更多 →

查询SQL列表 功能介绍 该接口用于查询实时SQL列表。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/dms/queries 表1 路径参数 参数 是否必选 参数类型 描述 project_id

查看更多 →

Spark on Hudi开发规范 SparkSQL建表参数规范 Spark增量读取Hudi参数规范 Spark异步任务执行表compaction参数设置规范 Spark on Hudi表数据维护规范 Spark并发写Hudi建议 Spark读写Hudi资源配置建议 Spark On

查看更多 →

jar方式创建function，执行drop function时出现问题 Spark2x无法访问Spark1.5创建的DataSource表 Spark SQL无法查询到ORC类型的Hive表的新插入数据 父主题： Spark2x常见问题

查看更多 →

jar方式创建function，执行drop function时出现问题 Spark2x无法访问Spark1.5创建的DataSource表 Spark SQL无法查询到ORC类型的Hive表的新插入数据 父主题： Spark常见问题

查看更多 →

Array of objects SQL限流详情。 请参见表3。 表3 sql_limit_objects字段数据结构说明 名称 参数类型 说明 id String SQL限流ID。 query_id String 由SQL的语法解析树计算出的内部哈希码，默认为0，取值范围：-9223372036854775808~

查看更多 →

数据库名称支持正则表达式以读取多个数据库的数据，例如flink(.)*表示以flink开头的数据库名。 table-name 是 无 String 访问的表名。 表名支持正则表达式以读取多个表的数据，例如cdc_order(.)*表示以cdc_order开头的表名。 port 否

查看更多 →