SparkSQL建表参数规范 规则 建表必须指定primaryKey和preCombineField。 Hudi表提供了数据更新的能力和幂等写入的能力，该能力要求数据记录必须设置主键用来识别重复数据和更新操作。不指定主键会导致表丢失数据更新能力，不指定preCombineField会导致主键重复。

查看更多 →

run(Server.java:2083) ) (state=,code=0) 回答 Spark SQL建表底层调用的是Hive的接口，其建表时会在“/user/hive/warehouse”目录下新建一个以表名命名的目录，因此要求用户具备“/user/hive/warehouse”目录的读写

查看更多 →

run(Server.java:2083) ) (state=,code=0) 回答 Spark SQL建表底层调用的是Hive的接口，其建表时会在“/user/hive/warehouse”目录下新建一个以表名命名的目录，因此要求用户具备“/user/hive/warehouse”目录的读写

查看更多 →

文件。 创建表时的副本数必须至少为2，默认是3，禁止使用单副本。 没有聚合函数列的表不应该被创建为AGGREGATE表。 创建主键表时需保持主键的列唯一，不建议将所有列都设置为主键列，且主键表需设置value列。主键表不建议用于数据去重场景。 Doris建表建议 单表物化视图不能

查看更多 →

0)字段映射到DWS的SMALLINT。 图1 自动建表的字段映射 CDM 在Hive中自动建表时，Hive表与源表的字段类型映射关系参见表1、表2、表3及表4。例如使用CDM将MySQL整库迁移到Hive，CDM在Hive上自动建表，会将Oracle的YEAR字段映射到Hive的DATE。

查看更多 →

0)字段映射到DWS的SMALLINT。 图1 自动建表的字段映射 CDM在Hive中自动建表时，Hive表与源表的字段类型映射关系参见表1、表2、表3及表4。例如使用CDM将MySQL整库迁移到Hive，CDM在Hive上自动建表，会将Oracle的YEAR字段映射到Hive的DATE。

查看更多 →

Hudi表自动建表报错：schema不匹配，建表失败怎么办？ 问题描述 cdm迁移数据到hudi，hudi选择自动建表，执行建表语句报schema不匹配错误“org.apache.spark.sql.AnalysisException:Specified schema in create

查看更多 →

建表时timestamp字段默认值无效 场景描述 客户执行一个建表SQL语句失败，详细SQL语句及报错如下： CREATE TABLE cluster_membership ( ... session_start TIMESTAMP DEFAULT '1970-01-01 00:00:01'

查看更多 →

建表时timestamp字段默认值无效 场景描述 执行建表SQL语句失败，报错：ERROR 1067: Invalid default value for 'session_start' CREATE TABLE cluster_membership ( ... session_start

查看更多 →

查询SQL列表 功能介绍 该接口用于查询实时SQL列表。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/dms/queries 表1 路径参数 参数 是否必选 参数类型 描述 project_id

查看更多 →

Spark2x无法访问Spark1.5创建的DataSource表 为什么spark-beeline运行失败报“Failed to create ThriftService instance”的错误 Spark SQL无法查询到ORC类型的Hive表的新插入数据 父主题： Spark常见问题

查看更多 →

SQL和DataFrame Spark SQL在不同DB都可以显示临时表 如何在Spark命令中指定参数值 SparkSQL建表时的目录权限 为什么不同服务之间互相删除UDF失败 Spark SQL无法查询到Parquet类型的Hive表的新插入数据 cache table使用指导

查看更多 →

数据库名称支持正则表达式以读取多个数据库的数据，例如flink(.)*表示以flink开头的数据库名。 table-name 是 无 String 访问的表名。 表名支持正则表达式以读取多个表的数据，例如cdc_order(.)*表示以cdc_order开头的表名。 port 否

查看更多 →

Array of objects SQL限流详情。 请参见表3。 表3 sql_limit_objects字段数据结构说明 名称 参数类型 说明 id String SQL限流ID。 query_id String 由SQL的语法解析树计算出的内部哈希码，默认为0，取值范围：-9223372036854775808~

查看更多 →

数据库名称支持正则表达式以读取多个数据库的数据，例如flink(.)*表示以flink开头的数据库名。 table-name 是 无 String 访问的表名。 表名支持正则表达式以读取多个表的数据，例如cdc_order(.)*表示以cdc_order开头的表名。 port 否

查看更多 →

for MySQL 5.6实例建表时索引使用建议如下： 如果是单字段索引，则字段长度不应超过767字节。 如果是联合索引，则每个字段长度都不应超过767字节，且所有字段长度合计不应超过3072字节。 建表时使用utf8mb4字符集，这是一个4字节字符集。 当索引最大限制是767字节时，

查看更多 →

jar /tmp 在 MRS Spark中创建数据源表，并访问DWS表： 登录Spark客户端节点，执行如下命令： cd 客户端安装目录 source ./bigdata_env kinit sparkuser spark-sql --master yarn 执行如下命令，添加驱动程序jar：

查看更多 →

参数类型 描述 sql_limit_rules Array of SqlLimitRule objects SQL限流规则列表。 total_count Integer SQL限流规则总数。 表5 SqlLimitRule 参数 参数类型 描述 id String SQL限流规则ID。

查看更多 →

响应参数 状态码： 200 表4 响应Body参数 参数 参数类型 描述 top_sql_templates Array of TopSqlTemplate objects SQL模板列表。 total_count Integer SQL模板总数。 表5 TopSqlTemplate 参数

查看更多 →

参数类型 描述 slow_sql_templates Array of SlowSqlTemplate objects 慢日志模板数据列表。 total_count Integer 慢日志模板总数。 表5 SlowSqlTemplate 参数 参数类型 描述 sql_template String

查看更多 →

Array of objects 表信息，详细说明请参见表4。 表4 tables字段数据结构说明 名称 是否必选 参数类型 说明 oldName 是 String 恢复前表名。 newName 是 String 恢复后表名。 请求示例 恢复表数据到指定时间点。 POST htt

查看更多 →