通过 DLI 直接对OBS数据进行贸易统计分析。 前提条件 DLI创建OBS外表，对OBS表数据存储格式有所要求： 使用DataSource语法创建OBS表时，支持orc，parquet，json，csv，carbon，avro类型。 使用Hive语法创建OBS表时，支持TEXTFILE, AVRO, ORC,

查看更多 →

DELETE RECORDS from CARBON TABLE 命令功能 DELETE RECORDS命令从CarbonData表中删除记录。 命令格式 DELETE FROM CARBON_TABLE [WHERE expression]; 参数描述 表1 DELETE RECORDS参数

查看更多 →

memory.MemoryException: Not enough memory”异常？ 开启防误删下，为什么Carbon表没有执行drop table命令，回收站中也会存在该表的文件？ 父主题： 使用CarbonData（ MRS 3.x及之后版本）

查看更多 →

查询Hudi表对应的Hive外部表 使用Hive对Hudi表进行增量查询前，需要设置表1的3个参数，这3个参数是表级别的参数，每个Hudi源表都对应3个参数，其中hudisourcetablename表示Hudi源表的表名（注意不是Hive外部表的表名），需根据实际情况进行修改。 表1 参数说明 参数名

查看更多 →

Spark SQL建表底层调用的是Hive的接口，其建表时会在“/user/hive/warehouse”目录下新建一个以表名命名的目录，因此要求用户具备“/user/hive/warehouse”目录的读写、执行权限或具有Hive的group权限。 “/user/hive/warehouse”目录可通过hive

查看更多 →

Spark SQL建表底层调用的是Hive的接口，其建表时会在“/user/hive/warehouse”目录下新建一个以表名命名的目录，因此要求用户具备“/user/hive/warehouse”目录的读写、执行权限或具有Hive的group权限。 “/user/hive/warehouse”目录可通过hive

查看更多 →

Submit作业操作HBase表, HBase表权限控制未生效 MRS manager补丁机制优化 MRS 大数据组件 Spark执行load data inpath慢 Spark建表支持列名带$字符 OBS相关问题修复 MRS 2.1.0.1 修复问题列表： MRS Manager

查看更多 →

Hive 创建hive catalog 通过连接Hive Metastore，或者兼容Hive Metastore的元数据服务，Doris可以自动获取Hive的库表信息，并进行数据查询。 除了Hive外，很多其他系统也会使用Hive Metastore存储元数据。所以通过Hive

查看更多 →

TABLE命令会失败： 当源表和目标表的列数据类型不同时，源表中的数据将被视为Bad Records，则INSERT INTO命令会失败。 源列上的aggregartion函数的结果超过目标列的最大范围，则INSERT INTO命令会失败。 解决方法： 在进行插入操作时，可在对应的列上使用cast函数。

查看更多 →

隔一段时间批量同步到CarbonData表中，用于分析型查询业务。 数据规划 创建HBase表，构造数据，列需要包含key，modify_time，valid。其中每条数据key值全表唯一，modify_time代表修改时间，valid代表是否为有效数据（该样例中'1'为有效，'0'为无效数据）。

查看更多 →

Load数据到Hive表失败 问题背景与现象 用户在建表成功后，通过Load命令往此表导入数据，但导入操作中遇到如下问题： ....... > LOAD DATA INPATH '/user/tester1/hive-data/data.txt' INTO TABLE employees_info;

查看更多 →

配置Hive表分区动态覆盖 配置场景 在旧版本中，使用insert overwrite语法覆写分区表时，只支持对指定的分区表达式进行匹配，未指定表达式的分区将被全部删除。在spark2.3版本中，增加了对未指定表达式的分区动态匹配的支持，此种语法与Hive的动态分区匹配语法行为一致。

查看更多 →

为什么创建Hive表失败？ 问题 为什么创建Hive表失败？ 回答 当源表或子查询具有大数据量的Partition时，创建Hive表失败。执行查询需要很多的task，此时输出的文件数就会很多，从而导致driver OOM。 可以在创建Hive表的语句中增加distribute b

查看更多 →

导出分区时，导出的表必须为分区表，且不支持导出同一个分区字段的多个分区值的数据；导入到表中分区时导入的表必须是分区表。 导入数据时需注意： 使用import from '/tmp/export';命令导入表是没有指定表名的场景，该场景导入的数据会保存到与源表名相同的表路径下，需注意以下两点：

查看更多 →

保留原有数据，将新数据追加到表中 LOAD DATA INPATH '/user/hive_examples_data/employee_info.txt' INTO TABLE employees_info; 加载数据的实质是将数据复制到HDFS上指定表的目录下。 样例数据 表employees_info的数据如下：

查看更多 →

设置表文件分布的locator信息，当使用insert语句向该表中插入数据时会将该表的数据文件存放在相同的存储节点上（不支持其他数据导入方式），从而使后续的多表关联的数据计算更加方便和高效。支持HDFS的Colocation功能的Hive表格式只有TextFile和RCFile。

查看更多 →

Submit作业操作HBase表, HBase表权限控制未生效 MRS manager补丁机制优化 MRS 大数据组件 Spark执行load data inpath慢 Spark建表支持列名带$字符 OBS相关问题修复 MRS 2.1.0.1 修复问题列表： MRS Manager

查看更多 →

Hive Hive基本原理 Hive CBO原理介绍 Hive与其他组件的关系 Hive开源增强特性 父主题： 组件介绍

查看更多 →

Hive 创建Hive Catalog Hive方言 Hive源表 Hive结果表 Hive维表 使用Temporal join关联维表的最新分区 使用Temporal join关联维表的最新版本 父主题： Connector列表

查看更多 →

sonFile，Parquet，Squence， CS V。 本特性仅适用于MRS 3.1.2及之后版本。 ZSTD压缩格式的建表方式如下： ORC存储格式建表时可指定TBLPROPERTIES("orc.compress"="zstd")： create table tab_1(.

查看更多 →

如果加载数据语句中有关键字LOCAL，表明从本地加载数据，除要求对相应表的UPDATE权限外，还要求该数据在当前连接的HiveServer节点上，加载用户对数据路径“PATH”具有读权限，且以omm用户能够访问该数据文件。 如果加载数据语句中有关键字OVERWRITE，表示加载的数据会覆盖表中原有的数据，否则加载的数据会追加到表中。

查看更多 →