中软国际数据治理专业服务解决方案实践

1”，其原始数据如原始数据所示，都已经存储在OBS桶“mybucket”的“demo.db/product_info_orc/”目录中。 如果数据文件已经在OBS上了，请执行获取源数据的OBS路径并设置读取权限中的步骤。 本小节以导入ORC格式为例，CARBONDATA数据的导入方法与ORC格式相似。

查看更多 →

空间索引介绍 空间数据包括多维点、线、矩形、立方体、多边形和其他几何对象。空间数据对象占据空间的某一区域，称为空间范围，通过其位置和边界描述。空间数据可以是点数据，也可以是区域数据。 点数据：一个点具有一个空间范围，仅通过其位置描述。它不占用空间，没有相关的边界。点数据由二维空间中的点的集合组成。点可以存储为一对经纬度。

查看更多 →

默认配置为300秒。 - 数据临时桶 用户数据先临时存储在OBS桶中，再转储到指定的转储服务，转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中，转储完成后临时目录中的数据会被清除。 配置为空时，数据直接存储在OBS桶内。 - 源数据类型JS

查看更多 →

2'); 需要退出当前session，重新连接后执行查询。该方式已尽可能恢复客户数据，一般现网情况下，如断电场景segment数据文件也会存在不可恢复情况。 场景二：当前批次的Carbondata数据文件和.segment文件完整，可恢复。 使用TableStatusRecove

查看更多 →

设置了HDFS存储目录的磁盘空间配额，CarbonData为什么会发生异常？ 问题 设置了HDFS存储目录的磁盘空间配额，CarbonData为什么会发生异常。 回答 创建、加载、更新表或进行其他操作时，数据会被写入HDFS。如果HDFS目录的磁盘空间配额不足，则操作失败并发生以下异常。

查看更多 →

使用CarbonData（ MRS 3.x之前版本） 从零开始使用CarbonData CarbonData表简介 创建CarbonData表 删除CarbonData表

查看更多 →

如何在CarbonData中配置非安全内存？ 问题 如何在CarbonData中配置非安全内存？ 回答 在Spark配置中，“spark.yarn.executor.memoryOverhead”参数的值应大于CarbonData配置参数“sort.inmemory.size.inmb”

查看更多 →

参数 描述 db_name 数据库名。如果未指定，则选择当前数据库。 indextable_name 索引表名。 maintable_name 主表名。 注意事项 在执行此命令之前，使用REFRESH TABLE将主表和二级所索引表都注册到Hive元数据中。 示例 create database

查看更多 →

设置了HDFS存储目录的磁盘空间配额，CarbonData为什么会发生异常？ 问题 设置了HDFS存储目录的磁盘空间配额，CarbonData为什么会发生异常。 回答 创建、加载、更新表或进行其他操作时，数据会被写入HDFS。若HDFS目录的磁盘空间配额不足，则操作失败并发生以下异常。

查看更多 →

空间索引介绍 空间数据包括多维点、线、矩形、立方体、多边形和其他几何对象。空间数据对象占据空间的某一区域，称为空间范围，通过其位置和边界描述。空间数据可以是点数据，也可以是区域数据。 点数据：一个点具有一个空间范围，仅通过其位置描述。它不占用空间，没有相关的边界。点数据由二维空间中的点的集合组成。点可以存储为一对经纬度。

查看更多 →

如何在CarbonData中配置非安全内存？ 问题 如何在CarbonData中配置非安全内存？ 回答 在Spark配置中，“spark.yarn.executor.memoryOverhead”参数的值应大于CarbonData配置参数“sort.inmemory.size.inmb”

查看更多 →

如何避免对历史数据进行minor compaction？ 问题 如何避免对历史数据进行minor compaction？ 回答 如果要先加载历史数据，后加载增量数据，则以下步骤可避免对历史数据进行minor compaction： 加载所有历史数据。 将major compact

查看更多 →

INDEX参数 参数 描述 index_name 索引表的名称。表名称应由字母数字字符和下划线（_）特殊字符组成。 db_name 数据库的名称。如果未指定，选择当前默认数据库。 table_name 需要删除的表的名称。 注意事项 该命令中IF EXISTS和db_name为可选项。 示例 DROP

查看更多 →

ussDB(DWS)中的数据。 1 SELECT * FROM product_info; 查询结果显示如原始数据中所示的数据，表示导入成功。查询结果的结尾将显示以下信息： 1 (10 rows) 父主题： 从OBS导入ORC、CARBONDATA数据

查看更多 →

如何避免对历史数据进行minor compaction？ 问题 如何避免对历史数据进行minor compaction？ 回答 如果要先加载历史数据，后加载增量数据，则以下步骤可避免对历史数据进行minor compaction： 加载所有历史数据。 将major compact

查看更多 →

MRS 3.1.5 2023年3月28日 更新内容 服务模块 主要变更点 CarbonData 升级到2.2.0版本。 ClickHouse 支持通过 FusionInsight Manager备份恢复元数据及业务数据。 Flink 升级到1.12.2版本。 FlinkServer支持上传、管理UDF。

查看更多 →

]table_name ; 参数描述 表1 CLEAN FILES FOR TABLE参数描述 参数 描述 db_name 数据库名称。数据库名称由字母，数字和下划线组成。 table_name 数据库中的表的名称。表名由字母，数字和下划线组成。 注意事项 无。 示例 添加carbon配置参数 carbon

查看更多 →

COLUMNS参数描述 参数 描述 db_name 数据库名。如果未指定，则选择当前数据库。 table_name 表名。 col_name data_type 带数据类型且用逗号分隔的列的名称。列名称包含字母，数字和下划线（_）。 说明： 创建CarbonData表时，不要将列名命名为tupleI

查看更多 →

参数 描述 db_name 数据库名。若未指定，则选择当前数据库。 indextable_name 索引表名。 maintable_name 主表名。 注意事项 在执行此命令之前，使用REFRESH TABLE将主表和二级所索引表都注册到Hive元数据中。 示例 create database

查看更多 →

RECORDS命令从CarbonData表中删除记录。 命令格式 DELETE FROM CARBON_TABLE [WHERE expression]; 参数描述 表1 DELETE RECORDS参数 参数 描述 CARBON TABLE 在其中执行删除操作的CarbonData表的名称。

查看更多 →

DATA任务分配不正确，打开的task少于可用的Executor？ 回答 在这种场景下，CarbonData会给每个节点分配一个INSERT INTO或LOAD DATA任务。如果Executor不是不同的节点分配的，CarbonData将会启动较少的task。 解决措施： 您可以适当增大Executo

查看更多 →