中软国际数据治理专业服务解决方案实践

从OBS导入ORC、CARBONDATA数据 OBS上的数据准备 创建外部 服务器 创建外表 通过外表查询OBS上的数据 清除资源 支持的数据类型 父主题： 从OBS并行导入数据

查看更多 →

加载CarbonData表数据 操作场景 CarbonData table创建成功后，可使用LOAD DATA命令在表中加载数据，并可供查询。 触发数据加载后，数据以CarbonData格式进行编码，并将多维列式存储格式文件压缩后复制到存储CarbonData文件的HDFS路径下供快速分析查询使用。

查看更多 →

加载CarbonData表数据 操作场景 CarbonData table创建成功后，可使用LOAD DATA命令在表中加载数据，并可供查询。 触发数据加载后，数据以CarbonData格式进行编码，并将多维列式存储格式文件压缩后复制到存储CarbonData文件的HDFS路径下供快速分析查询使用。

查看更多 →

Table中的数据被分成一些CarbonData数据文件，每一次数据查询时，CarbonData Engine模块负责执行数据集的读取、过滤等实际任务。CarbonData Engine作为Spark Executor进程的一部分运行，负责处理数据文件块的一个子集。 Table数据集数据存储在

查看更多 →

CarbonData数据类型概述 简介 CarbonData中的数据存储在table实体中。CarbonData table与RDBMS中的表类似。RDBMS数据存储在由行和列构成的表中。CarbonData table存储的也是结构化的数据，拥有固定列和数据类型。 支持数据类型

查看更多 →

CarbonData数据分析 新建CarbonData Table 删除CarbonData Table 修改CarbonData Table 加载CarbonData表数据 删除CarbonData表Segments 合并CarbonData表Segments 父主题： 使用CarbonData（ MRS

查看更多 →

CarbonData数据类型概述 简介 CarbonData中的数据存储在table实体中。CarbonData table与RDBMS中的表类似。RDBMS数据存储在由行和列构成的表中。CarbonData table存储的也是结构化的数据，拥有固定列和数据类型。 支持数据类型

查看更多 →

如何在CarbonData数据加载时修改默认的组名？ 问题 如何在CarbonData数据加载时修改默认的组名？ 回答 CarbonData数据加载时，默认的组名为“ficommon”。可以根据需要修改默认的组名。 编辑“carbon.properties”文件。 根据需要修改关键字“carbon

查看更多 →

如何在CarbonData数据加载时修改默认的组名？ 问题 如何在CarbonData数据加载时修改默认的组名？ 回答 CarbonData数据加载时，默认的组名为“ficommon”。可以根据需要修改默认的组名。 编辑“carbon.properties”文件。 根据需要修改关键字“carbon

查看更多 →

CarbonData数据分析 新建CarbonData表 删除CarbonData表 修改CarbonData表 加载CarbonData表数据 删除CarbonData表Segments 合并CarbonData表Segments 父主题： 使用CarbonData

查看更多 →

CarbonData常见问题 为什么对decimal数据类型进行带过滤条件的查询时会出现异常输出？ 如何避免对历史数据进行minor compaction？ 如何在CarbonData数据加载时修改默认的组名？ 为什么INSERT INTO CARBON TABLE失败？ 为什么含转义字符的输入数据记录到Bad

查看更多 →

CarbonData常见问题 为什么对decimal数据类型进行带过滤条件的查询时会出现异常输出？ 如何避免对历史数据进行minor compaction？ 如何在CarbonData数据加载时修改默认的组名？ 为什么INSERT INTO CARBON TABLE失败？ 为什么含转义字符的输入数据记录到Bad

查看更多 →

使用CarbonData CarbonData数据类型概述 CarbonData表用户权限说明 使用Spark客户端创建CarbonData表 CarbonData数据分析 CarbonData性能调优 CarbonData常见配置参数 CarbonData语法参考 CarbonData常见问题

查看更多 →

behind.writes true 压缩调优 CarbonData结合少数轻量级压缩算法和重量级压缩算法来压缩数据。虽然这些算法可处理任何类型的数据，但如果数据经过排序，相似值在一起出现时，就会获得更好的压缩率。 CarbonData数据加载过程中，数据基于Table中的列顺序进行排序，从

查看更多 →

新建CarbonData表 操作场景 使用CarbonData前需先创建表，才可在其中加载数据和查询数据。可通过Create Table命令来创建表。该命令支持使用自定义列创建表。 使用自定义列创建表 可通过指定各列及其数据类型来创建表。 命令示例： CREATE TABLE IF

查看更多 →

INDEX CLEAN FILES SET/RESET CarbonData表操作并发语法说明 CarbonData Segment API语法说明 CarbonData表空间索引语法说明 父主题： 使用CarbonData

查看更多 →

删除CarbonData表 操作场景 可使用DROP TABLE命令删除表。删除表后，所有metadata以及表中已加载的数据都会被删除。 操作步骤 运行如下命令删除表。 命令： DROP TABLE [IF EXISTS] [db_name.]table_name; 一旦执行该

查看更多 →

CarbonData故障排除 当在Filter中使用Big Double类型数值时，过滤结果与Hive不一致 executor内存不足导致查询性能下降 为什么数据查询/加载失败，且发生“org.apache.carbondata.core.memory.MemoryException:

查看更多 →

删除CarbonData Table 操作场景 可使用DROP TABLE命令删除表。删除表后，所有metadata以及表中已加载的数据都会被删除。 操作步骤 运行如下命令删除表。 命令： DROP TABLE [IF EXISTS] [db_name.]table_name;

查看更多 →

CarbonData语法参考 DDL DML CarbonData表操作并发语法说明 CarbonData Segment API语法说明 CarbonData表空间索引语法说明 父主题： 使用CarbonData（MRS 3.x及之后版本）

查看更多 →

Spark同步HBase数据到CarbonData（Java） 以下为Spark同步HBase数据到CarbonData的Java示例。 下面代码片段仅为演示。 具体代码参见：com.huawei.spark.examples.HBaseExternalHivetoCarbon。

查看更多 →