CarbonData数据类型概述

CarbonData中的数据存储在table实体中。CarbonData table与RDBMS中的表类似。RDBMS数据存储在由行和列构成的表中。CarbonData table存储的也是结构化的数据，拥有固定列和数据类型。

CarbonData支持以下数据类型：

下表对所支持的数据类型及其各自的范围进行了详细说明。

表1 CarbonData数据类型
数据类型	范围
Int	4字节有符号整数，从-2,147,483,648到2,147,483,647 说明：非字典列如果是Int类型，会在内部存储为BigInt类型。
String	100000字符说明：如果在CREATE TABLE中使用Char或Varchar数据类型，则这两种数据类型将自动转换为String数据类型。如果存在字符长度超过32000的列，需要在建表时，将该列加入到tblproperties的LONG_STRING_COLUMNS属性里。
BigInt	64-bit，从-9,223,372,036,854,775,808到9,223,372,036,854,775,807
SmallInt	范围-32,768到32,767
Char	范围A到Z&a到z
Varchar	范围A到Z&a到z&0到9
Boolean	范围true或者false
Decimal	默认值是(10,0) ，最大值是(38,38) 说明：当进行带过滤条件的查询时，为了得到准确的结果，需要在数字后面加上BD。例如，select from carbon_table where num = 1234567890123456.22BD*.
Double	64-bit，从4.9E-324到1.7976931348623157E308
TimeStamp	NA，默认格式为“yyyy-MM-dd HH:mm:ss”。
Date	DATE数据类型用于存储日历日期。默认格式为“yyyy-MM-dd”。
Array<data_type>	NA 说明：现仅支持2层复杂类型的嵌套。
Struct<col_name: data_type COMMENT col_comment, ...>
Map<primitive_type, data_type>

表2 CarbonData主要规格
实体	测试值	测试环境
表数	10000	3个节点，每个executor 4个CPU核，20GB。Driver内存5GB，3个Executor。总列数：107 String：75 Int：13 BigInt：7 Timestamp：6 Double：6
表的列数	2000	3个节点，每个executor4个CPU核，20GB。Driver内存5GB，3个Executor。
原始CSV文件大小的最大值	200GB	17个cluster节点，每个executor 150GB，25个CPU核。Driver内存10 GB，17个Executor。
每个文件夹的CSV文件数	100个文件夹，每个文件夹10个文件，每个文件大小50MB。	3个节点，每个executor4个CPU核，20GB。Driver内存5GB，3个Executor。
加载文件夹数	10000	3个节点，每个executor4个CPU核，20GB。Driver内存5GB，3个Executor。

数据加载所需的内存取决于以下因素：

加载包含1000万条记录和300列的8 GB CSV文件的数据，每行大小约为0.8KB的8GB CSV文件的数据，需要约为10GB的executor执行内存，也就是说，“carbon.sort.size” 配置为“100000”，所有其他前面的配置保留默认值。