CarbonData常见配置参数

carbon.ddl.base.hdfs.url

hdfs://hacluster/opt/data

此属性用于从HDFS基本路径配置HDFS相对路径，在“fs.defaultFS”中进行配置。在“carbon.ddl.base.hdfs.url”中配置的路径将被追加到在“fs.defaultFS”中配置的HDFS路径中。如果配置了这个路径，则用户不需要通过完整路径加载数据。

例如：如果CSV文件的绝对路径是“hdfs://10.18.101.155:54310/data/cnbc/2016/xyz.csv”，其中，路径“hdfs://10.18.101.155:54310”来源于属性“fs.defaultFS”并且用户可以把“/data/cnbc/”作为“carbon.ddl.base.hdfs.url”配置。

当前，在数据加载时，用户可以指定CSV文件为“/2016/xyz.csv”。

carbon.badRecords.location

-

指定Bad records的存储路径。此路径为HDFS路径。默认值为Null。如果启用了bad records日志记录或者bad records操作重定向，则该路径必须由用户进行配置。

carbon.bad.records.action

fail

以下是bad records的四种行为类型：

FORCE：通过将bad records存储为NULL来自动更正数据。

REDIRECT：Bad records被写入carbon.badRecords.location配置路径下的CSV文件而不是被加载。

IGNORE：Bad records既不被加载也不被写入CSV文件。

FAIL：如果找到任何bad records，则数据加载失败。

carbon.update.sync.folder

/tmp/carbondata

modifiedTime.mdt文件路径，可以设置为已有路径或新路径。

carbon.enable.badrecord.action.redirect

false

是否在数据加载中开启redirect方式来处理bad records。启用该配置后，源文件中的bad records会被记录在指定存储位置生成的CSV文件中。在Windows操作系统中打开此类CSV文件时，可能会发生CSV注入。

数据加载配置

carbon.sort.file.write.buffer.size

16384

为了限制内存的使用，CarbonData会将数据排序并写入临时文件中。该参数控制读取和写入临时文件过程使用的缓存大小。单位：字节。

取值范围为：10240~10485760。

carbon.graph.rowset.size

100000

数据加载图步骤之间交换的行集大小。

最小值=500，最大值=1000000

carbon.number.of.cores.while.loading

6

数据加载时所使用的核数。配置的核数越大压缩性能越好。如果CPU资源充足可以增加此值。

carbon.sort.size

500000

内存排序的数据大小。

carbon.enableXXHash

true

用于hashkey计算的hashmap算法。

carbon.number.of.cores.block.sort

7

数据加载时块排序所使用的核数。

carbon.max.driver.lru.cache.size

-1

在driver端加载数据所达到的最大LRU缓存大小。以MB为单位，默认值为-1，表示缓存没有内存限制。只允许使用大于0的整数值。

carbon.max.executor.lru.cache.size

-1

在executor端加载数据所达到的最大LRU缓存大小。以MB为单位，默认值为-1，表示缓存没有内存限制。只允许使用大于0的整数值。如果未配置该参数，则将考虑参数“carbon.max.driver.lru.cache.size”的值。

carbon.merge.sort.prefetch

true

在数据加载过程中，从排序的临时文件中读取数据进行合并排序时，启用数据预取。

carbon.update.persist.enable

true

启用此参数将考虑持久化数据，减少UPDATE操作的执行时间。

enable.unsafe.sort

true

指定在数据加载期间是否使用非安全排序。非安全的排序减少了数据加载操作期间的垃圾回收（GC），从而提高了性能。默认值为“true”，表示启用非安全排序功能。

enable.offheap.sort

true

在数据加载期间启用堆排序。

offheap.sort.chunk.size.inmb

64

指定需要用于排序的数据块的大小。最小值为1MB，最大值为1024MB。

carbon.unsafe.working.memory.in.mb

512

指定非安全工作内存的大小。这将用于排序数据，存储列页面等。单位是MB。

数据加载所需内存：

(“carbon.number.of.cores.while.loading”的值[默认值 = 6]) x 并行加载数据的表格 x (“offheap.sort.chunk.size.inmb”的值[默认值 = 64 MB] + “carbon.blockletgroup.size.in.mb”的值[默认值 = 64 MB] + 当前的压缩率[64 MB/3.5])

= ~900 MB 每表格

数据查询所需内存：

(SPARK_EXECUTOR_INSTANCES. [默认值 = 2]) x ( carbon.blockletgroup.size.in.mb [默认值 = 64 MB] +“carbon.blockletgroup.size.in.mb”解压内容[默认值 = 64 MB * 3.5]) x (每个执行器核数[默认值 = 1])

= ~ 600 MB

carbon.sort.inmemory.storage.size.in.mb

512

指定要存储在内存中的中间排序数据的大小。达到该指定的值，系统会将数据写入磁盘。单位是MB。

sort.inmemory.size.inmb

1024

指定要保存在内存中的中间排序数据的大小。达到该指定值后，系统会将数据写入磁盘。单位：MB。

如果配置了“carbon.unsafe.working.memory.in.mb”和“carbon.sort.inmemory.storage.size.in.mb”，则不需要配置该参数。如果此时也配置了该参数，那么这个内存的20％将用于工作内存“carbon.unsafe.working.memory.in.mb”，80％将用于排序存储内存“carbon.sort.inmemory.storage.size.in.mb”。

carbon.blockletgroup.size.in.mb

64

数据作为blocklet group被系统读入。该参数指定blocklet group的大小。较高的值会有更好的顺序IO访问性能。

最小值为16MB，任何小于16MB的值都将重置为默认值（64MB）。

单位：MB。

enable.inmemory.merge.sort

false

指定是否启用内存合并排序（inmemorymerge sort）。

use.offheap.in.query.processing

true

指定是否在查询处理中启用offheap。

carbon.load.sort.scope

local_sort

指定加载操作的排序范围。支持两种类型的排序，batch_sort和local_sort。选择batch_sort将提升加载性能，但会降低查询性能。

carbon.batch.sort.size.inmb

-

指定在数据加载期间为批处理排序而考虑的数据大小。推荐值为小于总排序数据的45％。该值以MB为单位。

enable.unsafe.columnpage

true

指定在数据加载或查询期间，是否将页面数据保留在堆内存中，以避免垃圾回收受阻。

carbon.use.local.dir

false

是否使用YARN本地目录加载多个磁盘的数据。设置为true，则使用YARN本地目录加载多个磁盘的数据，以提高数据加载性能。

carbon.use.multiple.temp.dir

false

是否使用多个临时目录存储临时文件以提高数据加载性能。

carbon.load.datamaps.parallel.db_name.table_name

NA

值为true或者false。可以设置数据库名和表名，使得该表的首次查询性能得到提升。

压缩配置

carbon.number.of.cores.while.compacting

2

在压缩过程中用于写入数据所使用的核数。配置的核数越大压缩性能越好。如果CPU资源充足可以增加此值。

carbon.compaction.level.threshold

4,3

该属性用于Minor压缩，决定合并segment的数量。

例如：如果被设置为“2,3”，则将每2个segment触发一次Minor压缩。“3”是Level 1压缩的segment个数，这些segment将进一步被压缩为新的segment。

有效值为0-100。

carbon.major.compaction.size

1024

使用该参数配置Major压缩的大小。总数低于该阈值的segment将被合并。

单位为MB。

carbon.horizontal.compaction.enable

true

该参数用于配置打开/关闭水平压缩。在每个DELETE和UPDATE语句之后，如果增量（DELETE / UPDATE）文件超过指定的阈值，则可能发生水平压缩。默认情况下，该参数值设置为“true”，打开水平压缩功能，可将参数值设置为“false”来关闭水平压缩功能。

carbon.horizontal.update.compaction.threshold

1

该参数指定segment内的UPDATE增量文件数的阈值限制。在增量文件数量超过阈值的情况下，segment内的UPDATE增量文件变得适合水平压缩，并压缩为单个UPDATE增量文件。默认情况下，该参数值设置为1。可以设置为1到10000之间的值。

carbon.horizontal.delete.compaction.threshold

1

该参数指定segment的block中的DELETE增量文件数量的阈值限制。在增量文件数量超过阈值的情况下，segment特定block的DELETE增量文件变得适合水平压缩，并压缩为单个DELETE增量文件。 默认情况下，该参数值设置为1。可以设置为1到10000之间的值。

查询配置

carbon.number.of.cores

4

查询时所使用的核数。

carbon.limit.block.distribution.enable

false

当查询语句中包含关键字limit时，启用或禁用CarbonData块分布。默认值为“false”，将对包含关键字limit的查询语句禁用块分布。此参数调优请参考CarbonData性能调优常见配置参数。

carbon.custom.block.distribution

false

指定是使用Spark还是CarbonData的块分配功能。默认情况下，其配置值为“false”，表明启用Spark块分配。若要使用CarbonData块分配，请将配置值更改为“true”。

carbon.infilter.subquery.pushdown.enable

false

如果启用此参数，并且用户在具有subquery的过滤器中触发Select查询，则执行子查询，并将输出作为IN过滤器广播到左表，否则将执行SortMergeSemiJoin。建议在IN过滤器子查询未返回太多记录时启用此参数。例如，IN子句子查询返回10k或更少的记录时，启用此参数将更快地给出查询结果。

示例：select * from flow_carbon_256b where cus_no in (select cus_no from flow_carbon_256b where dt>='20260101' and dt<='20260701' and txn_bk='tk_1' and txn_br='tr_1') limit 1000;

carbon.scheduler.minRegisteredResourcesRatio

0.8

启动块分布所需的最小资源（executor）比率。默认值为“0.8”，表示所请求资源的80％被分配用于启动块分布。

carbon.dynamicAllocation.schedulerTimeout

5

此参数值指示调度器等待executors处于活动状态的最长时间。默认值为“5”秒，允许的最大值为“15”秒。

enable.unsafe.in.query.processing

true

指定在查询操作期间是否使用非安全排序。非安全排序减少查询操作期间的垃圾回收（GC），从而提高性能。默认值为“true”，表示启用非安全排序功能。

carbon.enable.vector.reader

true

为结果收集（result collection）启用向量处理，以增强查询性能。

carbon.query.show.datamaps

true

SHOW TABLES会展示所有的表包含主表和datamap。如果需要过滤掉datamap，将该配置设置为false。

二级索引配置

carbon.secondary.index.creation.threads

1

该参数用于配置启动二级索引创建期间并行处理segments的线程数。当表的segments数较多时，该参数有助于微调系统生成二级索引的速度。该参数值范围为1到50。

carbon.si.lookup.partialstring

true

• 当配置为true时，它包括开始，结尾和包含。
• 当配置为false时，它只包括从二级索引开始。

carbon.si.segment.merge

true

开启这个配置后会合并二级索引表segment内的.carbondata文件。合并发生在导入操作后，在二级索引表导入操作的最后，会检查并合并小文件。

数据加载配置

carbon.lock.type

HDFSLOCK

该配置指定了表上并发操作过程中所要求的锁的类型。

有以下几种类型锁实现方式：

• LOCALLOCK：基于本地文件系统的文件来创建的锁。该锁只适用于一台机器上只运行一个Spark Driver（或者JDBCServer）的情况。
• HDFSLOCK：基于HDFS文件系统上的文件来创建的锁。该锁适用于集群上有多个运行的Spark应用而且没有可用的ZooKeeper的情况。

carbon.sort.intermediate.files.limit

20

中间文件的最小数量。生成中间文件后开始排序合并。此参数调优请参考CarbonData性能调优常见配置参数。

carbon.csv.read.buffersize.byte

1048576

CSV读缓冲区大小。

carbon.merge.sort.reader.thread

3

用于读取中间文件进行最终合并的最大线程数。

carbon.concurrent.lock.retries

100

指定获取并发操作锁的最大重试次数。该参数用于并发加载。

carbon.concurrent.lock.retry.timeout.sec

1

指定获取并发操作的锁重试之间的间隔。

carbon.lock.retries

3

指定除导入操作外其他所有操作尝试获取锁的次数。

carbon.lock.retry.timeout.sec

5

指定除导入操作外其他所有操作尝试获取锁的时间间隔。

carbon.tempstore.location

/opt/Carbon/TempStoreLoc

临时存储位置。默认情况下，采用“System.getProperty("java.io.tmpdir")”方法获取。此参数调优请参考CarbonData性能调优常见配置参数中关于“carbon.use.local.dir”的描述。

carbon.load.log.counter

500000

数据加载记录计数日志。

SERIALIZATION_NULL_FORMAT

\N

指定需要替换为NULL的值。

carbon.skip.empty.line

false

设置此属性将在数据加载期间忽略CSV文件中的空行。

carbon.load.datamaps.parallel

false

该配置项将会开启对所有会话所有表的datamap并行加载。该配置项通过将导入datamap到内存的工作分发给所有的executor来缩短时间，进而提升查询性能。

合并配置

carbon.numberof.preserve.segments

0

若用户希望从被合并的segment中保留一定数量的segment，可设置该属性参数。

例如：“carbon.numberof.preserve.segments”=“2”，那么合并的segement中将不包含最新的2个segment。

默认保留No segment的状态。

carbon.allowed.compaction.days

0

合并将合并在配置的指定天数中加载的segment。

例如：如果配置值为“2”，那么只有在2天时间框架中加载的segment被合并。2天以外被加载的segment不会被合并。

该参数默认为禁用。

carbon.enable.auto.load.merge

false

在数据加载时启用压缩。

carbon.merge.index.in.segment

true

如果设置，则Segment内的所有Carbon索引文件（.carbonindex）将合并为单个Carbon索引合并文件（.carbonindexmerge）。 这增强了首次查询性能

查询配置

max.query.execution.time

60

单次查询允许的最大时间。

单位为分钟。

carbon.enableMinMax

true

MinMax用于提高查询性能。设置为false可禁用该功能。

carbon.lease.recovery.retry.count

5

需要为恢复文件租约所需的最大尝试次数。

最小值：1

最大值：50

carbon.lease.recovery.retry.interval

1000 (ms)

尝试在文件上进行租约恢复之后的间隔（Interval）或暂停（Pause）时间。

最小值：1000（ms）

最大值：10000（ms）