更新时间:2025-05-09 GMT+08:00
目的端为HBase/CloudTable
JSON样例
"to-config-values": {
"configs": [
{
"inputs": [
{
"name": "toJobConfig.table",
"value": "rf_to"
},
{
"name": "toJobConfig.storageType",
"value": "PUTLIST"
},
{
"name": "toJobConfig.columns",
"value": "AA:AA&BB:BB&CC:CC&DD:DD"
},
{
"name": "toJobConfig.rowKeyColumn",
"value": "AA:AA"
},
{
"name": "toJobConfig.isOverride",
"value": "false"
},
{
"name": "toJobConfig.isRowkeyRedundancy",
"value": "false"
},
{
"name": "toJobConfig.algorithm",
"value": "NONE"
},
{
"name": "toJobConfig.writeToWAL",
"value": "true"
},
{
"name": "toJobConfig.transType",
"value": "false"
}
],
"name": "toJobConfig"
}
]
}
参数说明
|
参数 |
是否必选 |
类型 |
说明 |
|---|---|---|---|
|
toJobConfig.table |
是 |
String |
写入数据的表名,例如:“TBL_EXAMPLE”。 |
|
toJobConfig.storageType |
是 |
枚举 |
将数据写入到HBase表中的方法:
|
|
toJobConfig.columns |
否 |
String |
需要抽取数据的列,列号之间使用“&”分割,列族与列之间用“:”分隔,例如:“cf1:c1&cf2:c2”。 |
|
toJobConfig.rowKeyColumn |
是 |
String |
作为rowkey的列,列号之间使用“&”分割,列族与列之间用“:”分隔,例如:“cf1:c1&cf2:c2”。 |
|
toJobConfig.isOverride |
否 |
Boolean |
使用BULKLOAD方式导入数据时,是否清空数据,例如:“true”。 |
|
toJobConfig.delimiter |
否 |
String |
当选取多个列做rowkey时,连接多列的分隔符,例如:“|”。 |
|
toJobConfig.isRowkeyRedundancy |
否 |
Boolean |
是否将选做Rowkey的数据同时写入HBase的列。 |
|
toJobConfig.algorithm |
否 |
枚举 |
创建新HBase表时采用的压缩算法,支持SNAPPY和GZ算法,默认为“NONE”。 |
|
toJobConfig.writeToWAL |
否 |
Boolean |
选择是否开启HBase的预写日志机制(WAL,Write Ahead Log)。
|
|
toJobConfig.transType |
否 |
Boolean |