更新时间:2024-01-16 GMT+08:00
目的端为HBase/CloudTable
JSON样例
"to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig.table", "value": "rf_to" }, { "name": "toJobConfig.storageType", "value": "PUTLIST" }, { "name": "toJobConfig.columns", "value": "AA:AA&BB:BB&CC:CC&DD:DD" }, { "name": "toJobConfig.rowKeyColumn", "value": "AA:AA" }, { "name": "toJobConfig.isOverride", "value": "false" }, { "name": "toJobConfig.isRowkeyRedundancy", "value": "false" }, { "name": "toJobConfig.algorithm", "value": "NONE" }, { "name": "toJobConfig.writeToWAL", "value": "true" }, { "name": "toJobConfig.transType", "value": "false" } ], "name": "toJobConfig" } ] }
参数说明
参数 |
是否必选 |
类型 |
说明 |
---|---|---|---|
toJobConfig.table |
是 |
String |
写入数据的表名,例如:“TBL_EXAMPLE”。 |
toJobConfig.storageType |
是 |
枚举 |
将数据写入到HBase表中的方法:
|
toJobConfig.columns |
否 |
String |
需要抽取数据的列,列号之间使用“&”分割,列族与列之间用“:”分隔,例如:“cf1:c1&cf2:c2”。 |
toJobConfig.rowKeyColumn |
是 |
String |
作为rowkey的列,列号之间使用“&”分割,列族与列之间用“:”分隔,例如:“cf1:c1&cf2:c2”。 |
toJobConfig.isOverride |
否 |
Boolean |
使用BULKLOAD方式导入数据时,是否清空数据,例如:“true”。 |
toJobConfig.delimiter |
否 |
String |
当选取多个列做rowkey时,连接多列的分隔符,例如:“|”。 |
toJobConfig.isRowkeyRedundancy |
否 |
Boolean |
是否将选做Rowkey的数据同时写入HBase的列。 |
toJobConfig.algorithm |
否 |
枚举 |
创建新HBase表时采用的压缩算法,支持SNAPPY和GZ算法,默认为“NONE”。 |
toJobConfig.writeToWAL |
否 |
Boolean |
选择是否开启HBase的预写日志机制(WAL,Write Ahead Log)。
|
toJobConfig.transType |
否 |
Boolean |