计算
弹性云服务器 ECS
Flexus云服务
裸金属服务器 BMS
弹性伸缩 AS
镜像服务 IMS
专属主机 DeH
函数工作流 FunctionGraph
云手机服务器 CPH
Huawei Cloud EulerOS
网络
虚拟私有云 VPC
弹性公网IP EIP
虚拟专用网络 VPN
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
VPC终端节点 VPCEP
云连接 CC
企业路由器 ER
企业交换机 ESW
全球加速 GA
安全与合规
安全技术与应用
Web应用防火墙 WAF
企业主机安全 HSS
云防火墙 CFW
安全云脑 SecMaster
DDoS防护 AAD
数据加密服务 DEW
数据库安全服务 DBSS
云堡垒机 CBH
数据安全中心 DSC
云证书管理服务 CCM
边缘安全 EdgeSec
威胁检测服务 MTD
CDN与智能边缘
内容分发网络 CDN
CloudPond云服务
智能边缘云 IEC
迁移
主机迁移服务 SMS
对象存储迁移服务 OMS
云数据迁移 CDM
迁移中心 MGC
大数据
MapReduce服务 MRS
数据湖探索 DLI
表格存储服务 CloudTable
云搜索服务 CSS
数据接入服务 DIS
数据仓库服务 GaussDB(DWS)
数据治理中心 DataArts Studio
数据可视化 DLV
数据湖工厂 DLF
湖仓构建 LakeFormation
企业应用
云桌面 Workspace
应用与数据集成平台 ROMA Connect
云解析服务 DNS
专属云
专属计算集群 DCC
IoT物联网
IoT物联网
设备接入 IoTDA
智能边缘平台 IEF
用户服务
账号中心
费用中心
成本中心
资源中心
企业管理
工单管理
国际站常见问题
ICP备案
我的凭证
支持计划
客户运营能力
合作伙伴支持计划
专业服务
区块链
区块链服务 BCS
Web3节点引擎服务 NES
解决方案
SAP
高性能计算 HPC
视频
视频直播 Live
视频点播 VOD
媒体处理 MPC
实时音视频 SparkRTC
数字内容生产线 MetaStudio
存储
对象存储服务 OBS
云硬盘 EVS
云备份 CBR
存储容灾服务 SDRS
高性能弹性文件服务 SFS Turbo
弹性文件服务 SFS
云硬盘备份 VBS
云服务器备份 CSBS
数据快递服务 DES
专属分布式存储服务 DSS
容器
云容器引擎 CCE
容器镜像服务 SWR
应用服务网格 ASM
华为云UCS
云容器实例 CCI
管理与监管
云监控服务 CES
统一身份认证服务 IAM
资源编排服务 RFS
云审计服务 CTS
标签管理服务 TMS
云日志服务 LTS
配置审计 Config
资源访问管理 RAM
消息通知服务 SMN
应用运维管理 AOM
应用性能管理 APM
组织 Organizations
优化顾问 OA
IAM 身份中心
云运维中心 COC
资源治理中心 RGC
应用身份管理服务 OneAccess
数据库
云数据库 RDS
文档数据库服务 DDS
数据管理服务 DAS
数据复制服务 DRS
云数据库 GeminiDB
云数据库 GaussDB
分布式数据库中间件 DDM
数据库和应用迁移 UGO
云数据库 TaurusDB
人工智能
人脸识别服务 FRS
图引擎服务 GES
图像识别 Image
内容审核 Moderation
文字识别 OCR
AI开发平台ModelArts
图像搜索 ImageSearch
对话机器人服务 CBS
华为HiLens
视频智能分析服务 VIAS
语音交互服务 SIS
应用中间件
分布式缓存服务 DCS
API网关 APIG
微服务引擎 CSE
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
分布式消息服务RocketMQ版
多活高可用服务 MAS
事件网格 EG
企业协同
华为云会议 Meeting
云通信
消息&短信 MSGSMS
云生态
合作伙伴中心
云商店
开发者工具
SDK开发指南
API签名指南
Terraform
华为云命令行工具服务 KooCLI
其他
产品价格详情
系统权限
管理控制台
客户关联华为云合作伙伴须知
消息中心
公共问题
开发与运维
应用管理与运维平台 ServiceStage
软件开发生产线 CodeArts
需求管理 CodeArts Req
部署 CodeArts Deploy
性能测试 CodeArts PerfTest
编译构建 CodeArts Build
流水线 CodeArts Pipeline
制品仓库 CodeArts Artifact
测试计划 CodeArts TestPlan
代码检查 CodeArts Check
代码托管 CodeArts Repo
云应用引擎 CAE
开天aPaaS
云消息服务 KooMessage
云手机服务 KooPhone
云空间服务 KooDrive

BulkLoad工具配置文件说明

更新时间:2024-09-18 GMT+08:00

该章节主要介绍使用BulkLoad工具的其他配置操作以获取需要查看的数据。

配置自定义的组合rowkey

使用BulkLoad工具批量导入HBase数据时,支持用户自定义组合rowkey。BulkLoad组合rowkey即通过一些规则将多个列名经过一些自定义处理,组合生成新的rowkey。

说明:

列的名称不能包含特殊字符,只能由字母、数字和下划线组成。

关于组合rowkey在“configuration.xml”文件中的配置如下所示,该样例中定义组合rowkey为列“SMS_ID”、“SMS_NAME”的取第二个字符开始的三个字符以及“SMS_SERAIL”的反转(各部分用'_'连接)。

 <columns> 
                         <column index="1" type="int">SMS_ID</column> 
                         <column index="2" type="string">SMS_NAME</column> 
                         <column index="3" type="string">SMS_ADDRESS</column> 
                 </columns> 

                 <rowkey> 
                        SMS_ID+'_'+substring(SMS_NAME,1,4)+'_'+reverse(SMS_ADDRESS)
                 </rowkey>     
表1 rowkey字段处理函数

函数原型

描述

示例

format(data,"DataType")

格式化字符串数据。

例如,format(data,"0.000")是指将数据按照“0.000”格式输出。

converse(data,"yyyy-MM-dd","yyyyMMdd")

转化日期格式。

例如,converse(data,"yyyy-MM-dd","yyyyMMdd")是指将日期格式从“yyyy-MM-dd”转化为“yyyyMMdd”。

rand

随机一个整数,只支持int类型。

无。

replace(data,"A","B")

数据替换。

例如,replace(data,"A","B")是指将A用B替换。

reverse(data)

将字符串反转。

例如,reverse(ABC)是指将“ABC”反转成“CBA”。

substring(data,Length1,Length2), or substring(data,Length3)

截取字符串。

例如,substring(data,1,5), or substring(data,3)是指将data字符串进行截取[1,5)或[3,data.length)。

to_number("data")

将字符串转化成数值型,支持返回Long类型。

例如,to_number("123")是指将字符串"123"转化为数值123,注意当前data必须为数值。

配置自定义rowkey实现

使用BulkLoad工具批量导入HBase数据时,支持用户自定义的组合rowkey实现。用户可编写rowkey实现代码,导入时根据该代码逻辑进行组合rowkey导入。

配置自定义rowkey实现步骤如下:

  1. 用户编写自定义rowkey的实现类,需要继承接口,该接口所在的Jar包路径为“客户端安装目/HBase/hbase/lib/hbase-it-bulk-load-*.jar”:

    [com.huawei.hadoop.hbase.tools.bulkload.RowkeyHandlerInterface],

    实现接口中方法:

    byte[] getRowkeyBytes(String[] colsValues, RegulationDomain regulation)

    其中:

    • 传入参数“colsValues”为原始数据中的一行数据集合,每个元素为一列。
    • 传入参数“regulation”为配置导入文件信息(一般情况下并不需要使用)。

  2. 将该实现类与其依赖包同时打包成Jar文件,保存到HBase客户端所在节点的任意位置并确保执行命令的用户具有读取和执行该Jar包的权限。
  3. 在执行导入命令时,增加两个参数配置项:

    -Dimport.rowkey.jar="第二步中Jar包的全路径"

    -Dimport.rowkey.class="用户实现类的全类名"

配置自定义组合字段

BulkLoad支持自定义组合字段,把多个列通过追加的方式即多个列串到一块组合成一个列。

说明:

列的名称不能包含特殊字符,只能由字母、数字和下划线组成。

关于组合字段H_COMBINE_1的定义如下所示,该样例中H_COMBINE_1由字段“SMS_ADDRESS”、“SMS_SNAME”构成。

<!-- Define composite columns --> 
                         <composite family="f2">
                                 <!-- 定义拼接字段的类名,且该类必须在客户应用中不存在 --> 
                                 <qualifier class="com.huawei.H_COMBINE_1">H_COMBINE_1</qualifier> 
                                 <columns> 
                                         <column>SMS_ADDRESS</column> 
                                         <column>SMS_NAME</column> 
                                 </columns> 
                         </composite>

指定字段数据类型

HBase BulkLoad支持读取原生态数据文件,把数据文件的每个字段映射为HBase定义的字段,并对该字段的数据类型做定义。

您可以在“configuration.xml”文件中定义多个方式来批量导入数据。

说明:

列的名称不能包含特殊字符,只能由字母、数字和下划线组成。

指定字段数据类型的配置如下所示,该样例中对“SMS_ID”、“SMS_NAME”、“SMS_ADDRESS”列指定数据类型。

                <columns> 
                         <column index="1" type="int">SMS_ID</column> 
                         <column index="2" type="string">SMS_NAME</column> 
                         <column index="3" type="string">SMS_ADDRESS</column> 
                 </columns>
说明:

支持的数据类型有:short、int、long、float、double、boolean和string。

定义不适用的数据行

BulkLoad支持定义不适用数据行的功能,不适用数据行不会存储到HBase中,这些数据会被保存到指定的文件中。

您可以在“configuration.xml”文件中定义多个方式来批量导入数据。

说明:

列的名称不能包含特殊字符,只能由字母、数字和下划线组成。

定义不适用的行,配置样例如下所示,即SMS_ID < 7000 && SMS_NAME == 'HBase':

<!-- Define bad line filter rule --> 
<badlines>SMS_ID &lt; 7000 &amp;&amp; SMS_NAME == 'HBase'</badlines>

针对“<badlines>”标签中的算符和对应的参数类型如表2所示。

表2 算符和对应的参数类型

算符类型

参数类型

&&

对应的参数类型应为布尔型。

&

对应的参数类型应为整数。

|

对应的参数类型应为整数。

^

对应的参数类型应为整数。

/

对应的参数类型应为数字。

==

对应的参数类型应为字符串。

>=

对应的参数类型应为数字。

>

对应的参数类型应为数字。

<<

对应的参数类型应为整数。

<=

对应的参数类型应为数字。

<

对应的参数类型应为数字。

%

对应的参数类型应为数字。

*

对应的参数类型应为数字。

!=

对应的参数类型应为字符串。

||

对应的参数类型应为布尔型。

+

对应的参数类型应为数字和字符串。

>>

对应的参数类型应为整数。

-

对应的参数类型应为字符串。

>>>

对应的参数类型应为整数。

我们使用cookie来确保您的高速浏览体验。继续浏览本站,即表示您同意我们使用cookie。 详情

文档反馈

文档反馈

意见反馈

0/500

标记内容

同时提交标记内容