文档首页 > > 流生态开发指南> 云生态:MapReduce服务(MRS)> 通过自定义作业与HBase交互

通过自定义作业与HBase交互

分享
更新时间:2019/05/27 GMT+08:00

概述

用户可以基于Flink和Spark的API进行二次开发,构建自己的应用Jar包,提交到CS的集群运行,实现与MRS HBase集群的交互。

Apache HBase是一个稳定可靠,性能卓越、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析,毫秒级得到响应,快速发现数据价值。MRS基于Apache HBase在公有云平台部署并托管了HBase集群。

前提条件

  • 在使用MRS集群上的Kafka时,需要通过VPC服务的对等连接功能将CS服务与MRS集群进行对接。

    如何建立对等连接,请参见《实时流计算服务用户指南》对等连接章节。

  • Kafka服务端的端口如果监听在hostname上,则需要将Kafka Broker节点的hostname和IP的对应关系添加到CS集群中。Kafka Broker节点的hostname和IP请联系Kafka服务的部署人员。如何添加IP域名映射,请参见《实时流计算服务用户指南》集群管理章节中的“添加IP域名映射”部分。

操作步骤

创建并提交Flink自定义作业,详细操作步骤请参见《实时流计算服务用户指南》中创建Flink自定义作业章节。

创建并提交Spark自定义作业,详细操作步骤请参见《实时流计算服务用户指南》中创建Spark自定义作业章节。

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!非常感谢您的反馈,我们会继续努力做到更好!
反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问