文档首页 > > SQL语法参考> 数据定义语句> 创建输出流> MRS Kafka输出流

MRS Kafka输出流

分享
更新时间: 2019/08/14 GMT+08:00

概述

CS将作业的输出数据输出到Kafka中。

Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。MRS基于Apache Kafka在公有云平台部署并托管了Kafka集群。

前提条件

  • Kafka服务端的端口如果监听在hostname上,则需要将Kafka Broker节点的hostname和IP的对应关系添加到CS集群中。Kafka Broker节点的hostname和IP请联系Kafka服务的部署人员。如何添加IP域名映射,请参见《实时流计算服务用户指南》集群管理章节中的“添加IP域名映射”部分。
  • Kafka是线下集群,需要通过VPC服务的对等连接功能将CS服务与Kafka进行对接。

    如何建立对等连接,请参见《实时流计算服务用户指南》对等连接章节。

语法

语法格式

CREATE SINK STREAM kafka_sink (name STRING) WITH(type = "kafka",kafka_bootstrap_servers = "",kafka_topic = "",encode = "json")

语法说明

表1 语法说明

参数

是否必选

说明

type

输出通道类型,"kafka"表示输出到Kafka中。

kafka_bootstrap_servers

Kafka的连接端口,需要确保能连通(需要通过对等连接的方式开通CS集群和Kafka集群的连接)。

kafka_topic

写入的topic。

encode

编码格式,当前暂时只支持json。

kafka_properties

可通过该参数配置kafka的原生属性,格式为"key1=value1;key2=value2"

注意事项

示例

将数据输出到Kafka中。

CREATE SINK STREAM kafka_sink (name STRING) 
WITH (
  type="kafka",
  kafka_bootstrap_servers =  "ip1:port1,ip2:port2",
  kafka_topic = "testsink",
  encode = "json" 
);
分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

跳转到云社区