更新时间:2025-01-23 GMT+08:00
分享

使用分布式消息服务Kafka触发器

本节介绍如何使用函数工作流控制台创建Kafka触发器,以实现FunctionGraph对Kafka实例中指定Topic的新消息进行定期轮询。FunctionGraph会将轮询得到的消息作为参数,用于调用相应函数。

关于Kafka触发器的事件源介绍,请参见支持的事件源

分布式消息服务Kafka版与开源Kafka的差异说明,请参见Kafka与开源Kafka的差异

约束与限制

  • “华北-乌兰察布一”“拉美-圣保罗一”外,其他区域均支持使用Kafka触发器。具体运行时函数是否支持使用请以控制台为准。
  • Kafka触发器调用的请求正文有效负载大小为6M。
  • 对于处理失败的Kafka数据,Kafka触发器会丢弃过大记录(>6MB)。

前提条件

创建Kafka触发器

  1. 登录函数工作流控制台,在左侧的导航栏选择“函数 > 函数列表”。
  2. 选择待配置的函数,单击进入函数详情页。
  3. 选择“设置 > 触发器”,单击“创建触发器”,弹出“创建触发器”对话框。

    图1 创建触发器

  4. 配置以下参数。

    表1 Kafka触发器参数说明

    参数

    说明

    取值样例

    触发器类型

    必选参数。

    选择“分布式消息服务 Kafka版 (KAFKA)”。

    分布式消息服务 Kafka版 (KAFKA)

    实例

    必选参数。

    选择已创建的Kafka实例。若无实例,可单击“创建实例”完成创建。

    kafka-fg

    主题

    必选参数。

    选择专享版Kafka实例的Topic。Kafka触发器当前支持选择多个Topic主题,从而避免Topic过多导致创建的触发器数量被限制。若无主题,可单击“创建主题”完成创建。

    topic-fg

    批处理大小

    必选参数。

    输入每次从Topic消费的消息数量,设置范围:1~1000。

    100

  5. 单击“确定”,完成kafka触发器的创建。

配置Kafka事件触发函数。

  1. 返回函数工作流控制台,在左侧的导航栏选择“函数 > 函数列表”。
  2. 选择待配置的函数,单击进入函数详情页。
  3. 在函数详情页,选择函数版本。
  4. 在“代码”页签下,单击“测试”,弹出“配置测试事件”对话框。
  5. 填写如表2所示测试信息后,单击“保存”。

    表2 测试信息

    参数

    说明

    配置测试事件

    可创建新的测试事件也可编辑已有的测试事件。

    选择默认值:“创建新的测试事件”。

    事件模板

    选择"分布式消息服务 Kafka版(KAFKA)"模板,使用系统内置Kafka事件模板。

    事件名称

    事件名称必须以大写或小写字母开头,支持字母(大写或小写),数字和下划线“_”(或中划线“-”),并以字母或数字结尾,长度为1-25个字符,例如kafka-123test。

    测试事件

    自动加载系统内置kafka事件模板,本例不做修改。

  6. 单击“测试”,可以得到函数运行结果,函数会返回输入kafka消息数据。

相关文档