使用数据接入服务(DIS)触发器
本节介绍如何通过函数工作流控制台创建数据接入服务DIS触发器,实现使用系统内置的事件模板配置DIS事件,触发函数运行。
数据接入服务(DIS)触发器概述
数据接入服务DIS(Data Ingestion Service)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从多种数据源中连续捕获、传送和存储数TB数据。
使用DIS触发器可以将FunctionGraph函数配置为自动轮询流并处理新记录,例如网站点击流、财务交易记录、社交媒体源、IT日志和数据位置跟踪事件等。FunctionGraph会定期轮询DIS数据流中的新记录。
操作视频
本视频介绍如何在函数中使用DIS触发器,并通过配置测试事件测试函数能否正常执行。
约束与限制
- DIS触发器当前支持“华东-上海一”、“中国-香港”、“亚太-新加坡”区域使用。具体运行时函数是否支持使用请以控制台为准。
- DIS触发器调用的请求正文有效负载大小为6M。
前提条件
创建DIS触发器
- 登录函数工作流控制台,在左侧的导航栏选择“函数 > 函数列表”。
- 选择待配置的函数,单击进入函数详情页。
- 选择“设置 > 触发器”,单击“创建触发器”,弹出“创建触发器”对话框。
- 参考表2配置DIS触发器参数。
表2 DIS触发器参数说明 参数
说明
取值样例
触发器类型
必选参数。
选择“数据接入服务 (DIS)”。
数据接入服务 (DIS)
通道名称
必选参数。
选择已创建的DIS通道,支持选择普通通道和高级通道。若无接入通道,可单击“申请接入通道”完成创建,详情可参考开通DIS通道。
dis-function
起始位置
必选参数。
选择数据流中开始读取数据的位置,起始位置对应DIS服务中的游标类型,用来选择从DIS通道中读取数据的位置,详情可参考:获取数据游标。
起始位置有以下选择:
latest
最大字节数
必选参数。
每次触发时通道单次请求的记录的最大字节数,只有当分区中单条记录小于该值,才能被获取。单位可选择KB或MB。
- 通道类型为普通通道:单次请求的记录总大小不能超过1MB(不包含partitionKey数据大小),设置范围:0KB~1024KB(0MB~1MB)。
- 通道类型为高级通道:单次请求的记录总大小不能超过5MB(不包含partitionKey数据大小),设置范围:0KB~5120KB(0MB~5MB)。
1 MB
拉取周期
必选参数。
设置拉取流数据的周期,单位可选择秒或毫秒,设置范围:1ms~60000ms(1s~60s)。
30 秒
串行处理数据
必选参数。
- 如果启用该选项,系统将在完成一次数据处理后,才获取下一次数据;否则只要到达拉取周期,系统就会获取数据进行处理。
- 如果关闭该选项,如图1所示,可根据业务需要配置并发数(范围:1-80)。
开启
- 单击“确定”,完成DIS触发器的创建。
修改DIS触发器配置
DIS触发器创建后,支持对部分参数进行修改。
- 返回函数工作流控制台,在左侧的导航栏选择“函数 > 函数列表”。
- 选择待配置的函数,单击进入函数详情页。
- 选择“设置 > 触发器”,单击DIS触发器上的“编辑”,弹出“创建触发器”对话框。
- 支持修改“最大字节数”、“拉取周期”和“串行处理数据”参数,修改完成后单击“确定”。
配置DIS测试事件触发函数
- 返回函数工作流控制台,在左侧的导航栏选择“函数 > 函数列表”。
- 选择待配置的函数,单击进入函数详情页。
- 在函数详情页,选择函数版本。
- 在“代码”页签下,单击“测试”,弹出“配置测试事件”对话框。
- 填写如表3所示测试信息后,单击“保存”。
- 单击“测试”,可以得到函数运行结果,函数会返回输入DIS数据。
相关文档
除使用控制台外,函数工作流支持通过API的方式使用函数触发器,详情请参见函数触发器API参考。