- 最新动态
- 功能总览
- 产品介绍
- 计费说明
- 快速入门
- 用户指南
-
最佳实践
- FunctionGraph最佳实践汇总
- 性能优化与安全类实践
-
数据处理类实践
- 使用FunctionGraph函数对OBS中的图片进行压缩
- 使用FunctionGraph函数为OBS中的图片打水印
- 使用FunctionGraph函数对DIS数据进行格式转换并存储到CloudTable
- 使用FunctionGraph函数实现通过API方式上传文件
- 使用FunctionGraph函数对IoTDA中的设备坐标数据进行转换
- 使用FunctionGraph函数对OBS中的文件进行加解密
- 使用FunctionGraph函数识别LTS中的异常业务日志并存储到OBS
- 使用FunctionGraph函数对LTS中的日志进行实时过滤
- 使用FunctionGraph函数流对OBS中的图片进行旋转
- 使用FunctionGraph函数流对图片进行压缩和打水印
- 功能应用类实践
- 函数构建类实践
- 开发指南
- API参考
- SDK参考
- 场景代码示例
-
常见问题
-
产品咨询
- 使用FunctionGraph是否需要开通计算、存储、网络等服务?
- 使用FunctionGraph开发程序之后是否需要部署?
- FunctionGraph为函数分配的磁盘空间有多少?
- 是否支持在函数中启动TCP的监听端口,通过EIP接收外部发送过来的TCP请求?
- 函数发起HTTP请求的源地址如何获取?
- FunctionGraph是否支持对上传的zip文件进行反编译?
- FunctionGraph的函数是否支持功能扩展?
- FunctionGraph中的代码是如何隔离的?
- 函数常规信息中的“应用”如何理解?
- 用户需要为函数的冷启动时间付费吗?
- 函数计费中的调用次数,是某一账号下在不同region的所有函数的调用次数总和吗?
- Python语言的函数从V1版本迁移到V2版本时需注意哪些兼容性问题?
- FunctionGraph函数支持哪些编程语言?
- 创建函数
-
配置函数
- 能否在函数环境变量中存储敏感信息?
- FunctionGraph的函数如何读写上传的文件?
- 为函数挂载文件系统时,报“failed to mount exist system path”
- FunctionGraph如何实现域名解析?
- FunctionGraph如何通过域名访问专享版APIG中注册的接口?
- FunctionGraph函数通过域名访问APIG中注册的接口时,报域名无法解析?
- 使用定制运行时语言的函数能操作哪些目录?
- FunctionGraph的函数支持哪些中文字体?
- 能否在函数代码中使用线程和进程?
- 函数如何访问MySQL数据库?
- 函数无法通过VPC连接对应的Redis?
- 如何读取函数的请求头?
- Python语言的函数中,中文注释报乱码错误
-
调用函数
- FunctionGraph的函数执行需要多长时间?
- FunctionGraph的函数执行包含了哪些过程?
- FunctionGraph函数长时间不执行时,相关的实例会如何处理?
- 如何获取函数运行过程中的内存使用量信息?
- 为什么首次调用函数时速度会比较慢?
- 函数执行失败返回“runtime memory limit exceeded”时,如何查看内存占用大小?
- 自定义镜像函数执行失败报“CrashLoopBackOff”
- 同步调用函数时,未收到调用响应的可能原因?
- 函数中os.system("command &")命令的执行日志未采集,应如何处理?
- 函数执行超时的可能原因有哪些?
- 使用APIG触发器调用一个返回String的FunctionGraph函数时,报500错误
- Python2.7在执行reload(sys)后无法通过print打印日志
- 运行函数时报错error while loading shared libraries时如何处理?
- 配置触发器
- 配置依赖包
-
产品咨询
- 视频帮助
- 文档下载
- 通用参考
链接复制成功!
使用DIS触发器
本节介绍如何通过函数工作流控制台创建数据接入服务DIS触发器,实现使用系统内置的事件模板配置DIS事件,触发函数运行。
DIS触发器概述
数据接入服务DIS(Data Ingestion Service)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从多种数据源中连续捕获、传送和存储数TB数据。
使用DIS触发器可以将FunctionGraph函数配置为自动轮询流并处理新记录,例如网站点击流、财务交易记录、社交媒体源、IT日志和数据位置跟踪事件等。FunctionGraph会定期轮询DIS数据流中的新记录。
DIS触发器的事件格式
- 以下为DIS触发器的示例事件,具体参数解释参考表1。
{ "ShardID": "shardId-0000000000", "Message": { "next_partition_cursor": "eyJnZXRJdGVyYXRvclBhcmFtIjp7InN0cmVhbS1uYW1lIjoiZGlzLXN3dGVzdCIsInBhcnRpdGlvbi1pZCI6InNoYXJkSWQtMDAwMDAwMDAwMCIsImN1cnNvci10eXBlIjoiVFJJTV9IT1JJWk9OIiwic3RhcnRpbmctc2VxdWVuY2UtbnVtYmVyIjoiNCJ9LCJnZW5lcmF0ZVRpbWVzdGFtcCI6MTUwOTYwNjM5MjE5MX0", "records": [ { "partition_key": "shardId_0000000000", "data": "d2VsY29tZQ==", "sequence_number": "0" }, { "partition_key": "shardId_0000000000", "data": "dXNpbmc=", "sequence_number": "1" }, { "partition_key": "shardId_0000000000", "data": "RnVuY3Rpb25TdGFnZQ==", "sequence_number": "2" }, { "partition_key": "shardId_0000000000", "data": "c2VydmljZQ==", "sequence_number": "3" } ], "millis_behind_latest": "" }, "Tag": "latest", "StreamName": "dis-swtest" }
表1 DIS示例事件参数说明参数
类型
示例值
描述
ShardID
String
shardId-0000000000
数据下载分区的ID。
next_partition_cursor
String
参考示例代码
下一个分区的游标。
Records
Map
参考示例代码
存储在DIS通道中的数据单元。
partition_key
String
参考示例代码
分区键。
data
String
参考示例代码
数据块,由数据生产者添加到数据通道。
sequence_number
Int
参考示例代码
每个记录的唯一标识符,由DIS服务自动分配。
Tag
String
latest
通道的标签。
StreamName
String
dis-swtest
通道名称。
约束与限制
- DIS触发器当前支持“华北-北京一”、“华北-北京四”、“华东-上海一”、“华东-上海二”、“华南-广州”、“中国-香港”、“亚太-新加坡”、“土耳其-伊斯坦布尔”区域使用。具体运行时函数是否支持使用请以控制台为准。
- DIS触发器调用的请求正文有效负载大小为6M。
前提条件
创建DIS触发器
- 登录函数工作流控制台,在左侧的导航栏选择“函数 > 函数列表”。
- 选择待配置的函数,单击进入函数详情页。
- 选择“设置 > 触发器”,单击“创建触发器”,弹出“创建触发器”对话框。
- 参考表2配置DIS触发器参数。
表2 DIS触发器参数说明
参数
说明
取值样例
触发器类型
必选参数。
选择“数据接入服务 (DIS)”。
数据接入服务 (DIS)
通道名称
必选参数。
选择已创建的DIS通道,支持选择普通通道和高级通道。若无接入通道,可单击“申请接入通道”完成创建,详情可参考开通DIS通道。
dis-function
起始位置
必选参数。
选择数据流中开始读取数据的位置,起始位置对应DIS服务中的游标类型,用来选择从DIS通道中读取数据的位置,详情可参考:获取数据游标。
起始位置有以下选择:
latest
最大字节数
必选参数。
每次触发时通道单次请求的记录的最大字节数,只有当分区中单条记录小于该值,才能被获取。单位可选择KB或MB。
- 通道类型为普通通道:单次请求的记录总大小不能超过1MB(不包含partitionKey数据大小),设置范围:0KB~1024KB(0MB~1MB)。
- 通道类型为高级通道:单次请求的记录总大小不能超过5MB(不包含partitionKey数据大小),设置范围:0KB~5120KB(0MB~5MB)。
1 MB
拉取周期
必选参数。
设置拉取流数据的周期,单位可选择秒或毫秒,设置范围:1ms~60000ms(1s~60s)。
30 秒
串行处理数据
必选参数。
- 如果启用该选项,系统将在完成一次数据处理后,才获取下一次数据;否则只要到达拉取周期,系统就会获取数据进行处理。
- 如果关闭该选项,如图1所示,可根据业务需要配置并发数(范围:1-80)。
开启
- 单击“确定”,完成DIS触发器的创建。
修改DIS触发器配置
DIS触发器创建后,支持对部分参数进行修改。
- 返回函数工作流控制台,在左侧的导航栏选择“函数 > 函数列表”。
- 选择待配置的函数,单击进入函数详情页。
- 选择“设置 > 触发器”,单击DIS触发器上的“编辑”,弹出“创建触发器”对话框。
- 支持修改“最大字节数/批处理大小”、“拉取周期”、“串行处理数据”参数,修改完成后单击“确定”。
配置DIS测试事件触发函数
- 返回函数工作流控制台,在左侧的导航栏选择“函数 > 函数列表”。
- 选择待配置的函数,单击进入函数详情页。
- 在函数详情页,选择函数版本。
- 在“代码”页签下,单击“测试”,弹出“配置测试事件”对话框。
- 填写如表3所示测试信息后,单击“保存”。
- 单击“测试”,可以得到函数运行结果,函数会返回输入DIS数据。
相关文档
除使用控制台外,函数工作流支持通过API的方式使用函数触发器,详情请参见函数触发器API参考。