使用DIS发送OBS事件通知
本节介绍如何在OBS控制台配置DIS通知。
您可以新建DIS通知规则，也可以从同区域的其他桶复制已有DIS通知规则。
背景知识
OBS提供的DIS通知功能，主要面向大数据场景，要求OBS与数据接入服务（DIS）及其他大数据相关服务结合使用。
仅支持华东-上海一、华北-北京四、华南-广州区域。
当OBS桶中触发了对象上传、下载、删除等操作事件时，OBS将事件通知发送给DIS，再通过DIS通道将通知分发给下游的大数据处理服务，如数据湖工厂（DLF）。大数据处理服务接到通知后，利用委托的OBS权限对OBS中更新的数据进行实时分析处理。您可以将通知配置为按对象名称的前缀或后缀进行筛选。
假设在某大数据场景下，用户要求每隔5分钟对OBS中上传的“.mp4”后缀的视频文件进行一次归类。用户可以在OBS中创建一个DIS通知规则，规定在将带有“.mp4”后缀的视频文件上传到OBS桶时发送通知。一旦规则触发，OBS会发送通知给DIS，经DIS通道分发给下游的DLF。在DLF中经过开发，可实现每5分钟汇总一次DIS通知，并将这些通知中涉及的视频文件统一移动到OBS某个文件夹下，再对其进行进一步的分析处理。
约束与限制
- 需要使用IAM增加Tenant Administrator权限后才能设置、获取、删除DIS通知策略。使用DIS消息通知需要使用IAM创建对OBS云服务的委托，委托赋予的权限需为数据接入服务DIS的DIS User权限。
- 一个桶中最多同时配置10条DIS通知规则。
- 新创建的DIS通知将在5分钟之内生效。
- 一个桶的多条DIS通知规则不允许重复，即任意对象在发生任意事件时都不能同时匹配两条以上的DIS通知规则，重复规则会创建失败。
针对同一事件，如果配置了一条前后缀都为空的规则，则不允许再配置第二条规则。前后缀都为空表示对所有对象生效。
例如：针对Put事件，已存在一条规则A，定义的前缀是“abcd”，后缀是“.txt”。如果要创建另外一条针对Put事件的规则B，则规则B配置不同前后缀的结果如表1所示。
事件通知消息结构
OBS发布的事件通知消息是具有以下结构的JSON消息。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 |
{ "Records":[ { "eventVersion":"", //版本号，目前为"3.0" "eventSource":"", //消息源，固定为"OBS" "eventRegion":"", //事件所在的region "eventTime":"", //事件时间，格式为ISO-8601，示例：2020-07-10T09:24:11.418Z "eventName":"", //触发事件通知的事件名 "userIdentity":{ "ID":"" //触发事件的用户对应的计费ID }, "requestParameters":{ "sourceIPAddress":"" //请求的源IP }, "responseElements":{ "x-obs-request-id":"", //请求对应的requestid "x-obs-id-2":"" //帮助定位问题的特殊符号 }, "obs":{ "Version":"1.0", "configurationId":"", //此事件匹配的OBS中事件通知规则的名称 "bucket":{ "name":"examplebucket", "ownerIdentity":{ "ID":"" //桶拥有者的账号ID }, "bucket":"" //桶名 }, "object":{ "key":"", //对象名 "eTag":"", //对象的etag "size": , //对象的大小 "versionId":"null", //对象的版本ID "sequencer":"" //确定某个特定对象事件顺序的标识 } } } ] } |
请注意以下几点：
- 您可以通过“responseElements”键值来跟踪OBS的请求。其中，“x-obs-request-id”和“x-obs-id-2”均可用于跟踪单个请求，这两个参数的值即OBS响应请求时返回的值。
- “obs”键值包含了事件中涉及的桶和对象的相关信息。其中，对象键名称进行了URL编码，例如，“TEST/中 文.jpg”将变为“TEST%2F%E4%B8%AD+%E6%96%87%2F.jpg”。
二次开发时，如果使用OBS SDK下载此对象 ，则需要先对对象名进行URL解码，再调用下载接口。而如果直接使用浏览器访问此对象，则不需要解码。
- “sequencer”键值可以确定事件顺序。通常情况下，事件通知并非按照事件发生的顺序进行提示，但是创建对象（PUT）和删除对象（DELETE）的事件通知包含sequencer，该键值可帮助确定特定对象的事件顺序。比较同一对象键上的两个事件通知的十六进制sequencer字符串时，sequencer值越大，事件发生越晚。
- sequencer不能用于确定不同对象键上的事件顺序。
- sequencer确定的事件顺序仅供参考，该方法不适用于高可靠性系统。
消息示例：
- 测试消息-当您在桶上配置事件通知时，OBS会发送以下测试消息
{ "Service":"OBS", "Event":"TestEvent", "Time":"1970-01-01T00:00:00.000Z", "Bucket":"examplebucketname", "RequestId":"0002F4BCF6000001563B064B17B2094D", "HostId":"2Zf+b9AmbaBgNQ+YE8XU2j87DZaBNxu4TaMiOCTqpmkC2SA9ouf8TpB2SY5j3i4" } - 使用PUT请求创建对象时的示例消息-以下消息是OBS发布的ObjectCreated:Put事件的消息示例
{ "Records":[ { "eventVersion":"3.0", "eventSource":"OBS", "eventRegion":"cn-east-3", "eventTime":"2018-06-26T14:37:05.468Z", "eventName":"ObjectCreated:Put", "userIdentity":{ "ID":"71f3901173514e6988115ea2c26d1999" }, "requestParameters":{ "sourceIPAddress":"104.55.173.69" }, "responseElements":{ "x-obs-request-id":"9006000001643C86D03C300BE8860FA7", "x-obs-id-2":"2+/Ucr6uinCJAbUejWyQ+rhxkuf/K/9uoaXuewIi/SE9j4tU5LwaXTTlD1gvMv2o" }, "obs":{ "Version":"1.0", "configurationId":"ConfigurationId", "bucket":{ "name":"examplebucket", "ownerIdentity":{ "ID":"b4bf1b36d9ca43d984fbcb9491b6fce9" }, "bucket":"examplebucket" }, "object":{ "key":"object0001.txt", "eTag":"3b9680702b9a12733c5490d1b15c7607", "size":538, "versionId":"null", "sequencer":"000000001643C86D06576F5320000000" } } } ] }
由于潜在的Internet问题或电子邮件传送限制，有时通知可能无法成功送达HTTP或电子邮件终端节点。
前提条件
- 已创建DIS通道。创建通道的方法请参见《数据接入服务用户指南》。
- 已创建IAM委托，委托要求OBS在DIS通道所在项目拥有DIS User权限。创建委托的方法请参见委托其他云服务管理资源。
新建DIS通知规则
OBS支持通过控制台、API方式新建DIS通知规则，不支持通过SDK、OBS Browser+、obsutil方式新建DIS通知规则。
使用OBS控制台
- 在OBS管理控制台左侧导航栏选择“桶列表”。
- 在OBS管理控制台桶列表中，单击待操作的桶，进入“对象”页面。
- 在左侧导航栏单击“基础配置>事件通知”，进入“DIS通知”界面。
- 单击“创建”，系统弹出“创建DIS通知”对话框，如下所示。
图2 创建DIS通知
- 配置DIS通知参数，参数说明如表2所示。
表2 DIS通知参数说明 参数
说明
DIS通知名称
新增DIS通知的名称，由用户自定义。
名称只允许由大写或小写的英文字母、数字、下划线和连字符组成，且长度不超过256个字符。
事件
事件类型。目前，OBS支持对以下事件类型发送DIS通知。
- ObjectCreated：表示所有创建对象的操作，包含Put、Post、Copy对象以及合并段。
- Put：使用Put方法上传对象。
- Post：使用Post方法上传对象。
- Copy：使用copy方法复制对象。
- CompleteMultipartUpload：表示合并分段任务。
- ObjectRemoved：表示所有删除对象的操作。
- Delete：指定对象版本号删除对象。
- DeleteMarkerCreated：不指定对象版本号删除对象。
多个事件类型可以作用于同一个目标对象，例如：同时选择“事件类型”复选框中的Put、Copy、Delete等方法作用于某目标对象，则用户往该桶中上传、复制、删除符合前后缀规则的目标对象时，均会发送事件通知给用户。ObjectCreated包含了Put、Post、Copy和CompleteMultipartUpload，如果选择了ObjectCreated，则不能再选择Put、Post、Copy或CompleteMultipartUpload。同理如果选择了ObjectRemoved，则不能再选择Delete或DeleteMarkerCreated。
前缀
指定事件作用的目标对象的前缀。
说明：- 当前缀和后缀都不配置时，DIS通知规则将作用于桶中所有对象。
- 前缀可以为空，最大长度不超过1024个字符，且同一条规则中前缀和后缀长度相加也不能超过1024个字符。
- 同一桶的多条DIS规则间，前后缀不能重复和包含，详情参见约束与限制。
后缀
指定事件作用的目标对象的后缀。
说明：- 当前缀和后缀都不配置时，DIS通知规则将作用于桶中所有对象。
- 后缀可以为空，最大长度不超过1024个字符，且同一条规则中前缀和后缀长度相加也不能超过1024个字符。
- 文件夹是以“/”结尾的，“/”前的字符为文件夹名称。对文件夹的相关操作配置DIS通知规则时，如果要匹配后缀，后缀必须以“/”结尾。
- 同一桶的多条DIS规则间，前后缀不能重复和包含，详情参见约束与限制。
DIS通道
项目：选择DIS通道所在的项目。
项目用于管理和分类所有的云资源，包括DIS通道。创建DIS通道时，会要求指定通道所在项目。项目不同，对应的DIS通道也不相同，请先选择项目再选择DIS通道。
通道：选择事件通知需要发送到的DIS通道。DIS通道在DIS服务的控制台创建。
创建DIS通道的方法请参见《数据接入服务用户指南》。
IAM委托
需要把DIS相关的权限委托给OBS，OBS才能向DIS发送通知。
此处需要选择一个云服务委托，委托要求OBS在DIS通道所在项目拥有DIS Administrator或者DIS User权限。
创建委托的方法请参见委托其他云服务管理资源。
- 单击“确定”。
复制DIS通知规则
OBS支持通过控制台方式复制DIS通知规则，不支持通过API、SDK、OBS Browser+、obsutil方式复制DIS通知规则。
- 在OBS管理控制台左侧导航栏选择“桶列表”。
- 在OBS管理控制台桶列表中，单击待操作的桶，进入“对象”页面。
- 在左侧导航栏单击“基础配置>事件通知”，进入“DIS通知”界面。
- 单击“复制”。
- 选择复制源，即DIS通知规则所在的源桶。
- 从源桶复制DIS通知规则的操作为增量复制，不会删除当前桶已存在的DIS通知规则，与已存在的DIS通知规则冲突的规则不会复制。
- 源桶和目标桶的桶版本号都必须是3.0。
- 同源和目标桶必须在同一区域。
- 您可以按需移除不需要复制的DIS通知规则。
- 单击“确定”，将源桶的DIS通知规则复制到当前桶。
相关操作
您可以单击待操作的DIS通知后面的“编辑”，修改DIS通知规则；单击“删除”，删除DIS通知。
如果您要批量删除DIS通知，选中待删除的DIS通知，单击列表上方的“删除”，完成批量删除。
