数据工坊 DWR

Data+ Data+已下线，如果需要使用数据处理服务，可使用数据工坊 DWR。 详情请参见数据工坊 DWR。 配置Data+ 自定义函数开发规范 预置模板参数说明 Data+最佳实践 父主题： 数据处理

查看更多 →

OBS对DWR工作流进行授权。以使得DWR可以对OBS内的存储数据，按照您指定的顺序（如解析/转码/审核等）自动化处理。 进入“视频解析“算子工作流 打开控制台，在“服务搜索“框内搜索“DWR/数据工坊“并选择加载建议信息 选择“视频解析“算子 单击“创建工作流“ 在DWR服务中创建工作流

查看更多 →

数据处理介绍 DWR如何实现数据处理 DWR提供的近数据处理能力，可以对OBS内存储的数据，按照用户编排的工作流进行自动化处理（如解析、转码、截图等）。 DWR基于 函数工作流 FunctionGraph的函数能力，将复杂的业务处理逻辑编排为工作流，通过事件触发器或API驱动，自动化

查看更多 →

3.0 MRS 集群活动事件，例如集群创建和删除等。 OBS:DWR:ObjectCreated:COPY OBS应用事件源 OPENAPI 3.0 通过OBS Broswer+或Copy请求创建或覆盖对象。 OBS:DWR:ObjectCreated:POST OBS应用事件源 OPENAPI

查看更多 →

Web应用防火墙 支持哪些Web服务框架/协议？ Web应用防火墙部署在云端，与Web服务框架没有关系。 WAF通过对HTTP/HTTPS请求进行检测，识别并阻断SQL注入、跨站脚本攻击、网页木马上传、命令/代码注入、文件包含、敏感文件访问、第三方应用漏洞攻击、CC攻击、恶意爬虫扫

查看更多 →

快速处理是企业数据变现的核心诉求。DWR提供的高效、开放、易用的近数据处理能力，让视频处理、图片审核、文档压缩、灾难防治、数据搜索和推荐、办公协同、基因测序等场景的海量数据快速产生价值。 DWR的应用场景包括但不限于以下典型场景。 表1 DWR典型应用场景 应用场景 场景下支持的能力

查看更多 →

# ReadWriteOnce 以读写模式 mount 到单个节点； # ReadOnlyMany 以只读模式 mount 到多个节点； # ReadWriteMany 以读写模式 mount 到多个节点。 - ReadWriteOnce

查看更多 →

测试算子功能 当算子功能代码开发完毕后，可以在DWR工作流中使用或进行上线前的测试。本节主要介绍如何使用DWR的自定义工作流来测试算子的功能。 测试算子功能 登录DWR控制台， 在工作流页面点击“创建工作流”进入工作流编排界面。 将左侧“自定义”算子拖拽至编排区域。 鼠标单击各流

查看更多 →

Admin和readAnyDatabase。 在products数据库中角色为readWrite。 创建用户时同一数据库赋予多个角色 以下操作创建一个在products数据库中角色为readWrite和dbAdmin的用户，用户名为accountUser。 use products

查看更多 →

{"hostName": "DwrlssueT"} 响应示例 { "status": "success", "msg": null, "data": [ { "fieldName": "dwrId",

查看更多 →

enums.AclPublicReadWrite String 公共读写。 ObsClient.enums.AclPublicReadDelivered String 桶公共读，桶内对象公共读。 ObsClient.enums.AclPublicReadWriteDelivered String

查看更多 →

Admin和readAnyDatabase。 在products数据库中角色为readWrite。 创建用户时同一数据库赋予多个角色 以下操作创建一个在products数据库中角色为readWrite和dbAdmin的用户，用户名为accountUser。 use products

查看更多 →

按逻辑数据实体创建调度作业画布。 业务指标用到的逻辑数据实体，将每个逻辑数据实体放在一个画布中，包括ODS层、DWI层、DWR层基础数据，然后按照ODS层作业 > DWI层作业 > DWR层基础数据作业顺序排列。 业务指标未用到的逻辑数据实体，将5个逻辑数据实体放在一个画布中，包括ODS层、DWI层，然后按照ODS层作业

查看更多 →

dbHash、dbStats、find、killCursors、listIndexes、listCollections readWrite readWrite角色包含read角色的权限同时增加了对非系统集合数据的修改权限，但只对系统集合system.js有修改权限。 collSt

查看更多 →

该抽帧截图算子目前暂不支持中文对象。 方案架构 1. 用户使用对象 域名 向OBS发送请求 2. DWR收到请求同步执行位于FunctionGraph的视频截图抽帧算子实例，调用MPC服务 3. MPC服务完成抽帧截图，将结果写回租户桶 4. DWR读取租户桶并将结果返回给用户 方案优势 无需额外代码编写，快速构建视频抽帧截图应用。

查看更多 →

dbHash、dbStats、find、killCursors、listIndexes、listCollections readWrite readWrite角色包含read角色的权限同时增加了对非系统集合数据的修改权限，但只对系统集合system.js有修改权限。 collSt

查看更多 →

文件存储类型，当前支持标准文件协议类型（nfs-rw）。 name 创建的PVC名称。 accessModes 只支持ReadWriteMany，不支持ReadWriteOnly。 storage 存储容量，单位为Gi。 执行如下命令创建PVC。 kubectl create -f

查看更多 →

(DWI)又称数据整合层。DWI整合多个源系统数据，源系统进来数据会有整合、清洗，基于三范式关系建模。 DWR Data Warehouse Report (DWR)又称数据报告层。 DWR基于多维模型，和DWI层数据粒度保持一致。 DM Data Mart (DM) 又称数据集市。DM面向展现层，数据有多级汇总。

查看更多 →

存储容量，单位为Gi。 accessModes 指定读写模式，显示volume实际具有的访问模式。 支持配置“ReadWriteMany”（共享卷）与“ReadWriteOnce”（非共享卷） 执行如下命令创建PVC。 kubectl create -f pvc-evs-auto-example

查看更多 →

如图2所示，默认代码中只有一个handler函数，入参为两个： event ：触发事件信息，OBS事件触发的函数（DWR中称为算子）中event包含桶名，对象名。event也是自定义信息的承载体，DWR用户输入内容通过event中的动态参数（dynamic_source）保存。 context ：

查看更多 →

传统云上处理方式：使用云上存储服务和数据处理服务，数据写入存储服务后，再调用数据处理服务接口实现数据处理。 云上近数据处理方式：使用云上存储服务和DWR的近数据处理能力，数据写入存储服务后，自动触发DWR编排的工作流完成数据处理。 表1 数据处理方式对比 对比项 传统线下处理 传统云上处理 云上近数据处理 成本 软硬件自建自维，成本高

查看更多 →