数据工坊 DWR

如何测试算子 当算子功能代码开发完毕后，可以在DWR工作流中使用自定义工作流进行测试。请参考测试算子功能。

查看更多 →

(DWI)又称数据整合层。DWI整合多个源系统数据，源系统进来数据会有整合、清洗，基于三范式关系建模。 Data Warehouse Report (DWR)又称数据报告层。 DWR基于多维模型，和DWI层数据粒度保持一致。 图1 新建物理模型 手动新建表 架构师点击对应信息架构的物理模型名称进入设置。

查看更多 →

基本概念 工作流 工作流是DWR运行单位，其中可以包含一个或多个算子，客户可通过加入不同算子到工作流中实现高度自由化的数据处理功能。 算子 算子是DWR中的执行单位，是一个具有输入输出的完成功能模块。算子既有华为云提供的内置官方算子，也有经过华为云审核后的第三方算子。用户可以根据

查看更多 →

"privilege" : "ReadWrite", "databases" : [ "1", "2" ] }, { "name" : "db_user2", "type" : "acluser", "privilege" : "ReadWrite",

查看更多 →

--filename=/mnt/nfs/test_fio --bs=1M --iodepth=128 --size=10240M --readwrite=rw --rwmixwrite=30 --fallocate=none 其中，“/mnt/nfs/test_fio”为待测试的目标

查看更多 →

通过API异步启动工作流 DWR支持通过API异步启动已有工作流，详情参见API异步启动工作流。 父主题： 启动工作流

查看更多 →

发布算子 当完成算子开发、算子在工作流中的测试后，即可在DWR上将算子发布到算子市场。 操作步骤 在DWR控制台的“发布算子”页面，单击界面右上角的“发布公共算子”。 配置算子基本信息。 表1 配置基本信息 参数 说明 算子名称 不能与本用户已有的算子重名。 算子提供方 - 算子描述

查看更多 →

卷Access mode 参数类型：string 取值说明：自定义 默认值：ReadWriteMany 取值约束：可取 "ReadWriteOnce", "ReadOnlyMany", "ReadWriteMany" 使用建议：无 namespace 是 服务在集群内所在的命名空间

查看更多 →

您首先需要在FunctionGraph导入自定义算子需要的函数依赖包。然后需要在FunctionGraph创建自定义抽帧截图函数。之后需要在DWR工作流编排界面完成配置动态参数，创建同步工作流。最后触发工作流进行验证。 图1 操作流程 父主题： 抽帧截图（自定义算子）

查看更多 →

访问模式 选择csi-disk（云硬盘）时，访问模式为ReadWriteOnce (RWO)，即存储卷只能以读写模式被单个节点同时加载。 选择csi-nas（文件存储）或csi-obs（对象存储）时，访问模式为ReadWriteMany (RWX)，即存储卷能够以读写模式被多个节点同时加载。

查看更多 →

名>_{参数值} 对应的参数名请点击工作流详情后查看: 触发工作流: 注意:当参数名有下划线时，需将下划线转成%5F 直接在DWR工作流界面修改 进入DWR工作流界面并点击进入工作流详情 点击修改对参数进行修改 修改thumb_samp_dots为[11]，thumb_samp_maxlen为500，点击确定。

查看更多 →

所有开发者均可以创建用于数据处理的算子，审核通过后发布至DWR算子市场，开放给所有华为云用户使用。 当算子被华为云用户使用之后，算子发布者将会获得相应的收益，详情参见计费说明。 算子从API上线、开发、到发布的整个流程如图1所示，本节主要介绍如何使用DWR发布已开发好的算子到算子市场。 算子开发

查看更多 →

--filename=/mnt/nfs/test_fio --bs=1M --iodepth=128 --size=10240M --readwrite=rw --rwmixwrite=30 --fallocate=none 其中，“/mnt/nfs/test_fio”为待测试的目标

查看更多 →

，不具备对库的读和写权限。 当用户选择MongoDB连接迁移失败时，用户需查看MongoDB连接中用户的权限信息，确保对指定库具备ReadWrite权限。 父主题： 故障处理类

查看更多 →

instance updateReadAndWriteStrategy 批量修改实例读写比重 instance batchModifyReadAndWriteStrategy 查询是否开启读写分离 instance queryReadWriteSeparationSwitch 开启或关闭读写分离

查看更多 →

登录 函数工作流 控制台，左侧导航栏单击“函数流”。 单击“创建标准函数流”或“创建快速函数流”，进入新建函数流编排页面。 如果通过DWR侧创建的函数流，在console页面是没有编辑和删除权限，如需相关操作请在DWR侧执行。 在函数流编排区域，通过拖拽组件进行流程编排。 单击编辑框中的EG节点进行编辑。配置EG参数，参数说明如表1所示。

查看更多 →

--filename=/mnt/nfs/test_fio --bs=1M --iodepth=128 --size=10240M --readwrite=rw --rwmixwrite=30 --fallocate=none 其中，“/mnt/nfs/test_fio”为待测试的目标

查看更多 →

，不具备对库的读和写权限。 当用户选择MongoDB连接迁移失败时，用户需查看MongoDB连接中用户的权限信息，确保对指定库具备ReadWrite权限。 父主题： 数据集成（ CDM 作业）

查看更多 →

指定volume应该具有的访问模式。 ReadWriteOnce：该卷可以被单个节点以读/写模式挂载 说明： 集群版本为v1.13.10且storage-driver版本为1.0.19时，才支持此功能。 ReadOnlyMany：该卷可以被多个节点以只读模式挂载 ReadWriteMany：该卷可以被多个节点以读/写模式挂载

查看更多 →

archiveCommitsWith(20, 30).build()).build(); SparkRDDWriteClient<HoodieAvroPayload> client = new SparkRDDWriteClient<>(new HoodieSparkEngineContext(jsc)

查看更多 →

archiveCommitsWith(20, 30).build()).build(); SparkRDDWriteClient<HoodieAvroPayload> client = new SparkRDDWriteClient<>(new HoodieSparkEngineContext(jsc)

查看更多 →