华为云

面向未来的智能世界,数字化是企业发展的必由之路。数字化成功的关键是以云原生的思维践行云原生,全数字化、全云化、AI驱动,一切皆服务。

华为云将持续创新,携手客户、合作伙伴和开发者,致力于让云无处不在,让智能无所不及,共建智能世界云底座。

 
 

    华为dlf 更多内容
  • 通过DLF重新执行作业

    从“节点库”中选择“数据集成”下的“RestClient”节点,拖拽节点如图1所示。“RestClient”节点参数配置说明请参见 “数据治理中心 DataArts Studio>用户指南>数据开发>节点> Rest Client”。 图1 重新执行作业节点配置 使用DLF时,无需进行鉴权。

    来自:帮助中心

    查看更多 →

  • 数据开发错误码

    目录下有数据无法删除。 请先删除目录下数据。 400 DLF.6259 A resource with the same name already exists in the directory. 目录下已经存在同名的资源。 请检查目录下是否存在同名的资源。 400 DLF.6263

    来自:帮助中心

    查看更多 →

  • 终端节点Endpoint

    myhuaweicloud.com,具体如表2所示。 DLF数据开发V2接口:dayu.{region_id}.myhuaweicloud.com,具体如表2所示。 DataArts Studio其他组件接口(如管理中心、数据架构、数据质量、数据目录、数据服务、数据安全、数据地图等):dayu.{region_id}

    来自:帮助中心

    查看更多 →

  • 通过DLF进行作业监控及任务异常重新启动

    是否需要重新执行任务。 以上功能,我们也可以使用数据治理中心 DataArts Studio,通过拖拽的方式完成配置。具体操作步骤如下: 登录数据治理中心 DataArts Studio管理控制台,在控制台的左侧导航栏,选择“数据开发 > 作业开发”。 在“工作区”页面的右侧,单击“新建作业”。

    来自:帮助中心

    查看更多 →

  • 权限迁移

    权限迁移 操作场景 在完成元数据迁移后,可以将对应元数据的权限迁移至LakeFormation,迁移成功后为元数据绑定的默认Owner将会拥有元数据的操作权限。 前提条件 已参考元数据迁移完成元数据迁移。 当前用户具有OBS相关操作权限,且已创建用于存储数据的OBS并行文件系统。 需

    来自:帮助中心

    查看更多 →

  • 创建资源

    所在OBS路径为obs://dlf-test/hadoop-mapreduce-examples-2.4.1.jar,资源主Jar包所依赖的JAR包、properties文件为obs://dlf-test/depend1.jar","obs://dlf-test/depend2.

    来自:帮助中心

    查看更多 →

  • 在ECS上调试好的shell脚本,在DLF中shell脚本执行异常,如何处理?

    在ECS上调试好的shell脚本,在DLF中shell脚本执行异常,如何处理? 问题现象:在ECS上调试好的shell脚本,在DLF中shell脚本执行异常。 脚本内容是通过gsql连接dws查询某库表数据行数的。 ECS调试结果: DLF脚本运行结果: 处理方法: 添加如下两条命令:

    来自:帮助中心

    查看更多 →

  • 修改资源

    所在OBS路径为obs://dlf-test/hadoop-mapreduce-examples-2.4.1.jar,资源主Jar包所依赖的JAR包、properties文件为obs://dlf-test/depend1.jar","obs://dlf-test/depend2.

    来自:帮助中心

    查看更多 →

  • 入门实践

    如何查看表行数和库大小 在数据治理流程中,我们常常需要统计数据表行数或数据库的大小。其中,数据表的行数可以通过SQL命令或数据质量作业获取;数据库大小可以直接在数据目录组件中查看,详情可参考本实践。 通过数据质量对比数据迁移前后结果 数据对账对数据迁移流程中的数据一致性至关重要,数据对账的能力是

    来自:帮助中心

    查看更多 →

  • 系统策略更名详情

    ReadOnlyAccess DLF DLF Admin DLF FullAccess DLF Developer DLF Development DLF Operator DLF OperationAndMaintenanceAccess DLF Viewer DLF ReadOnlyAccess

    来自:帮助中心

    查看更多 →

  • 通过数据开发实现数据增量迁移

    通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台,借助DLF的在线脚本编辑、周期调度CDM的迁移作业,也可以实现增量数据迁移。 这里以DWS导入到OBS为例,介绍DLF配合CDM实现增量迁移的流程: 获取CDM作业的JSON

    来自:帮助中心

    查看更多 →

  • 开发一个MRS Flink作业

    --Flink作业资源包 wordcount --输入数据路径 obs://dlf-test/lkj_test/input/word.txt --输出数据路径 obs://dlf-test/lkj_test/output.txt 其中: obs://dlf-test/lkj_test/input/word

    来自:帮助中心

    查看更多 →

  • 通过数据开发实现数据增量迁移

    Studio服务的DLF组件提供了一站式的大数据协同开发平台,借助DLF的在线脚本编辑、周期调度CDM的迁移作业,也可以实现增量数据迁移。 这里以DWS导入到OBS为例,介绍DLF配合CDM实现增量迁移的流程: 获取CDM作业的JSON 修改JSON 创建DLF作业 获取CDM作业的JSON

    来自:帮助中心

    查看更多 →

  • 查询资源列表

    参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 表3 参数说明 参数名 是否必选 参数类型 说明 total 是 Integer 总的资源个数。

    来自:帮助中心

    查看更多 →

  • 元数据迁移

    空即可。 服务接入点 配置待迁移元数据服务接入点。 “数据源类型”为“DLF”时配置该参数。此外还需配置以下参数: Access Key:联系DLF服务运维人员获取AK信息。 Secret Key:联系DLF服务运维人员获取SK信息。 源Catalog 待迁移元数据所属Catalog名称。

    来自:帮助中心

    查看更多 →

  • (可选)获取认证信息

    cn-north-1 dayu-dlf.cn-north-1.myhuaweicloud.com HTTPS 华北-北京二 cn-north-2 dayu-dlf.cn-north-2.myhuaweicloud.com HTTPS 华北-北京四 cn-north-4 dayu-dlf.cn-north-4

    来自:帮助中心

    查看更多 →

  • 查询作业文件

    工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 表3 参数说明 参数名 是否必选 参数类型 说明 jobs 否 List<Job> 作业信息,参考表4 scripts 否 List<Script> 脚本信息,表5 表4 job字段数据结构说明 参数名

    来自:帮助中心

    查看更多 →

  • 查询发布包列表

    参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 X-Auth-Token 否 String 使用Token认证时该字段必选,用户Token的长度要求如下:

    来自:帮助中心

    查看更多 →

  • 查询资源详情

    "location": "obs://dlf-test/hadoop-mapreduce-examples-2.4.1.jar", "dependFiles": ["obs://dlf-test/depend1.jar","obs://dlf-test/depend2.jar"]

    来自:帮助中心

    查看更多 →

  • 数据开发概述

    数据开发概述 数据开发是一个一站式的大数据协同开发平台,提供全托管的大数据调度能力。它可管理多种大数据服务,极大降低用户使用大数据的门槛,帮助您快速构建大数据处理中心。 数据开发模块曾被称为数据湖工厂(Data Lake Factory,后简称DLF)服务,因此在本文中,“数据湖

    来自:帮助中心

    查看更多 →

  • 导出作业

    工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 响应消息的Content-Type是application/octet-stream,需要解析转化为一个文件,可以参考解析响应消息体中的流样例代码。响应是一个压缩文件,文件名称格式DLF_{job_name}

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了