数据湖工厂dlf 更多内容
  • 重新执行作业

    重新执行作业 通过调用API重新执行作业 通过DLF重新执行作业 父主题: 作业相关API

    来自:帮助中心

    查看更多 →

  • 查询作业详情

    查询作业详情 通过调用API查询作业详情 通过DLF进行作业监控及任务异常重新启动 父主题: 作业相关API

    来自:帮助中心

    查看更多 →

  • 入门实践

    如何查看表行数和库大小 在数据治理流程中,我们常常需要统计数据表行数或数据库的大小。其中,数据表的行数可以通过SQL命令或数据质量作业获取;数据库大小可以直接在数据目录组件中查看,详情可参考本实践。 通过数据质量对比数据迁移前后结果 数据对账对数据迁移流程中的数据一致性至关重要,数据对账的能力是

    来自:帮助中心

    查看更多 →

  • 查询作业实例详情

    参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 表3 参数说明 参数名 是否必选 参数类型 说明 jobName 是 String 作业名称

    来自:帮助中心

    查看更多 →

  • 元数据迁移

    创建元数据迁移任务 参数 参数说明 任务名称 填写待创建元数据迁移任务名称。 描述 所创建迁移任务的描述信息。 数据源类型 选择待迁移数据数据源类型。 DLF:第三方 数据湖 构建(Data Lake Formation,DLF MRS 数据库RDS(for MySQL) 开源HiveMetastore(for

    来自:帮助中心

    查看更多 →

  • 查询指定发布包详情

    参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 X-Auth-Token 否 String 使用Token认证时该字段必选,用户Token的长度要求如下:

    来自:帮助中心

    查看更多 →

  • 导出连接(待下线)

    作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 响应消息的Content-Type是application/octet-stream,需要解析转化为一个文件,可以参考解析响应消息体中的流样例代码。响应是一个压缩文件,文件名称格式是DLF_All_DataConnections

    来自:帮助中心

    查看更多 →

  • 修改连接(待下线)

    参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 Connection参数说明 参数名 是否必选 参数类型 说明 name 是 String 连

    来自:帮助中心

    查看更多 →

  • 示例场景说明

    本实践通过 DataArts Studio 服务的数据开发DLF组件和数据湖探索服务( DLI )对某电商商城的用户、商品、评论数据(脱敏后)进行分析,输出用户和商品的各种数据特征,可为营销决策、广告推荐、信用评级、品牌监控、用户行为预测提供高质量的信息。在此期间,您可以学习到数据开发模块脚本编辑、作业编辑

    来自:帮助中心

    查看更多 →

  • 查看日志时,系统提示“OBS日志文件不存在,请检查文件是否被删除或者没有OBS写入权限。”怎么办?

    s Studio数据开发默认会把日志写到dlf-log-{projectId}桶中,DataArts Studio数据服务默认会把日志写到dlm-log-{projectId}桶中。 如果“作业日志OBS路径”没有选择已有的OBS桶,首次运行作业时,默认的DLF桶创建不出来,无法

    来自:帮助中心

    查看更多 →

  • 删除作业

    参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 参数说明 参数名 是否必选 参数类型 说明 approvers 否 List<JobApprover>

    来自:帮助中心

    查看更多 →

  • 查看作业日志,但是日志中没有内容?

    解决方案 方式1:用户在 对象存储OBS 中创建以“dlf-log-{projectID}”命名的桶,并将操作权限赋予调度用户。 OBS路径仅支持OBS桶,不支持并行文件系统。 方式2:在IAM用户权限中增加全局OBS管理员权限。 父主题: 数据开发

    来自:帮助中心

    查看更多 →

  • MRS 2.0.6.1补丁说明

    解决的问题 MRS 2.0.6.1 修复问题列表: MRS Manager 优化补丁机制 解决偶现获取监控指标为空的问题 解决DLF+Presto查询时字段中包含换行符,数据和文件显示问题。 补丁兼容关系 无 安装补丁的影响 安装MRS 2.0.6.1补丁期间会重启MRS Manager,

    来自:帮助中心

    查看更多 →

  • 查询连接详情(待下线)

    参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 表3 Connection参数说明 参数名 是否必选 参数类型 说明 name 是 String

    来自:帮助中心

    查看更多 →

  • 批量导出作业

    String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 参数说明 参数名 是否必选 参数类型 说明 jobList 是 列表数据结构 要导出的作业名称列表,一次最多支持导出100个作业。 exportDepend

    来自:帮助中心

    查看更多 →

  • 默认密钥如何生成?

    Service,KPS) csms/default 云凭据管理服务(Cloud Secret Management Service, CS MS) dlf/default 数据治理中心(DataArts Studio) 父主题: 密钥管理类

    来自:帮助中心

    查看更多 →

  • 导入连接(待下线)

    导入连接(待下线) 连接管理能力由管理中心统一提供,相关接口已经不维护了,推荐使用管理中心API。 功能介绍 将存放在OBS桶的连接文件导入到数据开发模块中,一次可以导入一个或多个连接。执行本接口之前,需要将连接文件放到OBS的桶中。 调试 您可以在 API Explorer 中调试该接口,支持自动认证鉴权。

    来自:帮助中心

    查看更多 →

  • 创建任务

    object 元数据发现参数。 表5 MetaDataMigrationParameter 参数 是否必选 参数类型 描述 datasource_type 是 String 数据源类型: ALIYUN_DLF代表Data Lake Formation DLF、 MRS_RDS_

    来自:帮助中心

    查看更多 →

  • 查询连接列表(待下线)

    参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 参数名 是否必选 参数类型 说明 total 是 Integer 总的连接个数 connections

    来自:帮助中心

    查看更多 →

  • 示例场景说明

    示例场景说明 本实践通过DataArts Studio服务的数据集成 CDM 组件、数据开发DLF组件和数据仓库服务(DWS)对电影评分原始数据进行分析,输出评分最高和最活跃Top10电影。您可以学习到数据集成模块的数据迁移和数据开发模块的脚本开发、作业开发、作业调度等功能,以及DWS SQL基本语法。

    来自:帮助中心

    查看更多 →

  • 什么是默认密钥?

    Service,KPS) csms/default 云凭据管理服务(Cloud Secret Management Service,C SMS dlf/default 数据治理中心(DataArts Studio) 默认密钥是在用户第一次通过对应云服务使用KMS加密时自动生成的。 父主题: 密钥管理类

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了