数据湖工厂dlf 更多内容
  • 查询多种类型的表信息

    70-01-01T00:00:00Z。 db_name String 数据库名。 dw_type String 数据连接类型,只读。 queue_name String dli数据连接执行sql所需的队列,数据连接类型为 DLI 时必须。 schema String DWS类型需要。

    来自:帮助中心

    查看更多 →

  • 查询实例下资源配额使用情况

    状态码: 200 表3 响应Body参数 参数 参数类型 描述 service_name String 所属服务,DLF数据开发;DA:数据目录;DQC:数据质量;DS:数据架构。 resource_code String 增量包类型,maxScheduleCapacity:作业节点

    来自:帮助中心

    查看更多 →

  • 立即执行作业

    如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 参数说明 参数名 是否必选 参数类型 说明 jobParams 否 List<JobParam> 作业立即执行的参数。 表4 JobParam数据结构说明 参数名 是否必选 参数类型

    来自:帮助中心

    查看更多 →

  • 删除脚本

    参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 参数说明 参数名 是否必选 参数类型 说明 approvers 否 List<JobApprover>

    来自:帮助中心

    查看更多 →

  • 修改作业名称

    参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 X-Auth-Token 否 String 使用Token认证时该字段必选,用户Token的长度要求如下:

    来自:帮助中心

    查看更多 →

  • 设置作业标签

    参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 X-Auth-Token 是 String IAM Token 最小长度:0 最大长度:4096 Content-Type

    来自:帮助中心

    查看更多 →

  • 导入作业

    导入作业 功能介绍 将存放在OBS桶的作业文件导入到DLF,一次可以导入一个或多个作业。 执行本接口之前,需要将作业文件放到OBS的桶中。 调试 您可以在 API Explorer 中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/jobs/import

    来自:帮助中心

    查看更多 →

  • 查询工作空间下资源配额使用情况

    en的值。 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 service_name String 所属服务,DLF:数据开发;DA:数据目录;DQC:数据质量;DS:数据架构。 resource_code String 增量包类型,maxSchedul

    来自:帮助中心

    查看更多 →

  • 查询数据开发细粒度连接列表

    objects 数据开发细粒度连接列表。 表5 DataWareHouseDTO 参数 参数类型 描述 dw_id String 数据连接ID。 dw_name String 数据连接名称。 dw_type String 数据连接类型: HIVE数据源 DWS数据源 SPARK数据源 dw_config

    来自:帮助中心

    查看更多 →

  • 执行脚本

    "2019-07-25" } } 响应示例 成功响应 HTTP状态码 200 失败响应 HTTP状态码 400 { "error_code":"DLF.6201", "error_msg":"The script does not exist." } 状态码 状态码请参见状态码。

    来自:帮助中心

    查看更多 →

  • 资产血缘(邀测)

    "806e2242-a579-4340-aed0-7c8f35ec52fa", "ep1_type_name" : "dlf.Job", "ep2_type_name" : "dlf.dws_sql", "propagate_tag" : "NONE" }, { "guid"

    来自:帮助中心

    查看更多 →

  • 产品优势

    Studio-DLF调度。 自建大数据生态的调度工具,如Airflow。 企业级多租户 基于表的权限管理,可以精细化到列权限。 基于文件的权限管理。 高性能 性能 基于软硬件一体化的深度垂直优化。 大数据开源版本性能。 跨源分析 支持多种数据格式,云上多种数据源、E CS 自建数据库以及线

    来自:帮助中心

    查看更多 →

  • 步骤4:服务退订(可选)

    OBS服务支持按需和包周期计费,套餐包暂不支持退订。本例中使用按需计费,完成后删除新建的存储桶即可;另外, DataArts Studio 作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中,在退订DataArts Studio后可以一并删除。 DWS DWS计费说明 DWS服

    来自:帮助中心

    查看更多 →

  • 查询系统任务详情

    d40ab3f0005" } ] } 失败响应 HTTP状态码 400 { "error_code":"DLF.20810", "error_msg":"Task[008aae2e675d3bcb01675d40ab3f0005] does

    来自:帮助中心

    查看更多 →

  • 发布任务包

    "package_id": 23 } ] } 失败响应 HTTP状态码 400 { "error_code": "DLF.0810", "error_msg": "Task does not exist." } 父主题: 作业开发API

    来自:帮助中心

    查看更多 →

  • 查询任务完成情况

    参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 X-Auth-Token 否 String IAM Token 最小长度:0 最大长度:4096 响应参数

    来自:帮助中心

    查看更多 →

  • 批量更新数据开发连接细粒度认证状态

    批量更新数据开发连接细粒度认证状态 功能介绍 批量更新数据开发连接细粒度认证状态。 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/security/fgac/dlf/datawarehouses 表1 路径参数 参数 是否必选 参数类型 描述

    来自:帮助中心

    查看更多 →

  • 查询实时作业运行状态

    如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 表3 参数说明 参数名 是否必选 参数类型 说明 name 是 String 解决方案名称 nodes 否 列表数据结构 节点状态列表 status 否 String

    来自:帮助中心

    查看更多 →

  • 查询脚本实例执行结果

    }] }], "status": "FINISHED" } 失败响应 HTTP状态码 400 { "error_code":"DLF.6201", "error_msg":"The script does not exist." } 状态码 状态码请参见状态码。

    来自:帮助中心

    查看更多 →

  • 步骤3:数据开发

    avg_rating desc limit 10 图2 脚本(top_rating_movie) 关键参数说明: 数据连接:步骤3中创建的DWS数据连接。 数据库:步骤5中创建的数据库。 脚本调试无误后,单击“保存并提交版本”提交该脚本,脚本名称为“top_rating_movie”。在后续开发并调度作业引用该脚本。

    来自:帮助中心

    查看更多 →

  • 权限策略

    户被授予授权项所对应的策略,该用户才能成功调用该接口。例如,用户要调用接口来查询作业列表,那么这个IAM用户被授予的策略中必须包含允许“dlf:job:list”的授权项,该接口才能调用成功。 支持的授权项 策略包含系统策略和自定义策略,如果系统策略不满足授权要求,管理员可以创建

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了