数据湖工厂dlf 更多内容
  • 重新执行作业

    重新执行作业 通过调用API重新执行作业 通过DLF重新执行作业 父主题: 作业相关API

    来自:帮助中心

    查看更多 →

  • 查询指定发布包详情

    "ei_dlf_l00341563", "task_type": 2, "update_type": 1 } ] } 失败响应 HTTP状态码 400 { "error_code": "DLF.3051"

    来自:帮助中心

    查看更多 →

  • 查询作业详情

    查询作业详情 通过调用API查询作业详情 通过DLF进行作业监控及任务异常重新启动 父主题: 作业相关API

    来自:帮助中心

    查看更多 →

  • 导出连接(待下线)

    cation/octet-stream,需要解析转化为一个文件,可以参考解析响应消息体中的流样例代码。响应是一个压缩文件,文件名称格式是DLF_All_DataConnections.zip,压缩文件里面的文件目录如下: connections ├─{dwsConnection}

    来自:帮助中心

    查看更多 →

  • 查询作业实例详情

    参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 表3 参数说明 参数名 是否必选 参数类型 说明 jobName 是 String 作业名称。

    来自:帮助中心

    查看更多 →

  • 删除作业

    删除作业 功能介绍 本接口用于删除DLF作业,调度中的作业不允许删除,若要删除调度中的作业,请先停止该作业。 调试 您可以在 API Explorer 中调试该接口,支持自动认证鉴权。 URI URI格式 DELETE /v1/{project_id}/jobs/{job_name}

    来自:帮助中心

    查看更多 →

  • 配置Kafka源端参数

    主题名称。支持单个topic。 cdm_topic 数据格式 解析数据时使用的格式: JSON:以JSON格式解析源数据 CS V格式:以CSV格式解析源数据。 JSON格式 消费组ID 用户指定消费组ID。 如果是从DMS Kafka导出数据,专享版请任意输入,标准版请输入有效的消费组ID。

    来自:帮助中心

    查看更多 →

  • 元数据迁移

    空即可。 服务接入点 配置待迁移元数据服务接入点。 “数据源类型”为“DLF”时配置该参数。此外还需配置以下参数: Access Key:联系DLF服务运维人员获取AK信息。 Secret Key:联系DLF服务运维人员获取SK信息。 源Catalog 待迁移元数据所属Catalog名称。

    来自:帮助中心

    查看更多 →

  • 查询连接详情(待下线)

    "kmsKey":"cdm-dlf", "agentName":"cdm-donotdelete", "sslEnable":false } } 失败响应 HTTP状态码 400 { "error_code":"DLF.6322", "error_msg":"The

    来自:帮助中心

    查看更多 →

  • 修改连接(待下线)

    参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 Connection参数说明 参数名 是否必选 参数类型 说明 name 是 String 连

    来自:帮助中心

    查看更多 →

  • 示例场景说明

    本实践通过 DataArts Studio 服务的数据开发DLF组件和 数据湖 探索服务( DLI )对某电商商城的用户、商品、评论数据(脱敏后)进行分析,输出用户和商品的各种数据特征,可为营销决策、广告推荐、信用评级、品牌监控、用户行为预测提供高质量的信息。在此期间,您可以学习到数据开发模块脚本编辑、作业编辑

    来自:帮助中心

    查看更多 →

  • 批量导出作业

    批量导出作业 功能介绍 此接口可以批量导出DLF作业定义,包括作业依赖的脚本和 CDM 作业定义。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/jobs/batch-export 参数说明 表1

    来自:帮助中心

    查看更多 →

  • 查看日志时,系统提示“OBS日志文件不存在,请检查文件是否被删除或者没有OBS写入权限。”怎么办?

    s Studio数据开发默认会把日志写到dlf-log-{projectId}桶中,DataArts Studio数据服务默认会把日志写到dlm-log-{projectId}桶中。 如果“作业日志OBS路径”没有选择已有的OBS桶,首次运行作业时,默认的DLF桶创建不出来,无法

    来自:帮助中心

    查看更多 →

  • 查询连接列表(待下线)

    "password":"*********", "kmsKey":"cdm-dlf", "agentName":"cdm-donotdelete", "sslEnable":false

    来自:帮助中心

    查看更多 →

  • 导入连接(待下线)

    633aabc9505/connections/import { "path":"obs://00zyx/2019-07-02/DLF_All_DataConnections.zip", "sameNamePolicy":"OVERWRITE", "params":[

    来自:帮助中心

    查看更多 →

  • 查看作业日志,但是日志中没有内容?

    解决方案 方式1:用户在 对象存储OBS 中创建以“dlf-log-{projectID}”命名的桶,并将操作权限赋予调度用户。 OBS路径仅支持OBS桶,不支持并行文件系统。 方式2:在IAM用户权限中增加全局OBS管理员权限。 父主题: 数据开发

    来自:帮助中心

    查看更多 →

  • MRS 2.0.6.1补丁说明

    解决的问题 MRS 2.0.6.1 修复问题列表: MRS Manager 优化补丁机制 解决偶现获取监控指标为空的问题 解决DLF+Presto查询时字段中包含换行符,数据和文件显示问题。 补丁兼容关系 无 安装补丁的影响 安装MRS 2.0.6.1补丁期间会重启MRS Manager,

    来自:帮助中心

    查看更多 →

  • 默认密钥如何生成?

    Service,KPS) csms/default 云凭据管理服务(Cloud Secret Management Service,C SMS dlf/default 数据治理中心(DataArts Studio) 父主题: 密钥管理类

    来自:帮助中心

    查看更多 →

  • 修改任务信息

    参数 是否必选 参数类型 描述 datasource_type 是 String 数据源类型: ALIYUN_DLF代表Data Lake Formation DLF、 MRS_RDS_FOR_MYSQL代表MRS云数据库RDS(for MySQL)、 OPEN_FOR_MYS

    来自:帮助中心

    查看更多 →

  • 创建任务

    参数 是否必选 参数类型 描述 datasource_type 是 String 数据源类型: ALIYUN_DLF代表Data Lake Formation DLF、 MRS_RDS_FOR_MYSQL代表MRS云数据库RDS(for MySQL)、 OPEN_FOR_MYS

    来自:帮助中心

    查看更多 →

  • CSS

    如果下拉框中未提供CDM集群,请访问CDM管理控制台创建集群。 数据连接 是 选择“数据连接”时,才需要配置。 选择已创建好数据连接。 请求类型 是 支持以下请求类型: GET POST PUT HEAD DELETE 请求参数 否 请求参数。 假设用户需要查询dlf_search索引中dlfdata映射类型的信息,请求参数可填写为:

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了