文档首页/ 可信智能计算服务 TICS/ API参考/ 计算节点API/ 数据集注册管理/ 创建或更新数据集
更新时间：2024-11-21 GMT+08:00
查看PDF
分享

创建或更新数据集

功能介绍

本接口用于创建或更新数据集。

- 根据是否存在id字段,判断是创建还是更新数据集
    - 返回数据集ID

调用方法

请参见如何调用API。

URI

POST /v1/agents/datasets

请求参数

表1 请求Header参数

参数

是否必选

参数类型

描述

X-Auth-Token

是

String

用户Token。

通过调用接口获取用户Token接口获取。

X-Language

是

String

根据自己偏好的语言来获取不同语言的返回内容，zh-cn或者en_us

Content-Type

是

String

消息体的类型（格式），必选，默认取值为“application/json”，有其他取值时会在具体接口中专门说明。
表2 请求Body参数

参数

是否必选

参数类型

描述

id

否

String

数据集id。

支持数字，英文字母，下划线，长度0-32

name

是

String

数据集名称。

支持英文字母，数字，下划线，特殊符号，只能以英文字母开头，特殊符号不包括?!.*?_$

长度0-128

description

否

String

描述

columns

是

Array of AgDatasetColumnVo objects

数据集字段信息

connector_id

是

String

连接器id。

支持数字，英文字母，下划线，长度0-32

connector_name

是

String

连接器名称。

支持英文字母，数字，下划线，特殊符号，只能以英文字母开头，特殊符号不包括?!.*?_$

长度0-128

data_type

是

String

连接器数据类型

1.RDS--云数据库类型

2.MYSQL--MySQL类型

3.DWS--高斯数据库类型

4.MRS--MapReduce数据类型

5.ORACLE--ORACLE数据类型

6.LOCAL_CSV--本地数据类型

ag_dataset_table

否

AgDatasetTableVo object

数据集表信息

ag_dataset_local

否

AgDatasetLocalVo object

本地数据集信息

ext_columns

否

Array of AgDatasetColumnVo objects

额外字段信息
表3 AgDatasetTableVo

参数

是否必选

参数类型

描述

data_id

否

String

数据集id。

支持数字，英文字母，下划线，长度0-32

db_schema

是

String

schema名称

table_name

是

String

表名
表4 AgDatasetLocalVo

参数

是否必选

参数类型

描述

data_id

否

String

数据集id。

支持数字，英文字母，下划线，长度0-32

file_type

是

String

数据集类型

delimiter

是

String

csv文件分隔符

is_header_exist

是

Boolean

数据文件是否包含表头

data_file_path

是

String

数据文件地址

id_file_path

否

String

id文件地址

config_file_path

否

String

配置文件地址

auto_generate_data

否

Boolean

是否自动生成数据，即纵向联邦学习样本对齐之后的流程是否使用样本对其结果自动过滤。

ext

否

LocalDatasetExtEntity object

扩展信息，包含multihot配置信息，样例："[{"features":"x1,x2,x3","field_size":50},{"features":"x4,x5,x6","field_size":120}]"
表5 LocalDatasetExtEntity

参数

是否必选

参数类型

描述

multihot_settings

否

Array of MultiHotGroup objects

multihot配置信息
表6 MultiHotGroup

参数

是否必选

参数类型

描述

features

否

Array of strings

用“,”连接的一组MultiHot特征

field_size

否

Integer

一组特征的取值种类总数
表7 AgDatasetColumnVo

参数

是否必选

参数类型

描述

comments

否

String

字段备注

data_id

否

String

数据集id。

支持数字，英文字母，下划线，长度0-32。

column_name

是

String

字段名称

data_type

否

String

字段类型

sql_col_privacy_type

否

String

sql数据集字段隐私分类。

1.UNIQUE_ID--唯一标识

2.SENSITIVE--敏感

3.NON_SENSITIVE--非敏感

fl_label_type

否

String

联邦学习字段标签分类

privacy_policy

否

String

字段数据处理隐私策略。

1.MASK--掩码

2.NONE--不处理

privacy_policy_ext

否

String

字段数据隐私处理具体描述

feature_type

否

String

特征类型

1.CONTINUOUS--连续型

2.DISCRETE--离散型

3.MULTIHOT--multihot型

field_size

否

Integer

只有离散类型特征支持该属性，表示离散特征取值范围

响应参数

状态码： 200

表8 响应Body参数

参数

参数类型

描述

id

String

数据集id。

支持数字，英文字母，下划线，长度32。

请求示例

  • 创建本地连接器数据集(LOCAL_CSV)

    post https://x.x.x.x:12345/v1/agents/datasets

{
  "name" : "test",
  "connector_id" : "connector1",
  "connector_name" : "localConnector",
  "data_type" : "LOCAL_CSV",
  "description" : "本地连接器数据集",
  "columns" : [ {
    "column_name" : "id",
    "data_type" : "string",
    "fl_label_type" : "UNIQUE_ID"
  }, {
    "column_name" : "user_id",
    "data_type" : "integer",
    "fl_label_type" : "FEATURE",
    "feature_type" : "DISCRETE",
    "field_size" : 193
  }, {
    "column_name" : "movie_id",
    "data_type" : "integer",
    "fl_label_type" : "FEATURE",
    "feature_type" : "DISCRETE",
    "field_size" : 187
  }, {
    "column_name" : "genres_0",
    "data_type" : "integer",
    "fl_label_type" : "FEATURE",
    "feature_type" : "MULTIHOT"
  }, {
    "column_name" : "genres_1",
    "data_type" : "integer",
    "fl_label_type" : "FEATURE",
    "feature_type" : "MULTIHOT"
  }, {
    "column_name" : "dummy_genres_0",
    "data_type" : "integer",
    "fl_label_type" : "FEATURE",
    "feature_type" : "MULTIHOT"
  }, {
    "column_name" : "dummy_genres_1",
    "data_type" : "integer",
    "fl_label_type" : "FEATURE",
    "feature_type" : "MULTIHOT"
  } ],
  "ag_dataset_local" : {
    "delimiter" : ",",
    "is_header_exist" : true,
    "data_file_path" : "/xx/",
    "id_file_path" : "",
    "config_file_path" : "",
    "dataset_id" : "",
    "auto_generate_data" : true,
    "dataset_name" : "test",
    "ext" : {
      "multihot_settings" : [ {
        "features" : [ "genres_0", "genres_1" ],
        "field_size" : 17
      }, {
        "features" : [ "dummy_genres_0", "dummy_genres_1" ],
        "field_size" : 10
      } ]
    }
  }
}

  • 创建数据集(RDS)

    post https://x.x.x.x:12345/v1/agents/datasets

{
  "name" : "test",
  "connector_id" : "4501a0d9fc474c4aa3a035580734a234",
  "connector_name" : "rds",
  "data_type" : "RDS",
  "description" : "is a test ",
  "ag_dataset_table" : {
    "db_schema" : "demo1",
    "table_name" : "dim_enterprise"
  },
  "columns" : [ {
    "column_name" : "credit_no",
    "data_type" : "STRING",
    "comments" : "企业号（企业社会信用代码）",
    "sql_col_privacy_type" : "NON_SENSITIVE",
    "privacy_policy" : "NONE"
  }, {
    "column_name" : "ent_name",
    "data_type" : "STRING",
    "comments" : "企业名称",
    "sql_col_privacy_type" : "NON_SENSITIVE",
    "privacy_policy" : "NONE"
  } ]
}

  • 创建数据集(DWS)

    post https://x.x.x.x:12345/v1/agents/datasets

{
  "name" : "test",
  "connector_id" : "57386dc0761b4e3bbaae5015bc0b1bbc",
  "connector_name" : "dws",
  "data_type" : "DWS",
  "description" : "",
  "ag_dataset_table" : {
    "db_schema" : "pmk",
    "table_name" : "pmk_configuration"
  },
  "columns" : [ {
    "column_name" : "config_param_name",
    "data_type" : "STRING",
    "comments" : "",
    "sql_col_privacy_type" : "NON_SENSITIVE",
    "privacy_policy" : "NONE"
  }, {
    "column_name" : "config_value",
    "data_type" : "STRING",
    "comments" : "",
    "sql_col_privacy_type" : "NON_SENSITIVE",
    "privacy_policy" : "NONE"
  } ]
}

响应示例

状态码： 200

创建或更新数据集成功

{
  "id" : "9c8eb77a731b455cb4183d170fcfc8ff"
}

状态码

状态码

描述

200

创建或更新数据集成功
父主题： 数据集注册管理

相关文档