提交特征工程作业

project_id

是

String

项目编号，用于资源隔离。获取方法请参见获取项目ID。

workspace_id

否

String

工作空间ID，默认为0

job_name

是

String

训练作业名称，最大长度为20字符。

job_description

否

String

训练作业描述，最大长度为256字符。

algorithm_type

是

String

算法类型

• INITIAL_PROFILES_GENERATION
• BUILD_RANK_UNIFORM_DATA_FROM_JSON

algorithm_parameters

是

JSON

算法参数，每一种算法都有其特定的参数。

• INITIAL_PROFILES_GENERATION，请参见表8
• BUILD_RANK_UNIFORM_DATA_FROM_JSON，请参见表9。

data_source

是

List

算法数据源配置

• INITIAL_PROFILES_GENERATION，数据源选择通用模板数据，
• BUILD_RANK_UNIFORM_DATA_FROM_JSON，数据源选择通用格式。

storage

是

JSON

请参见表6，存储平台。

offline_platform

是

JSON

请参见表3，离线计算平台信息。

platform

是

String

平台名称，最大长度64，支持DLI。

platform_parameter

是

JSON

请参见表4，平台参数。

computing_resource

否

String

指定DLI运行任务的资源规格。

config_load_path

是

String

读取配置源路径。

cluster_name

是

String

集群名称。

cluster_id

否

String

集群ID。

table_type_id

是

String

推荐通用数据模板

• 用户属性表USER_META
• 物品属性表ITEM_META
• 用户操作行为表USER_BEHAVIOR

数据格式请参见推荐系统离线数据源。

通用格式

• GENERAL_FORMAT

data_source_url

是

String

数据源路径，最大长度1000字符。

data_format

是

String

输入数据格式，可选值：csv、parquet、json、orc。

data_param

否

JSON

请参见表7，数据格式是csv的时候必选，其他可选。

start_time

否

String

文件开始时间，数据格式是json的时候必选，其他可选。

end_time

否

String

文件结束时间，数据格式是json的时候必选，其他可选。

user_profiles_table

否

JSON

用户属性存储表.请参见表8，

algorithm_type为INITIAL_PROFILES_GENERATION时必选。

item_profiles_table

否

JSON

物品属性存储表请参见表8，

algorithm_type为INITIAL_PROFILES_GENERATION时必选。

header

是

Boolean

是否显示表头。

delimiter

是

String

分割符，最大长度10个字符。

quote

是

String

引用字符，最大长度10个字符。

escape

是

String

转义字符，最大长度10个字符。

输出路径(result_path)

是

String

所有输出数据（用户物品特征、特征映射、域特征值数目统计结果、训练集、测试集）的存储都路径，文件夹。

全局特征配置文件路径(global_features_information_path)

是

String

该文件为JSON格式，包含特征名、特征大类、特征值类型。全局特征文件详细内容可以通过查询全局特征配置获取。

高级设置(writer_parameters)

否

JSON

请参见表10。

输出路径(result_path)

是

String

所有输出数据（用户物品特征、特征映射、域特征值数目统计结果、训练集、测试集）的存储都路径，文件夹。

全局特征配置文件路径(global_features_information_path)

是

String

该文件为JSON格式，包含特征名、特征大类、特征值类型。全局特征文件详细内容可以通过查询全局特征配置获取。

算子类型(rank_etl_type)

是

Enum

排序数据处理算子类型。

每一种排序算法都需要进行特定的数据处理，需要根据使用的排序算法来选择排序数据处理类型。

LR、FM、FFM、DEEPFM和Pin这五种算法的数据处理互相通用。

策略参数(rank_etl_parameters)

是

JSON

请参见表11，每一种排序算法的数据预处理参数。

save_mode

否

String

对结果保存路径中已有宽表数据的保留方式：

• new(否，不保留任何已有的数据)
• append(是，保留全部已有的数据)
• overwrite(覆盖，将相同日期下的数据覆盖掉，保留不同日期下的数据)

训练集测试集划分方式

(divide_by_time_or_rate)

是

String

按时间或比例划分训练集测试集。

可选值为TIME或RATE。

训练数据起始时间

(training_data_start_time)

否

Long

训练数据起始时间。

divide_by_time_or_rate为TIME时必填。取值不大于行为数据中的最大时间且不大于training_data_end_time。如：1541987933

训练数据终止时间

(training_data_end_time)

否

Long

训练数据终止时间。

divide_by_time_or_rate为TIME时必填。取值不大于行为数据中的最大时间且不小于training_data_start_time。如：1541987933

测试数据起始时间

(test_data_start_time)

否

Long

测试数据起始时间。

divide_by_time_or_rate为TIME时必填。取值不大于行为数据中的最大时间且不大于test_data_end_time。如：1541987933

测试数据终止时间

(test_data_end_time)

否

Long

测试数据终止时间。

divide_by_time_or_rate为TIME时必填。取值不大于行为数据中的最大时间且不小于test_data_start_time。如：1541987933

训练数据占比

(training_data_rate)

否

Double

训练数据在输入数据中的占比。divide_by_time_or_rate为RATE时必填。取值范围[0,1]。

测试数据占比

(test_data_rate)

否

Double

测试数据在输入数据中的占比。divide_by_time_or_rate为RATE时必填。取值范围[0,1]。

待提取用户特征

(user_features)

是

JSONArray

从全局特征文件提取输入的用户特征，对不同类型的特征进行相应的处理，处理后的数据用于排序模型训练。

特征必须来自用户属性配置表中定义的特征。

[{

"feature_name": "age",

"feature_type": "numerical",

"feature_type":"BASIC_INFO",

"feature_process_parameters": {

"discrete_method": "equal_distance_discrete",

"lower_limit": 0.0,

"upper_limit": 120.0,

"distance": 20

}

},

{

"feature_name": "user_tag",

"feature_type": "map",

"feature_type":"TAGS",

"feature_process_parameters": {

"value_preserve_number": 4

}

}]

待提取物品特征

(item_features)

是

JSONArray

从全局特征文件中提取输入的物品特征，对不同类型的特征进行相应的处理，处理后的数据用于排序模型训练。特征必须来自物品属性配置表中定义的特征。

[{

"feature_name": "product_name",

"feature_type": "string",

"feature_type":"BASIC_INFO",

"feature_process_parameters": {

}

},

{

"feature_name": "categories",

"feature_type": "strArray",

"feature_type":"BASIC_INFO",

"feature_process_parameters": {

"value_preserve_number": 3

}

}]

正反馈行为类型

(positive_behaviors)

是

List[String]

正反馈行为类型的样本将被转换为排序数据中的正样本。取值必须来自行为表中”actionType”字段的值。示例：

[click,collect,purchase,share]

负反馈行为类型

(negative_behaviors)

是

List[String]

负反馈行为类型的样本将被转换为排序数据中的负样本。取值必须来自行为表中”actionType”字段的值。示例：[view,dislike]

特征名称

(feature_name)

是

String

该特征的名称。

特征类型

(feature_type)

是

String

用户特征类型 ：

• BASIC_INFO，基础信息类
• TAGS，标签类
• CONTEXT，上下文类

物品特征类型

• BASIC_INFO，基础信息类
• TAGS标签类

特征值类型

(feature_value _type)

是

String

该特征值的类型，支持4种不同类型的特征值，分别为：

• 单值枚举型（string）：字符串型，每一个值都被当做是字符串来进行处理，大部分的特征值都属于这种类型；
• 单值数值型（numerical）：每一个值都是一个数值，一般需要对这种类型的特征值进行离散化处理以降低特征维度；
• 多值枚举型（strArray）：字符串数组型，每一个特征值都是一个不定长的字符串数组，例如商品的类别特征、用户的兴趣爱好等。排序预处理算子会将所有特征值规范到统一长度以便后续处理；
• KV数值型（map）：Map[String，Double]型，每一个特征值都是一个不定长的key-value对，例如用户画像、物品画像等特征。排序预处理算子会将所有特征值规范到统一长度以便后续处理。

特征处理参数

(feature_process_parameters)

是

JSON

每一种类型的特征都有其对应的处理方式，需要用户提供相应处理所需要的参数。示例：

{

"discrete_method":"equal_distance_discrete",

"lower_limit":0.0,

"upper_limit":120.0,

"distance":20

}

离散方法(discrete_method)

等距离散

(equal_distance_discrete)

最小值

(lower_limit)

否

Double

如果特征值小于该值，则会被视为异常值进行处理。

用户可根据业务经验来确定该值，如果用户未提供该值，则会统计出数据中该特征的最小值作为输入。取值为

[Double.Minvalue, Double.MaxValue)，

且必须小于参数“最大值”。

最大值

(upper_limit)

否

Double

如果特征值大于该值，则会被视为异常值进行处理。

用户可根据业务经验来确定该值，如果用户未提供该值，则会统计出数据中该特征的最大值作为输入。取值为

(Double.Minvalue, Double.Maxvalue],

且必须大于参数“最小值”。

距离

(distance)

是

Double

以该距离为间隔将特征区间划分为若干个片段，每一个片段对应一个离散值。取值为(0, Double.Maxvalue)。

等频离散

(equal_frequency_discrete)

最小值

(lower_limit)

否

Double

如果特征值小于该值，则会被视为异常值进行处理。

用户可根据业务经验来确定该值，如果用户未提供该值，则会统计出数据中该特征的最小值作为输入。取值为

[Double.Minvalue, Double.Maxvalue)

，且必须小于参数“最大值”。

最大值

(upper_limit)

否

Double

如果特征值大于该值，则会被视为异常值进行处理。

用户可根据业务经验来确定该值，如果用户未提供该值，则会统计出数据中该特征的最大值作为输入。取值为

(Double.Minvalue, Double.Maxvalue],

且必须大于参数“最小值”。

频率

(frequency)

是

Int

将特征值从小到大排列，每“频率”个值被划分为一个片段，每一个片段对应一个离散值。取值为(0, Int.Maxvalue)。

用户自定义离散

(user_define_discrete)

自定义区间列表

(period_list)

是

JSONArray

每一个区间的最小值、最大值、离散值都由用户来定义。

如果特征值位于某个区间的最小值最大值之间，则该特征值被离散为这个区间的离散值。

如果特征值不在用户定义的任何一个区间内，则被作为异常值进行处理。每一个区间都是半闭半开区间，即包含最小值但不包含最大值，不同区间之间不能重叠。示例：

[

{

"period_name": "young",

"lower_limit": 0.0,

"upper_limit": 18.0

} ,{

"period_name": "mid",

"lower_limit": 18.0,

"upper_limit": 60.0

} ,{

"period_name": "old",

"lower_limit": 60.0,

"upper_limit": 120.0

}

]

最小值

(lower_limit)

是

Double

该区间的最小值。取值范围

[Double.Minvalue, Double.Maxvalue)，

且必须小于参数“最大值”。

最大值

(upper_limit)

是

Double

该区间的最大值。取值范围

(Double.Minvalue, Double.Maxvalue]，

且必须大于参数“最小值”。

区间名称

(period_name)

是

String

该区间对应的名称。

值保留个数

(value_preserve_number)

否

Int

多值枚举型特征的特征值保留个数，如果实际的值数目大于该值，

则多余的值会被删除；如果实际的值数目小于该值，

则保留所有值；如果用户未提供该参数，则会统计出

数据中该多值特征的最大取值数目作为输入。取值范围[1, 100]。

值保留个数

(value_preserve_number)

否

Int

KV数值型特征的特征值保留个数，如果实际的值数目大于该值，

则多余的值会被删除；如果实际的值数目小于该值，

则保留所有值；如果用户未提供该参数，则会统计出

数据中该KV数值型特征的最大取值数目作为输入。取值范围[1, 100]。

job_name

String

作业名称。

job_id

String

作业的ID。

is_success

Boolean

请求是否成功。

error_message

String

请求失败时的错误信息，请求成功时无此字段。

error_code

String

请求失败时的错误码，请求成功时无此字段。

create_time

Long

作业的创建时间。

etl_uuid

String

候选集ID。