文档首页/ 推荐系统 RES/ 用户指南/ 用户指南（旧版）/ 离线作业/ 排序策略
更新时间：2024-04-17 GMT+08:00
查看PDF
分享

排序策略

排序策略简介

排序策略用于训练排序模型，该模型将被用于对召回策略召回的候选集进行排序，以将推荐物品顺序调整到最优。排序模型可对LR、FM、FFM、DeepFM和PIN等模型进行训练，具体包括如下内容：

创建排序策略

创建排序策略操作步骤详情请参见排序策略。

作业一般需要运行一段时间，根据您的数据量和资源不同，训练时间将耗时几分钟到几十分钟不等。

您可以前往排序策略列表，查看作业的基本情况。在作业列表中，刚创建的作业“状态”为“计算中”，当作业“状态”变为“计算成功”时，表示作业运行结束，生成的候选集ID将使用于在线服务，为用户生成推荐列表。当作业“状态”变为“计算失败”时，您可以单击作业的名称，进入详情页面，通过查看日志等手段处理问题。

逻辑斯蒂回归-LR

逻辑斯蒂回归算法是一种广义的线性回归分析模型，常用于数据挖掘、疾病自动诊断、经济预测等领域。逻辑斯蒂回归算法通过在线性回归的基础上叠加一个sigmoid激活函数将输出值映射到[0,1]之间，是机器学习领域里常用的二分类算法。单击查看逻辑斯蒂回归详情信息。

表1 逻辑斯蒂回归参数说明

参数名称

说明

计算节点信息

用户可使用的计算资源种类。包括“8核|16GiB”、“8核|32GiB”、“8核|64GiB”、“16核|128GiB”。

训练数据的obs路径

单击选择特征工程排序样本预处理生成的训练数据所在的OBS路径。

即特征工程“排序样本预处理”结果保存路径下具体的训练文件路径。

测试数据的obs路径

单击选择特征工程排序样本预处理生成的测试数据所在的OBS路径。

即特征工程“排序样本预处理”结果保存路径下具体的测试文件路径。

特征值数量统计文件

该文件标识了每一个域下的特征数量，排序数据处理接口会生成这个文件，需要用户提供此文件完整路径。文件路径为特征工程中排序样本预处理作业输出数据的结果保存路径的“fields_feature_size”目录下文件名称是part-00000开头的文件，需要用户提供文件的OBS路径。

最大迭代轮数

模型训练的最大迭代轮数，默认50。

提前终止训练轮数

在测试集上连续N轮迭代AUC无提高时，迭代停止，训练提前结束，默认5。

初始化方法

模型参数的初始化方法。

  • normal：正态分布

    平均值：默认0

    标准差：0.001

  • uniform ：均匀分布

    最小值：默认-0.001，均匀分布的最小值，必须小于最大值。

    最大值：默认0.001，均匀分布的最大值，必须大于最小值。

  • xavier：

    初始化初始值为 均值为0，方差为 Var(wi)=1/nin 的均匀分布（高斯或者随机分布）。其中 nin 是该神经元的输入数目。

优化器类型
  • grad：梯度下降算法
    • 学习率：优化算法的参数，决定优化器在最优方向上前进步长的参数。默认0.001。
  • adam：自适应矩估计算法
    结合AdaGrad和RMSProp两种优化算法的优点，对梯度的一阶矩估计（First Moment Estimation，即梯度的均值）和二阶矩估计（Second Moment Estimation，即梯度的未中心化的方差）进行综合考虑，依次计算出更新步长。
    • 学习率：优化算法的参数，决定优化器在最优方向上前进步长的参数。默认0.001。
    • 数值稳定常量：为保证数值稳定而设置的一个微小常量。默认1e-8。
  • adagrad：自适应梯度算法
    对每个不同的参数调整不同的学习率，对频繁变化的参数以更小的步长进行更新，而稀疏的参数以更大的步长进行更新。
    • 学习率：优化算法的参数，决定优化器在最优方向上前进步长的参数。默认0.001。
    • 初始梯度累加和：梯度累加和用来调整学习步长。默认0.1。
  • ftrl：Follow The Regularized Leader
    适用于处理超大规模数据的,含大量稀疏特征的在线学习的常见优化算法。
    • 学习率：优化算法的参数，决定优化器在最优方向上前进步长的参数。默认0.1。
    • 初始梯度累加和：梯度累加和用来调整学习步长。默认0.1。
    • L1正则项系数：叠加在模型的1范数之上，用来对模型值进行限制防止过拟合。默认0。
    • L2正则项系数：叠加在模型的2范数之上，用来对模型值进行限制防止过拟合。默认0。

L2正则项系数

叠加在模型的2范数之上，用来对模型值进行限制防止过拟合。默认0。

正则损失计算方式

正则损失计算当前有两种方式。

  • full：指针对全量参数计算。
  • batch：则仅针对当前批数据中出现的参数计算
    说明：

    batch模式计算速度快于full模式。

保存根路径

单击选择训练结果在OBS中的保存根路径，训练完成后，会将模型和日志文件保存在该路径下。该路径不能包含中文。

因子分解机-FM

因子分解机算法是一种基于矩阵分解的机器学习算法，能够自动进行二阶特征组合、学习特征之间的关系，无需人工经验干预，同时能够解决组合特征稀疏的问题。

表2 因子分解机参数说明

参数名称

说明

计算节点信息

用户可使用的计算资源种类。“8核|16GiB”、“8核|32GiB”、“8核|64GiB”、“16核|128GiB”。

训练数据的obs路径

特征工程排序样本预处理生成的训练数据所在的OBS路径。

即特征工程“排序样本预处理”结果保存路径下具体的训练文件路径。

测试数据的obs路径

特征工程排序样本预处理生成的测试数据所在的OBS路径。

即特征工程“排序样本预处理”结果保存路径下具体的测试文件路径。

特征值数量统计文件

该文件标识了每一个域下的特征数量，排序数据处理接口会生成这个文件，需要用户提供此文件完整路径。文件路径为特征工程中排序样本预处理作业输出数据的结果保存路径的“fields_feature_size”目录下文件名称是part-00000开头的文件，需要用户提供文件的OBS路径。

最大迭代轮数

模型训练的最大迭代轮数，默认50。

提前终止训练轮数

在测试集上连续N轮迭代AUC无提高时，迭代停止，训练提前结束，默认5。

初始化方法

模型参数的初始化方法。

  • normal：正态分布

    平均值：默认0

    标准差：0.001

  • uniform ：均匀分布

    最小值：默认-0.001，均匀分布的最小值，必须小于最大值。

    最大值：默认0.001，均匀分布的最大值，必须大于最小值。

  • xavier：

    初始化初始值为 均值为0，方差为 Var(wi)=1/nin 的均匀分布（高斯或者随机分布）。其中 nin 是该神经元的输入数目。

优化器类型
  • grad：梯度下降算法
    • 学习率：优化算法的参数，决定优化器在最优方向上前进步长的参数。默认0.001。
  • adam：自适应矩估计算法
    结合AdaGrad和RMSProp两种优化算法的优点，对梯度的一阶矩估计（First Moment Estimation，即梯度的均值）和二阶矩估计（Second Moment Estimation，即梯度的未中心化的方差）进行综合考虑，依次计算出更新步长。
    • 学习率：优化算法的参数，决定优化器在最优方向上前进步长的参数。默认0.001。
    • 数值稳定常量：为保证数值稳定而设置的一个微小常量。默认1e-8。
  • adagrad：自适应梯度算法
    对每个不同的参数调整不同的学习率，对频繁变化的参数以更小的步长进行更新，而稀疏的参数以更大的步长进行更新。
    • 学习率：优化算法的参数，决定优化器在最优方向上前进步长的参数。默认0.001。
    • 初始梯度累加和：梯度累加和用来调整学习步长。默认0.1。
  • ftrl：Follow The Regularized Leader
    适用于处理超大规模数据的,含大量稀疏特征的在线学习的常见优化算法。
    • 学习率：优化算法的参数，决定优化器在最优方向上前进步长的参数。默认0.1。
    • 初始梯度累加和：梯度累加和用来调整学习步长。默认0.1。
    • L1正则项系数：叠加在模型的1范数之上，用来对模型值进行限制防止过拟合。默认0。
    • L2正则项系数：叠加在模型的2范数之上，用来对模型值进行限制防止过拟合。默认0。

L2正则项系数

叠加在模型的2范数之上，用来对模型值进行限制防止过拟合。默认0。

正则损失计算方式

正则损失计算当前有两种方式。

  • full：指针对全量参数计算。
  • batch：则仅针对当前批数据中出现的参数计算
    说明：

    batch模式计算速度快于full模式。

隐向量长度

分解后的特征向量的长度。默认10。

保存根路径

单击选择训练结果在OBS中的保存根路径，训练完成后，会将模型和日志文件保存在该路径下。该路径不能包含中文。

域感知因子分解机-FFM

域感知因子分解机是因子分解机的改进版本，因子分解机每个特征对其他域的隐向量都一致，而域感知因子分解机每个特征对其他每个域都会学习一个隐向量，能够达到更高的精度，但也更容易出现过拟合。单击查看域感知因子分解机详细信息。

表3 域感知因子分解机参数说明

参数名称

说明

计算节点信息

用户可使用的计算资源种类。“8核|16GiB”、“8核|32GiB”、“8核|64GiB”、“16核|128GiB”。

训练数据的obs路径

特征工程排序样本预处理生成的训练数据所在的OBS路径。

即特征工程“排序样本预处理”结果保存路径下具体的训练文件路径。

测试数据的obs路径

特征工程排序样本预处理生成的测试数据所在的OBS路径。

即特征工程“排序样本预处理”结果保存路径下具体的测试文件路径。

特征值数量统计文件

该文件标识了每一个域下的特征数量，排序数据处理接口会生成这个文件，需要用户提供此文件完整路径。文件路径为特征工程中排序样本预处理作业输出数据的结果保存路径的“fields_feature_size”目录下文件名称是part-00000开头的文件，需要用户提供文件的OBS路径。

最大迭代轮数

模型训练的最大迭代轮数，默认50。

提前终止训练轮数

在测试集上连续N轮迭代AUC无提高时，迭代停止，训练提前结束，默认5。

初始化方法

模型参数的初始化方法。

  • normal：正态分布

    平均值：默认0

    标准差：0.001

  • uniform ：均匀分布

    最小值：默认-0.001，均匀分布的最小值，必须小于最大值。

    最大值：默认0.001，均匀分布的最大值，必须大于最小值。

  • xavier：

    初始化初始值为 均值为0，方差为 Var(wi)=1/nin 的均匀分布（高斯或者随机分布）。其中 nin 是该神经元的输入数目。

优化器类型
  • grad：梯度下降算法
    • 学习率：优化算法的参数，决定优化器在最优方向上前进步长的参数。默认0.001。
  • adam：自适应矩估计算法
    结合AdaGrad和RMSProp两种优化算法的优点，对梯度的一阶矩估计（First Moment Estimation，即梯度的均值）和二阶矩估计（Second Moment Estimation，即梯度的未中心化的方差）进行综合考虑，依次计算出更新步长。
    • 学习率：优化算法的参数，决定优化器在最优方向上前进步长的参数。默认0.001。
    • 数值稳定常量：为保证数值稳定而设置的一个微小常量。默认1e-8。
  • adagrad：自适应梯度算法
    对每个不同的参数调整不同的学习率，对频繁变化的参数以更小的步长进行更新，而稀疏的参数以更大的步长进行更新。
    • 学习率：优化算法的参数，决定优化器在最优方向上前进步长的参数。默认0.001。
    • 初始梯度累加和：梯度累加和用来调整学习步长。默认0.1。
  • ftrl：Follow The Regularized Leader
    适用于处理超大规模数据的,含大量稀疏特征的在线学习的常见优化算法。
    • 学习率：优化算法的参数，决定优化器在最优方向上前进步长的参数。默认0.1。
    • 初始梯度累加和：梯度累加和用来调整学习步长。默认0.1。
    • L1正则项系数：叠加在模型的1范数之上，用来对模型值进行限制防止过拟合。默认0。
    • L2正则项系数：叠加在模型的2范数之上，用来对模型值进行限制防止过拟合。默认0。

L2正则项系数

叠加在模型的2范数之上，用来对模型值进行限制防止过拟合。默认0。

正则损失计算方式

正则损失计算当前有两种方式。

  • full：指针对全量参数计算。
  • batch：则仅针对当前批数据中出现的参数计算
    说明：

    batch模式计算速度快于full模式。

隐向量长度

分解后的表示特征的向量的长度。默认10。

保存根路径

单击选择训练结果在OBS中的保存根路径，训练完成后，会将模型和日志文件保存在该路径下。该路径不能包含中文。

深度网络因子分解机-DeepFM

深度网络因子分解机，结合了因子分解机和深度神经网络对于特征表达的学习，同时学习高阶和低阶特征组合，从而达到准确地特征组合学习，进行精准推荐。单击查看深度网络因子分解机详细信息。

表4 深度网络因子分解机参数说明

参数名称

说明

计算节点信息

用户可使用的计算资源种类。“8核|16GiB”、“8核|32GiB”、“8核|64GiB”、“16核|128GiB”。

训练数据的obs路径

特征工程排序样本预处理生成的训练数据所在的OBS路径。

即特征工程“排序样本预处理”结果保存路径下具体的训练文件路径。

测试数据的obs路径

特征工程排序样本预处理生成的测试数据所在的OBS路径。

即特征工程“排序样本预处理”结果保存路径下具体的测试文件路径。

特征值数量统计文件

该文件标识了每一个域下的特征数量，排序数据处理接口会生成这个文件，需要用户提供此文件完整路径。文件路径为特征工程中排序样本预处理作业输出数据的结果保存路径的“fields_feature_size”目录下文件名称是part-00000开头的文件，需要用户提供文件的OBS路径。

最大迭代轮数

模型训练的最大迭代轮数，默认50。

提前终止训练轮数

在测试集上连续N轮迭代AUC无提高时，迭代停止，训练提前结束，默认5。

初始化方法

模型参数的初始化方法。

  • normal：正态分布

    平均值：默认0

    标准差：0.001

  • uniform ：均匀分布

    最小值：默认-0.001，均匀分布的最小值，必须小于最大值。

    最大值：默认0.001，均匀分布的最大值，必须大于最小值。

  • xavier：

    初始化初始值为 均值为0，方差为 Var(wi)=1/nin 的均匀分布（高斯或者随机分布）。其中 nin 是该神经元的输入数目。

优化器类型
  • grad：梯度下降算法
    • 学习率：优化算法的参数，决定优化器在最优方向上前进步长的参数。默认0.001。
  • adam：自适应矩估计算法
    结合AdaGrad和RMSProp两种优化算法的优点，对梯度的一阶矩估计（First Moment Estimation，即梯度的均值）和二阶矩估计（Second Moment Estimation，即梯度的未中心化的方差）进行综合考虑，依次计算出更新步长。
    • 学习率：优化算法的参数，决定优化器在最优方向上前进步长的参数。默认0.001。
    • 数值稳定常量：为保证数值稳定而设置的一个微小常量。默认1e-8。
  • adagrad：自适应梯度算法
    对每个不同的参数调整不同的学习率，对频繁变化的参数以更小的步长进行更新，而稀疏的参数以更大的步长进行更新。
    • 学习率：优化算法的参数，决定优化器在最优方向上前进步长的参数。默认0.001。
    • 初始梯度累加和：梯度累加和用来调整学习步长。默认0.1。
  • ftrl：Follow The Regularized Leader
    适用于处理超大规模数据的,含大量稀疏特征的在线学习的常见优化算法。
    • 学习率：优化算法的参数，决定优化器在最优方向上前进步长的参数。默认0.1。
    • 初始梯度累加和：梯度累加和用来调整学习步长。默认0.1。
    • L1正则项系数：叠加在模型的1范数之上，用来对模型值进行限制防止过拟合。默认0。
    • L2正则项系数：叠加在模型的2范数之上，用来对模型值进行限制防止过拟合。默认0。

L2正则项系数

叠加在模型的2范数之上，用来对模型值进行限制防止过拟合。默认0。

正则损失计算方式

正则损失计算当前有两种方式。

  • full：指针对全量参数计算。
  • batch：则仅针对当前批数据中出现的参数计算
    说明：

    batch模式计算速度快于full模式。

隐向量长度

分解后的表示特征的向量的长度。默认10。

神经网络结构

神经网络的层数与每一层的神经元节点个数。默认400,400,400。

激活函数

神经网络中的激活函数，将一个（或一组）神经元的值映射为一个输出值。

  • relu
  • tanh
  • sigmoid

神经元值保留概率

神经网络前向传播过程中以该概率保留神经元的值。默认0.8。

保存根路径

单击选择训练结果在OBS中的保存根路径，训练完成后，会将模型和日志文件保存在该路径下。该路径不能包含中文。

核函数特征交互神经网络-PIN

核函数特征交互神经网络是深度网络因子分解机的改进版本，深度网络因子分解机通过向量点乘来计算特征之间的关系，而核函数特征交互神经网络使用不同的核（kernel）来对特征交互进行建模，以此来计算两个域中特征的相互关系，其中核的种类包括向量内积外积、矩阵乘法、神经网络等。利用核函数建模特征交互，实现了参数共享，减小了模型复杂度。单击查看核函数特征交互神经网络详细信息。

表5 核函数特征交互神经网络参数说明

参数名称

说明

计算节点信息

用户可使用的计算资源种类。“8核|16GiB”、“8核|32GiB”、“8核|64GiB”、“16核|128GiB”。

训练数据的obs路径

特征工程排序样本预处理生成的训练数据所在的OBS路径。

即特征工程“排序样本预处理”结果保存路径下具体的训练文件路径。

测试数据的obs路径

特征工程排序样本预处理生成的测试数据所在的OBS路径。

即特征工程“排序样本预处理”结果保存路径下具体的测试文件路径。

特征值数量统计文件

该文件标识了每一个域下的特征数量，排序数据处理接口会生成这个文件，需要用户提供此文件完整路径。文件路径为特征工程中排序样本预处理作业输出数据的结果保存路径的“fields_feature_size”目录下文件名称是part-00000开头的文件，需要用户提供文件的OBS路径。

最大迭代轮数

模型训练的最大迭代轮数，默认50。

提前终止训练轮数

在测试集上连续N轮迭代AUC无提高时，迭代停止，训练提前结束，默认5。

初始化方法

模型参数的初始化方法。

  • normal：正态分布

    平均值：默认0

    标准差：0.001

  • uniform ：均匀分布

    最小值：默认-0.001，均匀分布的最小值，必须小于最大值。

    最大值：默认0.001，均匀分布的最大值，必须大于最小值。

  • xavier：

    初始化初始值为 均值为0，方差为 Var(wi)=1/nin 的均匀分布（高斯或者随机分布）。其中 nin 是该神经元的输入数目。

优化器类型
  • grad：梯度下降算法
    • 学习率：优化算法的参数，决定优化器在最优方向上前进步长的参数。默认0.001。
  • adam：自适应矩估计算法
    结合AdaGrad和RMSProp两种优化算法的优点，对梯度的一阶矩估计（First Moment Estimation，即梯度的均值）和二阶矩估计（Second Moment Estimation，即梯度的未中心化的方差）进行综合考虑，依次计算出更新步长。
    • 学习率：优化算法的参数，决定优化器在最优方向上前进步长的参数。默认0.001。
    • 数值稳定常量：为保证数值稳定而设置的一个微小常量。默认1e-8。
  • adagrad：自适应梯度算法
    对每个不同的参数调整不同的学习率，对频繁变化的参数以更小的步长进行更新，而稀疏的参数以更大的步长进行更新。
    • 学习率：优化算法的参数，决定优化器在最优方向上前进步长的参数。默认0.001。
    • 初始梯度累加和：梯度累加和用来调整学习步长。默认0.1。
  • ftrl：Follow The Regularized Leader
    适用于处理超大规模数据的,含大量稀疏特征的在线学习的常见优化算法。
    • 学习率：优化算法的参数，决定优化器在最优方向上前进步长的参数。默认0.1。
    • 初始梯度累加和：梯度累加和用来调整学习步长。默认0.1。
    • L1正则项系数：叠加在模型的1范数之上，用来对模型值进行限制防止过拟合。默认0。
    • L2正则项系数：叠加在模型的2范数之上，用来对模型值进行限制防止过拟合。默认0。

L2正则项系数

叠加在模型的2范数之上，用来对模型值进行限制防止过拟合。默认0。

正则损失计算方式

正则损失计算当前有两种方式。

  • full：指针对全量参数计算。
  • batch：则仅针对当前批数据中出现的参数计算
    说明：

    batch模式计算速度快于full模式。

隐向量长度

分解后的表示特征的向量的长度。默认10。

神经网络结构

神经网络的层数与每一层的神经元节点个数。默认400,400,400。

激活函数

神经网络中的激活函数，将一个（或一组）神经元的值映射为一个输出值。

  • relu
  • tanh
  • sigmoid

神经元值保留概率

神经网络前向传播过程中以该概率保留神经元的值。默认0.8。

子网络结构

特征向量之间使用神经网络核来计算相互关系时，该神经网络的结构。默认40,5。

是否移除因子分解机

是否移除模型架构中的因子分解机部分，值为true则蜕变为带有核函数的DNN。默认关闭。

保存根路径

单击选择训练结果在OBS中的保存根路径，训练完成后，会将模型和日志文件保存在该路径下。该路径不能包含中文。
父主题： 离线作业

相关文档