特征异常检测 概述 特征异常检测的方法包括箱型图（Box-plot）和AVF（Attribute Value Frequency） 箱型图用于检测连续值类特征的数据，根据四分位数检测异常特征。 AVF用于检测枚举值类特征的数据，根据枚举特征的取值频率及阈值检测异常特征。 箱型图异常检测

查看更多 →

分解机每个特征对其他域的隐向量都一致，而域感知因子分解机每个特征对其他每个域都会学习一个隐向量，能够达到更高的精度，但也更容易出现过拟合。FFM算法参数请参见域感知因子分解机。 深度网络因子分解机，结合了因子分解机和深度神经网络对于特征表达的学习，同时学习高阶和低阶特征组合，从而

查看更多 →

DeepFM DeepFM，结合了FM和深度神经网络对于特征表达的学习，同时学习高阶和低阶特征组合，从而达到准确地特征组合学习，进行精准推荐。 表2 深度网络因子分解机参数说明 参数名称 说明 名称 自定义策略名称，由中文、英文、数字、下划线、空格或者中划线组成，并且不能以空格开始和结束，长度为1~64个字符。

查看更多 →

整，如job、sex等字段均存在一定程度的缺失。为了不让机器理解形成偏差、以达到机器学习的使用标准，需要基于对数据的理解，对数据进行特征预处理。例如： job字段是多类别的变量，其值0、1、2实际没有大小之分，一般会将该特征转换成向量，如值为0用向量[1, 0, 0]表示，1用向量[0

查看更多 →

ip地址。 port integer AiEngine端所侦听的端口号。 max_epoch integer 模型每次训练的迭代次数上限。 learning_rate real 模型训练的学习速率，推荐缺省值1。 dim_red real 模型特征维度降维系数。 hidden_units

查看更多 →

Studio操作界面章节。 Step1 创建一个空算链 单击Launcher界面的MLS Editor，选择名为PySpark-2.4.5的Kernel，创建一个空的算链。 创建算链后，左侧界面自动跳转到资产预览界面。 图1 算链创建成功 Step2 使用ML Studio建模 从左侧资产浏览界面

查看更多 →

。 自动学习的关键技术主要是基于信息熵上限近似模型的树搜索最优特征变换和基于信息熵上限近似模型的贝叶斯优化自动调参。通过这些关键技术，可以从企业关系型（结构化）数据中，自动学习数据特征和规律，智能寻优特征&ML模型及参数，准确性甚至达到专家开发者的调优水平。自动深度学习的关键技术

查看更多 →

AI开发基本概念 机器学习常见的分类有3种： 监督学习：利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程，也称为监督训练或有教师学习。常见的有回归和分类。 非监督学习：在未加标签的数据中，试图找到隐藏的结构。常见的有聚类。 强化学习：智能系统从环境到行为映射的学习，以使奖励信号（强化信号）函数值最大。

查看更多 →

如图1中红色框所示，预置算子列表目前分为数据特征、输入输出、模型工程三大类。带标志的是算子类别，比如数据特征类，该类包含数据特征的子类数据分析、特征工程、数据处理及其算子。详细的预置算子说明请参考预置算子说明章节。 单击算子类对象前图标，即可展开显示子类和算子。 双击数据特征类，展开其子类数据分析、特征工程、数据

查看更多 →

binary_classification dim 使用英文逗号（,）分隔的三个整数，分别表示0次项、线性项及二次项的长度。 1,1,8 num_epochs 迭代数。 100 learn_rate 学习率。 0.01 param_lambda 使用英文逗号（,）分隔的三个浮点数，分别表示0次项、线性项及二次项的正则化系数。

查看更多 →

特征工程 如何选中全量特征列？ 算法工程处理的时候必须要先采样吗？ 特征处理操作完成后怎么应用于数据集全量数据？ 特征工程和算法工程的关系？ JupyterLab环境异常怎么处理？ 父主题： 常见问题

查看更多 →

特征工程 特征工程简介 Python和Spark开发平台 JupyterLab开发平台 父主题： 用户指南

查看更多 →

特征管理 特征操作接口 父主题： 应用模型

查看更多 →

特征工程 二值化 卡方选择 派生 特征转换 FP-growth 最小最大规范化 正则化 独热编码 主成分分析 离散化 标准化 字符串标签化 奇异值分解 过滤式特征选择 线性特征重要性 特征尺度变换 特征异常检测 特征异常平滑 gbdt编码模型训练 gbdt编码模型应用 父主题： 数据特征

查看更多 →

需要被进行尺度变换的特征名 - scale_method 尺度变换的方法 "ln" item_spliter 离散型特征的，iterm之间的分割符 "," kv_spliter 离散型特征KV的分割符 ":" 样例 输入数据 配置流程 运行流程 参数设置 输出结果 父主题： 特征工程

查看更多 →

由于发布后的数据集不会默认启动数据特征分析，针对数据集的各个版本，需手动启动特征分析任务。在数据特征页签下，单击“启动特征分析”。 在弹出的对话框中配置需要进行特征分析的数据集版本，然后单击“确定”启动分析。 “版本选择”，即选择当前数据集的已发布版本。 图1 启动数据特征分析任务 数据特征分析任务启动

查看更多 →

附录 名词解释 基本概念、云服务简介、专有名词解释： 企业主机安全 HSS：是服务器贴身安全管家，通过资产管理、漏洞管理、基线检查、入侵检测、程序运行认证、文件完整性校验，安全运营、网页防篡改等功能，帮助企业更方便地管理主机安全风险，实时发现黑客入侵行为，以及满足等保合规要求。 Web应用防火墙

查看更多 →

0版本之前未开启Kerberos认证的集群不支持访问权限细分。只有开启Kerberos认证才有角色管理权限， MRS 1.8.0及之后版本的所有集群均拥有角色管理权限。 MRS集群未开启kerberos认证，视为“不合规” MRS服务暂不支持集群创建完成后手动开启和关闭Kerberos服务，

查看更多 →

全局特征信息文件 在特征工程、在线模块，近线模块时都会用到该全局的特征信息文件。当上传的数据中的特征有变化时，用户需要同步更新该文件。该文件为JSON格式，包含特征名、特征大类、特征值类型。 表1 全局特征信息文件字段描述 字段名 类型 描述 是否必选 user_features

查看更多 →

是否为k:v的稀疏特征, 如果指定该列，soften_cols参数只支持选择稀疏特征列kv_col中的列名。 False kv_col 否 如果为稀疏特征，指定稀疏特征列名。 "kv" item_spliter 否 稀疏特征的分隔符。 "," kv_spliter 否 稀疏特征key和value的分隔符。

查看更多 →

特征工程：对数据进行特征处理操作的工程。 特征工程服务：将优质的特征工程发布成服务，用户可以直接调用该服务，对具备完全相同特征的数据进行特征处理。 特征工程任务：调用特征工程服务的过程。用户在调用特征工程服务的时候，需要基于特征工程服务新建任务。 特征工程管理页面 “特征工程”页面分为两个页签：特征处理工程和已发布服务。

查看更多 →