中软国际数据治理专业服务解决方案实践

只有发布后的数据集支持数据特征分析。发布后的Default格式数据集版本支持数据特征分析。 数据特征分析的数据范围，不同类型的数据集，选取范围不同： 对于标注任务类型为“物体检测”的数据集版本，当已标注样本数为0时，发布版本后，数据特征页签版本置灰不可选，无法显示数据特征。否则，显示已标注的图片的数据特征。

查看更多 →

离散特征分析 概述 离散值特征分析通过每个离散特征的gini，entropy，gini gain，information gain，information gain ratio等和每个离散值对应的gini，entropy指标，方便对离散特征进行理解。 输入 参数 子参数 参数说明

查看更多 →

数据特征 数据分析 数据处理 特征工程 父主题： 预置算子说明

查看更多 →

特征选择 删除列 删除特征列的场景有很多，例如：两个特征呈线性变化关系，为减少模型训练的开销，删除其中一个特征列。 操作步骤如下所示。 单击界面右上角的图标，选择“数据处理 > 特征选择 > 删除列”，界面新增“删除列”内容。 对应参数说明，如表1所示。 表1 参数说明 参数 参数说明

查看更多 →

CARBON类型。 如果原始数据表存储格式不满足要求，您可以通过 CDM 将原始数据直接导入到 DLI 中进行分析，无需上传OBS。 通过DLI分析数据 进入数据湖探索DLI控制台，参考DLI用户指南中的创建数据库创建数据库。 参考创建OBS表创建OBS外表，包括贸易统计数据库、贸易详单信息表和基础信息表。

查看更多 →

CARBON类型。 如果原始数据表存储格式不满足要求，您可以通过CDM将原始数据直接导入到DLI中进行分析，无需上传OBS。 通过DLI分析数据 进入数据湖探索DLI控制台，参考DLI用户指南中的创建数据库创建数据库。 参考创建OBS表创建OBS外表，包括贸易统计数据库、贸易详单信息表和基础信息表。

查看更多 →

bigkey_id 是 String 大key分析任务ID。 请求参数 无 响应参数 状态码： 200 表2 响应Body参数 参数 参数类型 描述 id String 大key分析记录ID。 instance_id String 实例ID。 status String 分析任务状态。 枚举值： waiting

查看更多 →

String 分析任务结束时间，格式为："2020-06-15T02:21:18.669Z"（创建分析任务时此值为null，不返回）。 num Integer 大key的数量。 keys Array of BigkeysBody objects 大key记录（创建分析任务时此值为null，不返回）。

查看更多 →

bigkey_id 是 String 大key分析任务ID。 请求参数 无 响应参数 状态码： 200 表2 响应Body参数 参数 参数类型 描述 id String 大key分析记录ID。 instance_id String 实例ID。 status String 分析任务状态。 枚举值： waiting

查看更多 →

修改数据源特征 功能介绍 修改数据源中的特征。 调试 您可以在 API Explorer 中调试该接口。 URI PUT /v2.0/{project_id}/workspaces/{workspace_id}/data-sources/{datasource_id}/data-struct

查看更多 →

设置大key自动分析配置 功能介绍 设置大key自动分析配置。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/instances/{instance_id}/bigkey/autoscan 表1 路径参数 参数 是否必选 参数类型 描述 project_id

查看更多 →

信息熵是通过计算数据集的特征列与标签列之间的相关性筛选出有价值的特征列。相关性越大，信息熵越大；相关性越小，信息熵越小。将信息熵由大到小排序，筛选出信息熵较大的有价值的特征列。 信息熵操作方法如下。 单击表头，选中一个特征列作为标签列。 选定列不同值数量不能超过100。 单击“特征操作”，从下拉框中选择“信息熵”。

查看更多 →

，对应到后面的特征选择、算法推荐，会有不同的策略，有效提升模型的构建效率。 单击“选择数据”左下方的“特征画像”。 新增“特征画像”内容，如图1所示。 图1 特征画像 单击“特征画像”代码框左侧的图标，运行代码。 通过运行结果左侧两个图可以直观的看一下原始数据和数据的密度分布图。运行结果右侧的参数说明，如表1所示。

查看更多 →

呼叫特征 表1 呼叫特征说明 值 说明 0 普通客户呼叫 1 来自话务员 2 长途客户呼叫 3 CTI收到网络路由实呼后发起的路由 4 国际长途来话 40 预约呼出 41 预占用呼出 42 预连接呼出 43 虚呼入呼出 44 预览呼出 45 回呼请求 51 内部求助 父主题： 附录

查看更多 →

筛选特征 样本对齐执行完成后单击下一步进入“特征选择”页面，这一步企业A需要选出企业A自己和大数据厂商B的特征及标签用于后续的训练。 企业A可以选择特征及标签后“启动分箱和IV计算”，通过联邦的统计算法计算出所选特征的iv值，一般而言iv值较高的特征更有区分性，应该作为首选的训练

查看更多 →

特征转换 概述 将对应列的数据乘以相应的权重得到新的列，只支持数字列。 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型，dataframe为pyspark中的DataFrame类型对象 输出 数据集 参数说明 参数 子参数 参数说明 input_columns_str

查看更多 →

查询大key自动分析配置 功能介绍 查询大key自动分析配置。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id}/bigkey/autoscan 表1 路径参数 参数 是否必选 参数类型 描述 project_id

查看更多 →

分析图数据 通过GES直接对图数据进行可视化分析。 前提条件 已完成开发并调度Import GES作业，且作业运行成功。 通过GES分析数据 进入图引擎服务GES控制台，在“图管理”页面中单击对应图后的“访问”按钮。 图1 访问图 参考访问图和分析图，对导入的图数据进行可视化分析。

查看更多 →

分析Hive数据 功能介绍 本小节介绍了如何使用样例程序完成分析任务。样例程序主要有以下方式。 使用JDBC接口提交数据分析任务。 使用HCatalog接口提交数据分析任务。 样例代码 使用Hive JDBC接口提交数据分析任务，参考样例程序中的JDBCExample.java。

查看更多 →

分析Impala数据 功能简介 本小节介绍了如何使用样例程序完成分析任务。本章节以使用JDBC接口提交数据分析任务为例。 样例代码 使用Impala JDBC接口提交数据分析任务，参考样例程序中的JDBCExample.java。 修改以下变量为false，标识连接集群的认证模式为普通模式。

查看更多 →

在当前界面，可以看到如下两个特征工程： HardDisk-Detect_Good：好盘特征工程，用于对好盘训练数据或测试数据，进行数据处理，并生成经过特征处理后的新数据。 HardDisk-Detect_Fail：坏盘特征工程，用于对坏盘训练数据或测试数据，进行数据处理，并生成经过特征处理后的新数据。

查看更多 →