中软国际数据治理专业服务解决方案实践

JupyterLab开发平台 创建特征工程 数据处理 模型训练 迁移学习 学件 模型归档 如何恢复异常的JupyterLab环境 父主题： 特征工程

查看更多 →

中选择“自动学习”。 在自动学习项目列表中，您可以查看到项目对应的“数据源”，单击此处链接，可直接跳转至创建项目时选择或者创建的数据集。 针对“预测分析”项目，其数据源指定的是一个OBS路径，并非数据集。其他类型的自动学习项目，其数据源为一个数据集。 图1 查看数据存储路径 将新增数据上传至OBS

查看更多 →

特征工程简介 用户可以通过特征工程对数据集进行数据处理、特征组合、特征转换等特征处理，最大限度的从原始数据中提取特征以供模型训练使用。此外，用户还可以将优质的特征工程发布成服务，以服务的形式对具备完全相同特征的数据进行预处理。 特征工程相关的基本概念： 特征工程：对数据进行特征处理操作的工程。

查看更多 →

过滤式特征选择 概述 过滤式特征选择根据特征对标签的重要性对特征进行筛选，特征重要性较高的特征，提升训练的精度和效率。 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型，dataframe为pyspark中的DataFrame类型对象 输出 参数

查看更多 →

功能模块 说明 数据接入模块 实现与各类数据源的接口、格式转换等。 数据管理模块 提供源数据、标注样本的存储、导入导出、查询等功能。 数据处理模块 主要实现数据的预处理，包括标签处理、缺失值填充、数据标准化等。 特征处理模块 主要实现对KPI的数据分布特征进行分析，自动选择特征及参数。并提供四大类，80+特征的自动提取。

查看更多 →

提取水印 数据库水印提取 文档水印提取 图片水印提取 父主题： 数据水印

查看更多 →

文档水印提取 暗水印的水印内容不可见，需要用水印工具提取，数据安全中心控制台针对PDF、PPT、Word、Excel格式文件提供了提取水印的功能，本章节教您如何提取云上文件（文件存储在OBS桶）或者本地文件的水印内容。 前提条件 已完成OBS资产委托授权，参考云资产委托授权/停止授权进行操作。

查看更多 →

迁移学习 如果当前数据集的特征数据不够理想，而此数据集的数据类别和一份理想的数据集部分重合或者相差不大的时候，可以使用特征迁移功能，将理想数据集的特征数据迁移到当前数据集中。 进行特征迁移前，请先完成如下操作： 将源数据集和目标数据集导入系统，详细操作请参见数据集。 创建迁移数据J

查看更多 →

别二维码进行学习 操作路径：培训-学习-学习项目-更多-分享 图21 分享1 图22 分享2 数据监控 通过查看学员培训进度，监控学员学习状态 操作路径：培训-学习-学习项目-数据 图23 数据监控1 图24 数据监控2 任务监控统计的是以任务形式分派的学员学习数据 自学记录统计的是学员在知识库进行自学的学习数据

查看更多 →

机安全风险，实时发现黑客入侵行为，以及满足等保合规要求。 Web应用防火墙 WAF：对网站业务流量进行多维度检测和防护，结合深度机器学习智能识别恶意请求特征和防御未知威胁，全面避免网站被黑客恶意攻击和入侵。

查看更多 →

取消提取音频任务 功能介绍 取消提取音频任务，只有排队中的提取音频任务才可以取消。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI DELETE /v1.0/{pro

查看更多 →

全链路性能追踪：Web服务、缓存、数据库全栈跟踪，性能瓶颈轻松掌握。 故障智能诊断 业务痛点 海量业务下，出现百种指标监控、KPI数据、调用跟踪数据等丰富但无关联的应用运维数据，如何通过应用、组件和URL跟踪等多视角分析关联指标和告警数据，自动完成故障根因分析；如何基于历史数据学习与运维经验库，对异常事务智能分析给出可能原因。

查看更多 →

能测试服务）关联分析生成性能报表。 通过智能算法学习历史指标数据，APM多维度关联分析异常指标，提取业务正常与异常时上下文数据特征，通过聚类分析找到问题根因。 产品优势 非侵入式性能数据采集，无需修改业务代码即可轻松接入APM，数据源包括如下： Java探针：基于业界Pinpoi

查看更多 →

支持样本平衡性综合分析，便于用户直观的了解数据集中不同类别样本的分布情况，判断样本集的分布平衡性，并可在组织内共享数据集。 图10 数据均衡性分析 图11 共享样本数据库管理 全流程可视化自主训练，用户可选择网络结构、数据集利用云端算力进行自动学习，也可以利用notebook进行算法开

查看更多 →

FEATURE_SELECTION(特征选择) MODEL_TRAIN(模型训练) MODEL_EVALUATION(特征评估) MODEL_PREDICT(模型预测) learning_rate String 纵向联邦算法学习率，最大长度16 label_dataset String 标签数据集，最大长度100

查看更多 →

FEATURE_SELECTION(特征选择) MODEL_TRAIN(模型训练) MODEL_EVALUATION(特征评估) MODEL_PREDICT(模型预测) learning_rate 否 String 纵向联邦算法学习率，最大长度16 label_dataset 否 String 标签数据集，最大长度100

查看更多 →

内。 非结构化数据文件明水印在注入时，需限制文件大小在20MB之内。 不支持为已注入水印的文件再次注入水印。 结构化数据文件水印嵌入的数据有以下要求： 待嵌入水印的源数据需要大于等于5000行。小于5000行的源数据有可能因为特征不够导致提取水印失败。 尽量选取数据取值比较多样的

查看更多 →

数据结构 当数据源创建完成，您可以进入数据源详情页面进行数据质量管理操作。数据质量管理操作可以将离线数据源经过数据特征抽取，生成推荐系统内部通用的数据格式。经过数据质量检测来确保数据的合法性。 数据结构介绍 数据结构步骤的主要目的是读取用户上传的离线数据，解析用户特征和物品特征中

查看更多 →

String “代理id1.数据集名1.租户别名1,代理id2.数据集名2.租户别名2”格式的字符串 features 否 Array of DatasetFeatureEntity objects 所选数据集特征 label_dataset 否 String 标签数据集，最大长度100 label

查看更多 →

8：图像的饱和度与训练数据集的特征分布存在较大偏移。 9：图像的色彩丰富程度与训练数据集的特征分布存在较大偏移。 10：图像的清晰度与训练数据集的特征分布存在较大偏移。 11：图像的目标框数量与训练数据集的特征分布存在较大偏移。 12：图像中目标框的面积标准差与训练数据集的特征分布存在较大偏移。

查看更多 →

全链路性能追踪：Web服务、缓存、数据库全栈跟踪，性能瓶颈轻松掌握。 故障智能诊断 业务痛点 海量业务下，出现百种指标监控、KPI数据、调用跟踪数据等丰富但无关联的应用运维数据，如何通过应用、服务、实例、主机和事务等多视角分析关联指标和告警数据，自动完成故障根因分析；如何基于历史数据学习与运维经验库，对异常事务智能分析给出可能原因。

查看更多 →