中软国际数据治理专业服务解决方案实践

产品对异常检测需求持续增加，单个异常检测模型开发周期约6个月，无法快速生成模型。 同时需要投入1至2名算法专家进行数据清洗、特征分析、模型选择和验证等工作，模型开发成本高。 学件概念 学件可以重用已有学件进行开发，不必从头开发。 学件（Learnware）= 模型（model）+ 规约（specification）

查看更多 →

编辑学件 本章节介绍，如何修改自定义学件的算子组、算子、表单组和表单信息。 在JupyterLab环境编辑界面，单击界面右上角的图标，右侧区域展示算子区域。 通过“自定义 > 算法处理 > 加载数据”可以看到新增的“加载数据”算子。 右键单击“加载数据”，从下拉框中，选择“开发自定义模版”。

查看更多 →

KPI异常检测学件服务 创建项目 数据集 模型训练 模型管理 推理服务 父主题： 学件开发指南

查看更多 →

多层嵌套异常检测学件 创建项目 样例数据导入模型训练服务 模型训练 模型测试 父主题： 学件开发指南

查看更多 →

硬盘故障根因分析学件 创建项目 样例数据导入模型训练服务 根因分析 父主题： 学件开发指南

查看更多 →

训练数据可以是带标签或者不带标签的数据，测试数据一定是带标签的数据，方便评估模型执行效果。 查看学件项目预置的样例数据 等待学件项目创建完成后，在模型训练服务首页的项目列表中，找到创建完成的学件项目。单击项目所在行的图标。 进入项目编辑界面。 图1 学件项目 在菜单栏中，单击“数据集”，进入“数据集”界面。

查看更多 →

模型训练 将样例数据中的训练数据集加载至当前学件项目中，进行数据预处理和模型训练。 单击代码框左下方的“加载数据”，弹出“加载数据”代码框。 也可以单击界面右上角的，在弹出的算子框中，选择“学件 > 多层嵌套异常检测学件 > 加载数据”，添加“加载数据”代码框。 需要配置的参数如下所示，其余参数保持默认值即可。

查看更多 →

模型训练服务预置了KPI异常检测、多层嵌套异常检测、硬盘故障根因分析等多个学件，供用户直接利用学件能力，定制生成业务模型。 文档提供了所有学件的界面操作过程，从创建项目、数据集、模型训练、模型测试、模型推理到模型归档的全流程。 《自定义学件开发指南》 模型训练服务预置了学件，供用户直接使用。如果用户有算法，想要在

查看更多 →

SDK或者特定领域的学件SDK中。 如果需要将算子的变量暴露为参数，供用户输入，需要在代码中以“<变量名> = <变量值>”的格式体现，供后续开发表单时使用。 针对“加载数据”算子，可参考JupyterLab环境界面右上角内置的“数据处理 > 数据集 > 加载数据”算子进行定制。 学件主文件的代码样例，如下所示：

查看更多 →

如何将生物信息学软件封装为镜像并上传？ 本章节提供了在 EIHealth 平台创建FastQC应用的样例，帮助您快速熟悉平台的使用方法。 FastQC是一款高通量序列数据的质量检查工具，此样例基于开源的FastQC软件，将软件制作成镜像，上传至平台，并基于此镜像创建应用。应用创建完成

查看更多 →

根因分析 将样例数据中的训练数据集加载至当前学件项目中，进行数据预处理、根因分析和结果展示。 单击代码框左下方的“加载数据”。 弹出“加载数据”代码框，如图1所示。 也可以单击界面右上角的，在弹出的算子框中，选择“学件 > 硬盘故障根因分析 > 加载数据”，添加“加载数据”代码框。 参数说明如下所示：

查看更多 →

。系统通过数据看板，还提供了详尽的学习行为和结果数据统计分析，帮助教师和学生及时了解当前学情。 在线实验系统支持多种交互实验方式，例如WebIDE形式、命令行形式、Jupyter Notebook形式，以及完整桌面操作系统形式。可以有效地支持系统管理、编程开发、大数据、人工智能等

查看更多 →

自定义学件的能力来源包含如下两种： 学件代码由算法科学家提供基础稿，开发人员需要根据可信原则，对代码进行优化、抽象，并调试通过。 由开发人员根据业务场景和业务数据，利用公开库或NAIE SDK能力进行算法开发。 无论哪种场景，最终的学件代码都建议按照如下方式进行组织。 开发学件之前需要将业务代码

查看更多 →

目前“专家经验注入”是为Gpr数据集定制，如果用户使用Gpr数据集体验KPI异常检测学件的操作流程，可以先执行“专家经验注入”，再执行“开发推理”，那么专家经验会自动转成代码并关联到模型推理函数里面。 “开发推理”用于生成推理代码至推理文件“learnware_predict.py”中。当学件模型打包

查看更多 →

数据集实例：从下拉框中选择测试数据“fcn_yahoo_test”。 数据引用变量名：展开“高级配置”，配置“数据引用变量名”。因为学件项目引用了多份数据，分别为训练数据和测试数据，为避免冲突，修改测试数据的“数据引用变量名”为“datareference1”。 图1 加载数据 单击“加载数据”代码框左侧的图标。运行代码，绑定测试数据。

查看更多 →

通道完成通信。即使您是父虚拟机上的root用户，也不能访问或通过SSH连接到擎天Enclave。 密码学证明 擎天Enclave支持密码学证明。擎天Enclave支持通过密码学证明过程来证明其身份并与外部服务建立信任。证明过程需要使用证明文档，它包含对擎天Enclave运行环境的

查看更多 →

关键概念 镜像 运行生物信息学软件，往往由于不同的操作系统（Windows、Linux、Mac等）原因，无法实现统一的运维管理。同时，这些软件具有不同的版本和软件包，安装、使用过程复杂。将生物信息学软件封装成Docker镜像，可以使程序在不同的环境中运行，并通过EIHealth平

查看更多 →

单击“模型选择”代码框左侧的图标，运行代码。 运行结果如下所示： 特征推荐：学件推荐的特征，除了一些通用的特征（最值、均值等），还有一部分是专门为类似KPI做的异常检测效果比较好的特征。通常采用滑窗的方式做异常检测。目前所有窗口的长度，是根据数据的周期性、样本数、周期的个数等数据特点推荐的。窗口的长度均可以修改，如果

查看更多 →

。 ：推理服务发布失败，可重新发布。 等待推理服务发布成功后，单击学件模型所在行，对应“操作”列的图标。 进入推理服务快速验证界面，如图1所示。 图1 推理服务快速验证界面 验证信息栏默认是有json格式的验证数据。 示例如下所示： { "data3.csv": { "time":

查看更多 →

大容量数据库 大容量数据库背景介绍 表分区技术 数据分区查找优化 数据分区运维管理 父主题： 分区表

查看更多 →

模型训练 导入SDK 选择数据 特征画像 模型选择 训练模型 测试模型 开发推理 归档模型 父主题： KPI异常检测学件服务

查看更多 →