中软国际数据治理专业服务解决方案实践

自定义信息抽取模型 信息抽取模型简介 准备训练数据 创建模型 管理版本

查看更多 →

配置信息抽取后，为什么查询不到实体数据 问题描述 配置信息抽取后，查询不到实体数据。 问题原因 创建图谱后，需要发布图谱版本，才能查询图谱中的实体数据。 发布图谱版本 登录KG服务管理控制台，默认进入“我的图谱”页面。 在“我的图谱”页面，单击图谱卡片，进入图谱详情页面。 默认在

查看更多 →

随机森林回归特征重要性 概述 采用随机森林回归算法计算数据集特征的特征重要性 输入 参数 子参数 参数说明 inputs dataframe 参数必选，表示输入的数据集；如果没有pipeline_model和random_forest_regressor_model参数，表示直接

查看更多 →

随机森林分类特征重要性 概述 采用随机森林分类算法计算数据集特征的特征重要性 输入 参数 子参数 参数说明 inputs dataframe 参数必选，表示输入的数据集；如果没有pipeline_model和random_forest_classify_model参数，表示直接根

查看更多 →

输入参数列表，列表中的每个参数为“name,value”结构，请参考inputs数据结构参数说明。在“from-config-values”数据结构中，不同的源连接类型有不同的“inputs”参数列表，请参见源端作业参数说明下的章节。在“to-config-values”数据结构中，不同的目的连接类型有不同的“inp

查看更多 →

输入参数列表，列表中的每个参数为“name,value”结构，请参考inputs数据结构参数说明。在“from-config-values”数据结构中，不同的源连接类型有不同的“inputs”参数列表，请参见源端作业参数说明下的章节。在“to-config-values”数据结构中，不同的目的连接类型有不同的“inp

查看更多 →

离，避免数据泄漏，同时保证VPC内不同云服务间数据迁移时的传输安全。用户还可以使用VPN网络将本地数据中心的数据迁移到云服务，具有高度的安全性。 CDM 数据迁移以抽取-写入模式进行。CDM首先从源端抽取数据然后将数据写入到目的端，数据访问操作均由CDM主动发起，对于数据源（如RD

查看更多 →

单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置，但不建议超过集群最大抽取并发数上限。 目的端为 DLI 数据源时，抽取并发数建议配置为1，否则可能会导致写入失败。 图2 作业抽取并发数配置

查看更多 →

基本概念 数据目录 数据集的组织目录。 数据集 数据集是一种由数据所组成的集合，这些数据通常具有相似的特征或支撑目标。 数据集元数据 描述数据集数据具体特征的实体。 数据字典 描述数据集数据字段信息的集合。 样例数据 从数据集数据中随机抽取的10条数据，作为数据集数据的参考，供消费者或开发者参考使用。

查看更多 →

步骤5：配置信息抽取 本样例使用在创建信息抽取模型中自定义的抽取模型进行信息抽取。 在流水线构建页面，单击“信息抽取”，页面下方弹出“信息抽取”对话框，单击右侧按钮可以放大对话框。 填写信息抽取配置信息，如图13所示。 “抽取方式”：默认为“非结构化抽取”。 “抽取模型”：选择创建

查看更多 →

删除信息抽取项：单击待删除的信息抽取项操作栏的“删除”，即可删除信息抽取项。 按表1填写“数据类别”，“抽取项名称”和“抽取函数”。 表1 信息抽取项属性说明 属性 说明 数据类别 基础数据中描述实体类型的字段。 抽取项名称 抽取信息后的属性字段。 抽取函数 抽取信息时所使用的引用字

查看更多 →

单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置，但不建议超过集群最大抽取并发数上限。 目的端为DLI数据源时，抽取并发数建议配置为1，否则可能会导致写入失败。 图2 作业抽取并发数配置

查看更多 →

数据集的组织目录。 数据字典 描述数据集数据字段信息的集合。 数据源 数据源是指数据的来源，是提供某种所需要数据的器件或原始媒体。 数据模型 数据模型包含物理实体和逻辑实体，能快速完成ES、DWS、OBS三种数据源上的数据物化。 如果用户无HIVE和HDFS数据源，则该数据源不开放。 实体 实体

查看更多 →

128 图1 集群最大抽取并发数配置 作业抽取并发数的配置原则如下： 迁移的目的端为文件时，CDM不支持多并发，此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置，但不建议超过集群最大抽取并发数上限。

查看更多 →

128 图1 集群最大抽取并发数配置 作业抽取并发数的配置原则如下： 迁移的目的端为文件时，CDM不支持多并发，此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置，但不建议超过集群最大抽取并发数上限。

查看更多 →

出等。 是否定时执行：可选择作业是否定时自动启动。 抽取并发数：可设置同时执行的抽取任务数。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要先配置好OBS连接。 作业运行完是否删除：可选择是否自动删除作业。

查看更多 →

128 图1 集群最大抽取并发数配置 作业抽取并发数的配置原则如下： 迁移的目的端为文件时，CDM不支持多并发，此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置，但不建议超过集群最大抽取并发数上限。

查看更多 →

128 图1 集群最大抽取并发数配置 作业抽取并发数的配置原则如下： 迁移的目的端为文件时，CDM不支持多并发，此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置，但不建议超过集群最大抽取并发数上限。

查看更多 →

在“代码编辑”页签编辑json代码配置信息抽取时，可单击“交互界面”，切换至“交互界面”页签，查看信息抽取前后的相关字段。 单击“保存”，完成信息抽取。 如果创建多个数据源，请完成所有数据源的信息抽取配置。配置数据源请参见配置数据源。 示例 以一个电影实体为例，抽取信息前后的实体信息如图2所示，代码示例如下所示：

查看更多 →

出等。 是否定时执行：可选择作业是否定时自动启动。 抽取并发数：可设置同时执行的抽取任务数。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要先配置好OBS连接。 作业运行完是否删除：可选择是否自动删除作业。

查看更多 →

通用实体抽取流程 表1 通用实体抽取流程说明 流程 说明 详细指导 准备数据 在使用通用实体抽取工作流开发应用之前，您需要提前准备用于模型训练的数据，上传至OBS中。 准备数据 选择数据 在使用通用实体抽取工作流开发应用时，您需要新建或导入数据集，后续训练模型操作是基于您选择的数据集。

查看更多 →