本体集成功能概述
本体集成是数据智能平台中用于连接外部数据与本体模型的关键能力。它通过数据流将外部数据源接入本体,完成数据抽取、清洗、映射和写入,使原始数据转化为本体可消费的结构化数据,建立起源端业务数据与目标本体之间的映射和同步通道。同时通过运维管理保障数据同步稳定运行,提供数据流调度作业管理与运行监控能力,支持查看实例执行详情与指标数据,并通过实例日志定位异常。
什么是数据流
数据流是指数据从源端(如数据库、日志、接口)出发,经过采集、清洗、计算等处理环节,最终流动到目标存储或消费方的完整传递与处理链路。
在数据智能平台的本体集成场景中,通过为数据流配置输入节点、输出节点定义数据流转逻辑,并按需设置调度策略。数据流调度执行成功后,MySQL等源端数据将按配置的节点流转逻辑写入目标本体,实现数据实时同步与本体感知。
为保障您的数据安全与隐私,请勿将某些敏感信息字段(如身份证号、手机号、银行卡号、企业机密信息等)上传至数据智能平台,避免隐私信息泄露。
- 输入节点:数据流的起点,用于定义数据流的输入来源,对应MySQL等源端数据表,为输出节点提供数据基础。
- 输出节点:数据流的终点,用于定义数据流的输出目标,对应目标本体(包括对象类型和关系类型),负责将处理后的数据写入本体。
为什么需要数据流集成
数据流集成能使杂乱的原始数据自动、规范、及时地流入本体,是本体数据消费的前置保障。具体体现以下方面:
- 数据标准化:将多源异构数据统一清洗、映射,转化为本体可消费的结构化数据。
- 自动化流转:替代人工搬运数据,降低运维成本,减少出错。
- 实时性:支持实时、周期调度,保证本体数据及时更新。
- 可追溯:完整链路记录,便于数据问题排查与溯源。
- 解耦:数据源与本体分离,源端变更不影响本体消费。
业务场景示例:通过数据流同步客户数据至本体
以客户数据同步为例,完整业务链路如下。
某企业业务系统中存在一张customer表,用于存储客户基本信息,包括客户编号、客户名称、手机号、所属地区等字段。同时,企业已在本体中定义了customer对象类型,用于描述客户实体及其属性。此时,可通过数据流该业务表向本体的数据接入,操作流程如下:
- 创建数据流,选择源端数据源及customer表作为输入节点。
- 添加本体输出节点,目标本体选择customer对象类型。
- 配置输入节点与输出节点的字段映射,将customer表的字段映射到customer对象类型的对应属性。
- 发布并调度数据流。
数据流执行成功后,customer表内的客户业务数据将按照映射规则自动写入本体的customer对象中。后续随着业务系统更新,有新增或更新客户数据时,数据流可按调度计划持续同步,确保本体中的客户数据及时更新。
