中软国际数据治理专业服务解决方案实践

日志结构化概述 日志数据可分为结构化数据和非结构化数据。结构化数据指能够用数字或统一的数据模型加以描述的数据，具有严格的长度和格式。非结构化数据指不便于用数据库二维逻辑表来表现的数据，数据结构不规则或不完整，没有预定义的数据模型。 日志结构化是以日志流为单位，通过不同的日志提取方

查看更多 →

过滤器提供了非常强大的特性来帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器，而且可以实现自定义的过滤器。 协处理器 允许用户执行region级的操作，并且可以使用与RDBMS中触发器类似的功能。 keytab文件 存放用户信息的密钥文件。在安全

查看更多 →

a1/dfs”，其他盘的数据比较均衡。 原因分析 磁盘为卸载重装，有一个目录在上次卸载时未卸载干净，即添加的磁盘，未格式化，残留历史垃圾数据。 解决办法 手动清理未卸载干净的数据。 父主题： 使用HDFS

查看更多 →

表，导致向此字段写入空数据，需确保表映射正确。 Oracle产生的RedoLog中，UPDATE语句的字段中没有WHERE条件，导致缺少此字段的值，需添加UPDATE语句字段中的WHERE条件。 父主题： 数据集成组合任务

查看更多 →

处理非初级SQL数据类型 本节介绍如何处理ecpg应用中非标量以及用户定义的SQL级别的数据类型。注意此处和使用非初级类型的宿主变量章节中介绍的对于非初级类型的宿主变量的处理不同。 数组 ecpg不直接支持多维SQL级别数组。一维SQL数组可以被映射到C语言数组类型的宿主变量，反

查看更多 →

处理非初级SQL数据类型 本节介绍如何处理ecpg应用中非标量以及用户定义的SQL级别的数据类型。注意此处和使用非初级类型的宿主变量章节中介绍的对于非初级类型的宿主变量的处理不同。 数组 ecpg不直接支持多维SQL级别数组。一维SQL数组可以被映射到C语言数组类型的宿主变量，反

查看更多 →

处理非初级SQL数据类型 本节介绍如何处理ecpg应用中非标量以及用户定义的SQL级别的数据类型。注意此处和使用非初级类型的宿主变量章节中介绍的对于非初级类型的宿主变量的处理不同。 数组 ecpg不直接支持多维SQL级别数组。一维SQL数组可以被映射到C语言数组类型的宿主变量，反

查看更多 →

处理非初级SQL数据类型 本节介绍如何处理ecpg应用中非标量以及用户定义的SQL级别的数据类型。注意此处和使用非初级类型的宿主变量章节中介绍的对于非初级类型的宿主变量的处理不同。 数组 ecpg不直接支持多维SQL级别数组。一维SQL数组可以被映射到C语言数组类型的宿主变量，反

查看更多 →

} else { fmt.Println(err) } } 更多编程语言的SDK代码示例，请参见 API Explorer 的代码示例页签，可生成自动对应的SDK代码示例。 状态码 状态码 描述 201 请求响应成功。 400 BadRequest 非法请求

查看更多 →

查询结构化日志（新版） 功能介绍 该接口用于查询指定日志流下的结构化日志内容（新版）。 新版查询功能支持的局点信息请参考用户指南-日志可视化里的可视化章节。数据聚合结果不超过100亿条。仅支持分析最近30天内的数据，30天以上的数据不支持SQL分析。如您有更大的使用需求，请提工单申请。

查看更多 →

在“选择模板”下，选择“系统模板”，选择对应的系统模板，模板日志从对应的云服务接入，可以直接应用模板的数据模型作为示例日志。 选择模板后，“模板详情”中会自动显示对应的日志解析结果。 结构化配置时，如果使用系统模板，则系统模板中的时间为自定义日志时间。支持通过模板名称搜索模板，方便用户快速查询模板信息。 strin

查看更多 →

在“选择模板”下，选择“系统模板”，选择对应的系统模板，模板日志从对应的云服务接入，可以直接应用模板的数据模型作为示例日志。 选择模板后，“模板详情”中会自动显示对应的日志解析结果。 结构化配置时，如果使用系统模板，则系统模板中的时间为自定义日志时间。支持通过模板名称搜索模板，方便用户快速查询模板信息。 strin

查看更多 →

信息，完成信息抽取配置。 所支持的信息抽取函数请见信息抽取函数。 代码编辑 非结构化抽取 基础数据格式为txt文本的自然语言短句 通过选择合适的算法，完成信息抽取配置。 可选择已有的预置模型模板，也可选择您自定义的模型。 非结构化抽取 在通过结构化抽取方式进行信息抽取时，交互界面配置与代码编辑配置可以相互切换。

查看更多 →

连接器是承载在交换数据空间实例的基本组成元素，只有在同一空间实例下的连接器才可以交换数据。根据用户开通连接器时的连接器实例和确认的数据存储容量收费。具体内容如表1所示。 表1 连接器计费项 计费项 计费项说明 适用的计费模式 计费公式 连接器 连接器实例提供存储和交换数据的能力。 计费因子：规格。

查看更多 →

} else { fmt.Println(err) } } 更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。 状态码 状态码 描述 201 请求响应成功。 400 BadRequest 非法请求

查看更多 →

详情：操作后可以查看到结构化集成订单的详情数据 非结构化集成 图17 非结构化集成 新建：操作后跳转到非结构化集成新建任务页面 导出：勾选列表订单批量导出，不勾选默认为当前页面所有订单 刷新：刷新页面订单的最新数据 搜索：支持任务ID，任务名称或源表名称条件搜索，模糊搜索和精确搜索。 父主题： 数据集成平台操作手册

查看更多 →

函数及抽取前后的数据字段，才能进行配置信息映射、配置知识融合等操作。 基本概念 信息抽取是从基础数据中抽取待创建图谱的实体、属性信息以及实体间的相互关系。目的是从原始数据（包括结构化数据或非结构化数据）中抽取结构化的信息。 配置方式 信息抽取分为结构化抽取和非结构化抽取，其适用范围和抽取方式如表1所示。

查看更多 →

尽量选取数据取值比较多样的列嵌入水印，如果该列的值是可枚举穷尽的，则有可能因为特征不够导致提取失败。常见的适合嵌入水印的列如地址、姓名、UUID、金额、总数等。 数值整型字段嵌入水印可能会出现数据被修改的情况，请选择可以接受值发生改变的字段插入水印。 结构化数据文件的水印提取与数据水印的水印溯源任务无

查看更多 →

使用非初级类型的宿主变量 非初级类型的宿主变量包括数组、typedef、结构体和指针类型的宿主变量。 数组 有两种将数组作为宿主变量的情况。第一种情况是在char[]或者VARCHAR[]中存储一些文本字符串。第二种情况是可在检索多行查询结果时不使用游标。如果不使用数组，则处理多

查看更多 →

使用非初级类型的宿主变量 非初级类型的宿主变量包括数组、typedef、结构体和指针类型的宿主变量。 数组 有两种将数组作为宿主变量的情况。第一种情况是在char[]或者VARCHAR[]中存储一些文本字符串。第二种情况是可在检索多行查询结果时不使用游标。如果不使用数组，则处理多

查看更多 →

创建一个与电影有关的 知识图谱 。创建完成后，可以搜索预览相关实体的知识图谱，也可以在创建的图谱基础上全量更新或增量更新图谱。 非结构化数据创建图谱 本实践指导使用非结构化数据（多行单句文本文件）创建图谱。以与人物、电影有关的非结构化数据为例，通过在控制台进行数据标注、模型训练，构建

查看更多 →