中软国际数据治理专业服务解决方案实践

设置云端结构化解析日志 日志结构化概述 设置日志云端结构化解析 设置云端结构化字段 设置云端结构化自定义日志时间 设置云端结构化模板 结构化系统模板字段详情 父主题： 日志搜索与分析（默认推荐）

查看更多 →

设置云端结构化字段 使用限制 结构化字段最大长度为16KB，超过部分会被截断。 设置结构化字段 在进行结构化配置字段提取之后，可对结构化字段进行设置，具体设置规则如下表。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析（自动生成） 用户自定义。

查看更多 →

在字段提取完成后，可对日志模板进行设置。结构化字段设置规则请参考设置结构化字段。 单击“保存”，完成日志结构化配置，初次设置完成后将不能对字段类型编辑修改。 结构化模板 结构化模板是通过自定义模板或系统内置模板提取字段。 详情请参考结构化模板。 父主题： 云端结构化解析

查看更多 →

在字段提取完成后，可对日志模板进行设置。结构化字段设置规则请参考设置结构化字段。 单击“保存”，完成日志结构化配置，初次设置完成后将不能对字段类型编辑修改。 结构化模板 结构化模板是通过自定义模板或系统内置模板提取字段。 详情请参考结构化模板。 父主题： 设置云端结构化解析日志

查看更多 →

所支持的信息抽取函数请见信息抽取函数。 代码编辑 非结构化抽取 基础数据格式为txt文本的自然语言短句 通过选择合适的算法，完成信息抽取配置。 可选择已有的预置模型模板，也可选择您自定义的模型。 非结构化抽取 在通过结构化抽取方式进行信息抽取时，交互界面配置与代码编辑配置可以相互切换。 信息抽取

查看更多 →

览相关实体的 知识图谱 ，也可以在创建的图谱基础上全量更新或增量更新图谱。 非结构化数据创建图谱 本实践指导使用非结构化数据（多行单句文本文件）创建图谱。以与人物、电影有关的非结构化数据为例，通过在控制台进行数据标注、模型训练，构建一个人物、电影有关的信息抽取模型，在自定义抽取模型的基础上去创建图谱。

查看更多 →

修改结构化配置（不推荐） 功能介绍 该接口用于修改指定日志流下的结构化配置，由于参数较多且构建复杂，建议您使用8.9.2-修改结构化配置（推荐）。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/lts/struct/template 表1 路径参数

查看更多 →

在lts页面根据日志组和日志流的ID来进入日志流，如图6。 图6 进入日志流 在日志流页面添加结构化配置，单击右上角的齿轮进行配置，如图7。 图7 日志流页面添加结构化配置 设置结构化配置，如图8。 图8 结构化配置 单击智能提取生成字段，如图9。 图9 智能提取字段 修改字段定义，单击进行修改，其中各字段介绍如下：

查看更多 →

设置云端结构化字段 使用限制 结构化字段最大长度为16KB，超过部分会被截断。 设置结构化字段 在进行结构化配置字段提取之后，可对结构化字段进行设置，具体设置规则如下表。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析（自动生成） 用户自定义。

查看更多 →

所支持的信息抽取函数请见信息抽取函数。 代码编辑 非结构化抽取 基础数据格式为txt文本的自然语言短句 通过选择合适的算法，完成信息抽取配置。 可选择已有的预置模型模板，也可选择您自定义的模型。 非结构化抽取 在通过结构化抽取方式进行信息抽取时，交互界面配置与代码编辑配置可以相互切换。 信息抽取

查看更多 →

本章主要介绍如何进行文件水印相关操作。 对结构化数据文件（csv、xml和json）注入暗水印，水印内容不可见，需要进行水印提取。 对非结构化数据文件（docx、pptx、xlsx和pdf）注入明水印，可在本地打开文件，查看水印内容。 约束与限制 结构化数据文件暗水印的注入和提取时，需限制文件大小在4MB之内。

查看更多 →

包年/包月 连接器规格单价 * 购买时长 结构化数据增量包 连接器中存储结构化数据。 计费因子：容量。 包年/包月 数据存储容量 * 存储量单价*购买时长 非结构化数据增量包 连接器中存储非结构化数据。 计费因子：容量。 包年/包月 数据存储容量 * 存储量单价*购买时长 计费示例

查看更多 →

NGINX结构化模板字段介绍 介绍NGINX接入日志结构化模板详情。 结构化模板日志详情 NGINX日志示例 表1 结构化模板示例 模板名称 示例日志 NGINX 192.168.1.101 - [27/Aug/2018:14:20:29 +0800] "GET http://www

查看更多 →

TOMCAT结构化模板字段介绍 介绍TOMCAT接入日志结构化模板详情。 结构化模板日志详情 TOMCAT日志示例 表1 结构化模板示例 模板名称 示例日志 TOMCAT 192.168.12.2 - - [07/Mar/2018:09:49:55 +0800] "GET /logHello/test

查看更多 →

数据 非结构化集成 图17 非结构化集成 新建：操作后跳转到非结构化集成新建任务页面 导出：勾选列表订单批量导出，不勾选默认为当前页面所有订单 刷新：刷新页面订单的最新数据 搜索：支持任务ID，任务名称或源表名称条件搜索，模糊搜索和精确搜索。 父主题： 数据集成平台操作手册

查看更多 →

HBase的稀疏矩阵模型，天然适合非结构化数据的存储，数据表无需预先定义schema，行与行之间不需要严格的列定义。 支持任意更新 支持行的任意更新，无性能损耗。而且利用HBase自身的多版本机制，支持保存数据的多个历史版本。 通用海量KeyValue数据存储与查询 应用类型 消息数据、报表数据、推荐类数

查看更多 →

原始字段名。 delimiter string 键值对之间的分隔符，默认值为制表符\t。 separator string 单个键值对中键与值之间的分隔符，默认值为半角冒号（:）。 keep_source boolean 被解析后的日志中是否保留原始字段。 processor_add_fields

查看更多 →

物理实体支持哪些数据源？ 逻辑实体分为两类，结构化实体（实体类型为表）和非结构化实体（实体类型为图片、视频、音频、文本等）。 其中，结构化实体支持ES、DWS和OBS三种数据源；非结构化实体支持OBS数据源。 如果用户无HIVE和HDFS数据源，则该数据源不开放。 父主题： 数据建模

查看更多 →

应用场景 敏感数据自动识别分类 从海量数据中自动发现并分析敏感数据使用情况，基于数据识别引擎，对其储存结构化数据（RDS）和非结构化数据（OBS）进行扫描、分类、分级，解决数据“盲点”，以此做进一步安全防护。 用户异常行为分析 通过深度行为识别引擎，建立用户行为基线，实现基线外异

查看更多 →

本章节提供一个与人物、电影有关的非结构化数据自定义信息抽取模型并使用自定义抽取模型创建知识图谱的流程，帮助您快速熟悉知识图谱自定义信息抽取模型创建过程和使用非结构化数据创建图谱的过程。步骤如下： 创建信息抽取模型：以在ModelArts控制台上标注数据为例，介绍信息抽取模型的构建流程。 使用自定义抽取模型创建

查看更多 →

创建图谱时，支持多个来源的数据作为一个图谱的基础数据进行图谱构建。 公测 配置数据源 2019年11月 序号 功能名称 功能描述 阶段 相关文档 1 上线非结构化数据构建图谱功能 创建图谱时，支持使用非结构化数据作为数据源构建图谱。 公测 非结构化数据创建图谱 2019年08月 序号

查看更多 →