中软国际数据治理专业服务解决方案实践

quick_analysis 否 Boolean 是否开启demo_fields和tag_fields快速分析,为true时，所有的demo_fields和tag_fields全部字段均打开快速分析;不填或者为false，以模板中的demo_fields和tag_fields中的is_analysis决定是否开启快速分析。

查看更多 →

查询结构化日志（新版） 功能介绍 该接口用于查询指定日志流下的结构化日志内容（新版）。 新版查询功能支持的局点信息请参考用户指南-日志可视化里的可视化章节。数据聚合结果不超过100亿条。仅支持分析最近30天内的数据，30天以上的数据不支持SQL分析。如您有更大的使用需求，请提工单申请。

查看更多 →

设置云端结构化模板 云日志服务（LTS）目前支持的结构化模板有两种，分别为系统模板和自定义模板。 系统模板 支持多种系统模板，不支持修改系统模板的字段类型和删除字段，详情请参考表1。 在云端结构化解析页面中，日志结构化方式选择“结构化模板”。 在“选择模板”下，选择“系统模板”，

查看更多 →

设置云端结构化模板 云日志服务（LTS）目前支持的结构化模板有两种，分别为系统模板和自定义模板。 系统模板 支持多种系统模板，不支持修改系统模板的字段类型和删除字段，详情请参考表1。 在云端结构化解析页面中，日志结构化方式选择“结构化模板”。 在“选择模板”下，选择“系统模板”，

查看更多 →

设置云端结构化字段和tag字段 设置云端结构化字段 在进行结构化配置字段提取之后，可对结构化字段进行设置，详细请参考表1。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析（自动生成） 用户自定义。 名称必须以字母开始，且仅包含字母和数字。

查看更多 →

开启异步调用持久化”，如和图4图3。 图3 异步策略配置 图4 开启异步调用持久化 在lts页面配置结构化查询。 在函数页面查看函数配置的日志组和日志流。按F12->Network，过滤“async-status-log-detail”，获取日志组id和日志流id，如图5。 图5

查看更多 →

demo_fields中的字段顺序，须和content中的字段顺序保持一致。 最大个数：200 parse_type 是 String 结构化类型参数（json、split、nginx、built_in、custom_regex）。 regex_rules 否 String 正则表达式（使用正则结构化规则时候需要）。

查看更多 →

设置云端结构化解析日志 日志结构化概述 设置日志云端结构化解析 设置云端结构化模板 设置云端结构化字段和tag字段 设置云端结构化自定义日志时间 父主题： 日志搜索与分析（管道符方式-邀测）

查看更多 →

志的格式。 结构化模板：适用于日志结构比较复杂或需要自定义提取key-value键值的场景，可以通过内置系统模板或者自定义模板提取字段。 结构化后的日志数据可理解为数据库中的二维表，结构化配置完成后就可以使用SQL语句对提取的字段进行查询与分析。 开启“自动配置索引和快速分析”开

查看更多 →

志的格式。 结构化模板：适用于日志结构比较复杂或需要自定义提取key-value键值的场景，可以通过内置系统模板或者自定义模板提取字段。 结构化后的日志数据可理解为数据库中的二维表，结构化配置完成后就可以使用SQL语句对提取的字段进行查询与分析。 开启“自动配置索引和快速分析”开

查看更多 →

设置云端结构化字段和tag字段 设置云端结构化字段 在进行结构化配置字段提取之后，可对结构化字段进行设置，详细请参考表1。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析（自动生成） 用户自定义。 名称必须以字母开始，且仅包含字母和数字。

查看更多 →

第一个计费周期，连接器单独费用：11390元/月 * 1月 = 11390元。开通连接器时包括10GB的结构化数据和20GB的非结构化数据，结构化数据存储容量费用：6元/GB/月 *1月 * 10GB = 60元，非结构化数据存储容量费用：0.65元/GB/月 * 1月 * 20GB = 13元。 7月的连接器费用为：11390元

查看更多 →

本章主要介绍如何进行文件水印相关操作。 对结构化数据文件（csv、xml和json）注入暗水印，水印内容不可见，需要进行水印提取。 对非结构化数据文件（docx、pptx、xlsx和pdf）注入明水印，可在本地打开文件，查看水印内容。 约束与限制 结构化数据文件暗水印的注入和提取时，需限制文件大小在4MB之内。

查看更多 →

数据 非结构化集成 图17 非结构化集成 新建：操作后跳转到非结构化集成新建任务页面 导出：勾选列表订单批量导出，不勾选默认为当前页面所有订单 刷新：刷新页面订单的最新数据 搜索：支持任务ID，任务名称或源表名称条件搜索，模糊搜索和精确搜索。 父主题： 数据集成平台操作手册

查看更多 →

什么是信息抽取 信息抽取是从基础数据中抽取待创建图谱的实体、属性信息以及实体间的相互关系。目的是从原始数据（包括结构化数据或非结构化数据）中抽取结构化的信息。 配置方式 信息抽取分为结构化抽取和非结构化抽取，其适用范围和抽取方式如表1所示。 表1 配置方式说明 配置方式 适用范围

查看更多 →

物理实体支持哪些数据源？ 逻辑实体分为两类，结构化实体（实体类型为表）和非结构化实体（实体类型为图片、视频、音频、文本等）。 其中，结构化实体支持ES、DWS和OBS三种数据源；非结构化实体支持OBS数据源。 如果用户无HIVE和HDFS数据源，则该数据源不开放。 父主题： 数据建模

查看更多 →

前后的数据字段，才能进行配置信息映射、配置知识融合等操作。 基本概念 信息抽取是从基础数据中抽取待创建图谱的实体、属性信息以及实体间的相互关系。目的是从原始数据（包括结构化数据或非结构化数据）中抽取结构化的信息。 配置方式 信息抽取分为结构化抽取和非结构化抽取，其适用范围和抽取方式如表1所示。

查看更多 →

ent在CPU、内存及网络使用方面都做了严格的限制和保护机制。 日志接入前，您可以提前了解ICAgent采集的结构化解析规则，方便您快速操作。支持组合解析，一个日志流的每个采集配置可以配置不同的结构化解析规则。 支持以下日志结构化解析规则： 单行-全文日志：采集的日志文件中，如果

查看更多 →

本章节提供一个与人物、电影有关的非结构化数据自定义信息抽取模型并使用自定义抽取模型创建 知识图谱 的流程，帮助您快速熟悉知识图谱自定义信息抽取模型创建过程和使用非结构化数据创建图谱的过程。步骤如下： 创建信息抽取模型：以在ModelArts控制台上标注数据为例，介绍信息抽取模型的构建流程。 使用自定义抽取模型创建

查看更多 →

应用场景 敏感数据自动识别分类 从海量数据中自动发现并分析敏感数据使用情况，基于数据识别引擎，对其储存结构化数据（RDS）和非结构化数据（OBS）进行扫描、分类、分级，解决数据“盲点”，以此做进一步安全防护。 用户异常行为分析 通过深度行为识别引擎，建立用户行为基线，实现基线外异

查看更多 →

览相关实体的知识图谱，也可以在创建的图谱基础上全量更新或增量更新图谱。 非结构化数据创建图谱 本实践指导使用非结构化数据（多行单句文本文件）创建图谱。以与人物、电影有关的非结构化数据为例，通过在控制台进行数据标注、模型训练，构建一个人物、电影有关的信息抽取模型，在自定义抽取模型的基础上去创建图谱。

查看更多 →