中软国际数据治理专业服务解决方案实践

Nginx：通过log_format指令来自定义访问日志的格式。 结构化模板：通过自定义模板或系统内置模板提取字段。 云端结构化解析配置完成后，支持修改或删除结构化配置。 在云端结构化解析页面中，单击，修改结构化配置。 在云端结构化解析页面中，单击，删除结构化配置。 结构化配置删除后，将无法恢复，请谨慎操作。

查看更多 →

Nginx：通过log_format指令来自定义访问日志的格式。 结构化模板：通过自定义模板或系统内置模板提取字段。 云端结构化解析配置完成后，支持修改或删除结构化配置。 在云端结构化解析页面中，单击，修改结构化配置。 在云端结构化解析页面中，单击，删除结构化配置。 结构化配置删除后，将无法恢复，请谨慎操作。

查看更多 →

在lts页面根据日志组和日志流的ID来进入日志流，如图6。 图6 进入日志流 图7 进入日志流 在日志流页面添加结构化配置，单击右上角的齿轮进行配置，如图8。 图8 日志流页面添加结构化配置 设置结构化配置，如图9。 图9 结构化配置 单击智能提取生成字段，如图10。 图10 智能提取字段 修改字段定义，单击进行修改，其中各字段介绍如下：

查看更多 →

设置云端结构化解析日志 日志结构化概述 设置日志云端结构化解析 设置云端结构化模板 设置云端结构化字段和tag字段 设置云端结构化自定义日志时间 父主题： 日志搜索与分析（管道符方式-邀测）

查看更多 →

修改结构化配置（不推荐） 功能介绍 该接口用于修改指定日志流下的结构化配置，由于参数较多且构建复杂，建议您使用8.9.2-修改结构化配置（推荐）。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/lts/struct/template 表1 路径参数

查看更多 →

设置云端结构化解析日志 日志结构化概述 设置日志云端结构化解析 设置云端结构化字段和tag字段 设置云端结构化自定义日志时间 设置云端结构化模板 父主题： 日志搜索与分析（默认推荐）

查看更多 →

Integer 最大解析层数（使用JSON方式结构化需要）。 最大值：3 tokenizer 否 String 分隔符（使用分隔符结构化时需要）。 log_format 否 String Nginx配置规则（使用分隔符结构化时需要）。 tag_fields 是 Array of TagField

查看更多 →

日志接入前，您可以提前了解ICAgent采集的结构化解析规则，方便您快速操作。支持组合解析，一个日志流的每个采集配置可以配置不同的结构化解析规则。 支持以下日志结构化解析规则： 单行-全文日志：采集的日志文件中，如果您希望每一行日志在LTS界面中都显示为一条单独的日志数据，则选择单行日志。 多行-全

查看更多 →

如何进行需求结构化管理 为什么要进行需求结构化管理？ 并不是说任何情况下都需要进行软件项目需求的结构化管理。如果只是事务性质的管理需求，也就是有需求了能记录、能跟踪状态、实现之后不需要继续跟踪、也不需要维护需求与需求之间的关联，那么不需要思考需求结构化管理这个问题。这种情况下，不

查看更多 →

查询结构化模板简略列表 功能介绍 该接口用于查询结构化模板简略列表。 调用方法 请参见如何调用API。 URI GET /v3/{project_id}/lts/struct/customtemplate/list 表1 路径参数 参数 是否必选 参数类型 描述 project_id

查看更多 →

选择“云端结构化解析”，详细请参考设置日志云端结构化解析。 配置完成后，开启自定义日志时间开关，配置如下参数。 切换自定义日志时间开关时，可能会导致日志搜索界面在切换时间点附近出现时间偏差，请勿频繁切换自定义日志时间开关。 表1 参数配置表 参数 说明 示例 字段key 已提取字

查看更多 →

查询结构化日志（即将下线不推荐使用） 功能介绍 该接口用于查询指定日志流下的结构化日志内容。（该接口将于2024年7月30日下线） 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/groups/{log_group_id}/streams/{

查看更多 →

选择“云端结构化解析”，详细请参考设置日志云端结构化解析。 配置完成后，开启自定义日志时间开关，配置如下参数。 切换自定义日志时间开关时，可能会导致日志搜索界面在切换时间点附近出现时间偏差，请勿频繁切换自定义日志时间开关。 表1 参数配置表 参数 说明 示例 字段key 已提取字

查看更多 →

DSC支持识别的非结构化文件类型？ 数据安全中心（DSC）支持识别的非结构化文件类型如表1、表2和表3。 表1 文本文档代码类 序号 文件类型 序号 文件类型 1 Access数据库文件 74 Pdf文档 2 Arff文件 75 Perl源代码 3 Asp文件 76 Pgp文件 4

查看更多 →

设置云端结构化字段和tag字段 设置云端结构化字段 在进行结构化配置字段提取之后，可对结构化字段进行设置，详细请参考表1。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析（自动生成） 用户自定义。 名称必须以字母开始，且仅包含字母和数字。

查看更多 →

设置云端结构化字段和tag字段 设置云端结构化字段 在进行结构化配置字段提取之后，可对结构化字段进行设置，详细请参考表1。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析（自动生成） 用户自定义。 名称必须以字母开始，且仅包含字母和数字。

查看更多 →

之内。 非结构化数据文件明水印在注入时，需限制文件大小在20MB之内。 不支持为已注入水印的文件再次注入水印。 结构化数据文件水印嵌入的数据有以下要求： 待嵌入水印的源数据需要大于等于5000行。小于5000行的源数据有可能因为特征不够导致提取水印失败。 尽量选取数据取值比较多样

查看更多 →

什么是信息抽取 信息抽取是从基础数据中抽取待创建图谱的实体、属性信息以及实体间的相互关系。目的是从原始数据（包括结构化数据或非结构化数据）中抽取结构化的信息。 配置方式 信息抽取分为结构化抽取和非结构化抽取，其适用范围和抽取方式如表1所示。 表1 配置方式说明 配置方式 适用范围

查看更多 →

数据集成 数据集成主要包含三块：离线集成，实时集成，集成任务。 图1 数据集成 离线集成 主要为结构化集成和非结构化集成两种，结构化集成主要是离线集成部署方式，非结构化集成为API部署方式。 结构化集成 图2 结构化集成 集成作业 图3 集成作业 任务名称：自定义数据 需求类型：目前只支持新增

查看更多 →

数及抽取前后的数据字段，才能进行配置信息映射、配置知识融合等操作。 基本概念 信息抽取是从基础数据中抽取待创建图谱的实体、属性信息以及实体间的相互关系。目的是从原始数据（包括结构化数据或非结构化数据）中抽取结构化的信息。 配置方式 信息抽取分为结构化抽取和非结构化抽取，其适用范围和抽取方式如表1所示。

查看更多 →

正则表达式分隔半结构化文本 在创建表/文件迁移作业时，对简单 CS V格式的文件， CDM 可以使用字段分隔符进行字段分隔。但是对于一些复杂的半结构化文本，由于字段值也包含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置，要求源连

查看更多 →