中软国际数据治理专业服务解决方案实践

Integer 最大解析层数（使用JSON方式结构化需要）。 最大值：3 tokenizer 否 String 分隔符（使用分隔符结构化时需要）。 log_format 否 String Nginx配置规则（使用分隔符结构化时需要）。 tag_fields 是 Array of TagField

查看更多 →

Nginx：通过log_format指令来自定义访问日志的格式。 结构化模板：通过自定义模板或系统内置模板提取字段。 云端结构化解析配置完成后，支持修改或删除结构化配置。 在云端结构化解析页面中，单击，修改结构化配置。 在云端结构化解析页面中，单击，删除结构化配置。 结构化配置删除后，将无法恢复，请谨慎操作。

查看更多 →

Nginx：通过log_format指令来自定义访问日志的格式。 结构化模板：通过自定义模板或系统内置模板提取字段。 云端结构化解析配置完成后，支持修改或删除结构化配置。 在云端结构化解析页面中，单击，修改结构化配置。 在云端结构化解析页面中，单击，删除结构化配置。 结构化配置删除后，将无法恢复，请谨慎操作。

查看更多 →

在lts页面根据日志组和日志流的ID来进入日志流，如图6。 图6 进入日志流 图7 进入日志流 在日志流页面添加结构化配置，单击右上角的齿轮进行配置，如图8。 图8 日志流页面添加结构化配置 设置结构化配置，如图9。 图9 结构化配置 单击智能提取生成字段，如图10。 图10 智能提取字段 修改字段定义，单击进行修改，其中各字段介绍如下：

查看更多 →

设置云端结构化解析日志 日志结构化概述 设置日志云端结构化解析 设置云端结构化模板 设置云端结构化字段和tag字段 设置云端结构化自定义日志时间 父主题： 日志搜索与分析（管道符方式-邀测）

查看更多 →

修改结构化配置（不推荐） 功能介绍 该接口用于修改指定日志流下的结构化配置，由于参数较多且构建复杂，建议您使用8.9.2-修改结构化配置（推荐）。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/lts/struct/template 表1 路径参数

查看更多 →

如何用ModelArts训练基于结构化数据的模型？ 针对一般用户，ModelArts提供自动学习的预测分析场景来完成结构化数据的模型训练。 针对高阶用户，ModelArts在开发环境提供创建Notebook进行代码开发的功能，在训练作业提供创建大数据量训练任务的功能；用户在开发、训

查看更多 →

日志接入前，您可以提前了解ICAgent采集的结构化解析规则，方便您快速操作。支持组合解析，一个日志流的每个采集配置可以配置不同的结构化解析规则。 支持以下日志结构化解析规则： 单行-全文日志：采集的日志文件中，如果您希望每一行日志在LTS界面中都显示为一条单独的日志数据，则选择单行日志。 多行-全

查看更多 →

如何进行需求结构化管理 为什么要进行需求结构化管理？ 并不是说任何情况下都需要进行软件项目需求的结构化管理。如果只是事务性质的管理需求，也就是有需求了能记录、能跟踪状态、实现之后不需要继续跟踪、也不需要维护需求与需求之间的关联，那么不需要思考需求结构化管理这个问题。这种情况下，不

查看更多 →

查询结构化模板简略列表 功能介绍 该接口用于查询结构化模板简略列表。 调用方法 请参见如何调用API。 URI GET /v3/{project_id}/lts/struct/customtemplate/list 表1 路径参数 参数 是否必选 参数类型 描述 project_id

查看更多 →

选择“云端结构化解析”，详细请参考设置日志云端结构化解析。 配置完成后，开启自定义日志时间开关，配置如下参数。 切换自定义日志时间开关时，可能会导致日志搜索界面在切换时间点附近出现时间偏差，请勿频繁切换自定义日志时间开关。 表1 参数配置表 参数 说明 示例 字段key 已提取字

查看更多 →

什么是信息抽取 信息抽取是从基础数据中抽取待创建图谱的实体、属性信息以及实体间的相互关系。目的是从原始数据（包括结构化数据或非结构化数据）中抽取结构化的信息。 配置方式 信息抽取分为结构化抽取和非结构化抽取，其适用范围和抽取方式如表1所示。 表1 配置方式说明 配置方式 适用范围

查看更多 →

数据 非结构化集成 图17 非结构化集成 新建：操作后跳转到非结构化集成新建任务页面 导出：勾选列表订单批量导出，不勾选默认为当前页面所有订单 刷新：刷新页面订单的最新数据 搜索：支持任务ID，任务名称或源表名称条件搜索，模糊搜索和精确搜索。 父主题： 数据集成平台操作手册

查看更多 →

选择需要注入水印的字段。 非结构化数据 *水印内容 系统会将水印标识嵌入到数据表中，标识长度不超过16个字符即可。 透明度 选择明文水印标识的透明度。 旋转角度 选择明文水印标识的旋转角度。 字体大小 选择明文水印标识的字体大小。 *数据选择 非结构化数据仅支持docx、pptx、xlsx和pdf格式文件。

查看更多 →

数及抽取前后的数据字段，才能进行配置信息映射、配置知识融合等操作。 基本概念 信息抽取是从基础数据中抽取待创建图谱的实体、属性信息以及实体间的相互关系。目的是从原始数据（包括结构化数据或非结构化数据）中抽取结构化的信息。 配置方式 信息抽取分为结构化抽取和非结构化抽取，其适用范围和抽取方式如表1所示。

查看更多 →

包年/包月 连接器规格单价 * 购买时长 结构化数据增量包 连接器中存储结构化数据。 计费因子：容量。 包年/包月 数据存储容量 * 存储量单价*购买时长 非结构化数据增量包 连接器中存储非结构化数据。 计费因子：容量。 包年/包月 数据存储容量 * 存储量单价*购买时长 计费示例

查看更多 →

览相关实体的 知识图谱 ，也可以在创建的图谱基础上全量更新或增量更新图谱。 非结构化数据创建图谱 本实践指导使用非结构化数据（多行单句文本文件）创建图谱。以与人物、电影有关的非结构化数据为例，通过在控制台进行数据标注、模型训练，构建一个人物、电影有关的信息抽取模型，在自定义抽取模型的基础上去创建图谱。

查看更多 →

设置云端结构化字段和tag字段 设置云端结构化字段 在进行结构化配置字段提取之后，可对结构化字段进行设置，详细请参考表1。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析（自动生成） 用户自定义。 名称必须以字母开始，且仅包含字母和数字。

查看更多 →

物理实体支持哪些数据源？ 逻辑实体分为两类，结构化实体（实体类型为表）和非结构化实体（实体类型为图片、视频、音频、文本等）。 其中，结构化实体支持ES、DWS和OBS三种数据源；非结构化实体支持OBS数据源。 如果用户无HIVE和HDFS数据源，则该数据源不开放。 父主题： 数据建模

查看更多 →

选择“云端结构化解析”，详细请参考设置日志云端结构化解析。 配置完成后，开启自定义日志时间开关，配置如下参数。 切换自定义日志时间开关时，可能会导致日志搜索界面在切换时间点附近出现时间偏差，请勿频繁切换自定义日志时间开关。 表1 参数配置表 参数 说明 示例 字段key 已提取字

查看更多 →

查询结构化日志（即将下线不推荐使用） 功能介绍 该接口用于查询指定日志流下的结构化日志内容。（该接口将于2024年7月30日下线） 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/groups/{log_group_id}/streams/{

查看更多 →