结构化数据 上传结构化数据 搜索结构化数据文件

查看更多 →

结构化抽取 信息抽取函数 交互界面配置 代码编辑 父主题： 配置信息抽取

查看更多 →

查询结构化配置 功能介绍 该接口用于查询指定日志流下的结构化配置内容。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/lts/struct/template 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String

查看更多 →

流配置ICAgent结构化解析或云端结构化解析。 ICAgent结构化解析是在采集侧做结构化，支持插件组合解析，单个日志流的多个采集配置支持不同结构化解析规则，推荐使用ICAgent结构化解析的方式，更多内容请参考ICAgent结构化解析规则说明。 云端结构化解析是通过不同的日志

查看更多 →

流配置ICAgent结构化解析或云端结构化解析。 ICAgent结构化解析是在采集侧做结构化，支持插件组合解析，单个日志流的多个采集配置支持不同结构化解析规则，推荐使用ICAgent结构化解析的方式，更多内容请参考ICAgent结构化解析规则说明。 云端结构化解析是通过不同的日志

查看更多 →

表8 TemplateRule 参数 参数类型 描述 type String 结构化类型，只支持custom_regex,json,split,nginx param String 具体结构化规则，每种结构化类型都有自己独有的结构，具体结构如下： 手动正则为json字符串，包含key

查看更多 →

删除结构化配置 功能介绍 该接口用于删除指定日志流下的结构化配置。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/lts/struct/template 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String

查看更多 →

云端结构化配置 创建结构化配置（推荐） 修改结构化配置（推荐） 删除结构化配置 查询结构化配置 查询结构化模板简略列表 查询结构化模板 创建结构化配置（不推荐） 修改结构化配置（不推荐） 父主题： API说明

查看更多 →

上传结构化数据 功能介绍 将结构化数据文件上传到对象存储服务OBS中进行结构化数据批处理功能。 URI POST /v1/koosearch/repos/{repo_id}/structured-data 表1 路径参数 参数 是否必选 参数类型 描述 repo_id 是 String

查看更多 →

非结构化抽取 前提条件 已创建图谱并选择图谱规格，请参见购买 知识图谱 。 已创建并选择本体，详情请参见配置图谱本体。 已完成数据源配置，详情请参见配置数据源。 如果选择使用自己自定义模型，您需要在创建知识图谱之前，自定义用于信息抽取的模型，具体操作请见自定义信息抽取模型。 操作步骤

查看更多 →

配置HBase数据压缩格式和编码 操作场景 HBase可以通过对HFile中的data block编码，减少Key-Value中Key的重复部分，从而减少空间的使用。目前对data block的编码方式有：NONE、PREFIX、DIFF、FAST_DIFF和ROW_INDEX_

查看更多 →

配置HBase数据压缩格式和编码 操作场景 HBase可以通过对HFile中的data block编码，减少Key-Value中Key的重复部分，从而减少空间的使用。目前对data block的编码方式有：NONE、PREFIX、DIFF、FAST_DIFF和ROW_INDEX_

查看更多 →

高效数据压缩算法相关参数 pca_shared_buffers 参数说明：类似于shared_buffers，用于设置页面压缩块地址映射管理buffer的大小。 该参数属于POSTMASTER类型参数，请参考表1中对应设置方法进行设置。 取值范围：最小值64K，最大值16G。 如果设置值小于64K，设置报错。

查看更多 →

查询结构化日志（新版） 功能介绍 该接口用于查询指定日志流下的结构化日志内容（新版）。 新版查询功能支持的局点信息请参考用户指南-日志可视化里的可视化章节。数据聚合结果不超过100亿条。仅支持分析最近30天内的数据，30天以上的数据不支持SQL分析。如您有更大的使用需求，请提工单申请。

查看更多 →

设置云端结构化模板 云日志服务（LTS）目前支持的结构化模板有两种，分别为系统模板和自定义模板。 系统模板 支持多种系统模板，不支持修改系统模板的字段类型和删除字段，详情请参考表1。 在云端结构化解析页面中，日志结构化方式选择“结构化模板”。 在“选择模板”下，选择“系统模板”，

查看更多 →

设置云端结构化模板 云日志服务（LTS）目前支持的结构化模板有两种，分别为系统模板和自定义模板。 系统模板 支持多种系统模板，不支持修改系统模板的字段类型和删除字段，详情请参考表1。 在云端结构化解析页面中，日志结构化方式选择“结构化模板”。 在“选择模板”下，选择“系统模板”，

查看更多 →

修改结构化配置（推荐） 功能介绍 该接口通过结构化模板修改结构化配置 调用方法 请参见如何调用API。 URI PUT /v3/{project_id}/lts/struct/template 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String

查看更多 →

多源异构：协同分析既支持Hive、 GaussDB 、ClickHouse等结构化数据源，也支持HBase、Elasticsearch等非结构化数据源。 全局元数据：对于非结构化数据源HBase，提供映射表方式将非结构化SCHEMA映射成结构化SCHEMA，实现HetuEngine对HBase的无差

查看更多 →

创建结构化配置（推荐） 功能介绍 该接口通过结构化模板创建结构化配置，便于参数提取且简化参数结构，推荐您使用。 单个用户每秒仅能调用1次该接口。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/lts/struct/template 表1 路径参数

查看更多 →

云端结构化日志读写流量、索引流量、存储流量的收费变化说明 使用云端结构化解析日志后读写流量、索引流量、存储流量变化说明如下： LTS结构化能力说明： 云端结构化是由LTS服务端通过不同的日志提取方式将日志流中的日志content字段进行结构化的能力。结构化之后会保留content

查看更多 →

性能测试结果 基于上述样本，预先注入1TB+数据并进行压力测试，测试结果如下： 数据压缩率： 写入1.1TB数据(约38亿条)，压缩后数据占用约为155GB，数据压缩比约为13.8%； 性能表现： 维持业务总QPS达到约160w，此时读请求总流量约为1.5Gb/s，实例CPU利用率在60%-70%。

查看更多 →