中软国际数据治理专业服务解决方案实践

云端结构化解析 日志结构化概述 设置日志云端结构化解析 设置云端结构化模板 设置云端结构化字段 设置云端结构化自定义日志时间 父主题： 日志搜索与分析（管道符方式-邀测）

查看更多 →

式将日志流中的日志进行结构化，提取出有固定格式或者相似程度较高的日志，过滤掉不相关的日志，以便对结构化后的日志按照SQL语法进行查询与分析。 注意事项 日志结构化是以日志流为单位，请先创建一个日志流。 日志流中的大部分日志需有一定的规则，否则结构化是无意义的。 结构化配置修改后，

查看更多 →

配置结构化规则 日志数据可分为结构化数据和非结构化数据。结构化数据指能够用数字或统一的数据模型加以描述的数据，具有严格的长度和格式。非结构化数据指不便于用数据库二维逻辑表来表现的数据，数据结构不规则或不完整，没有预定义的数据模型。 日志结构化是以日志流为单位，通过不同的日志提取方

查看更多 →

查询结构化日志（新版） 功能介绍 该接口用于查询指定日志流下的结构化日志内容（新版）。 新版查询功能支持的局点信息请参考用户指南-日志可视化里的可视化章节。数据聚合结果不超过100亿条。仅支持分析最近30天内的数据，30天以上的数据不支持SQL分析。如您有更大的使用需求，请提工单申请。

查看更多 →

设置云端结构化模板 云日志服务（LTS）目前支持的结构化模板有两种：系统模板和自定义模板。 系统模板 支持多种系统模板，不支持修改系统模板的字段类型和删除字段，详情请参考表1。 在“选择模板”下，选择“系统模板”，选择对应的系统模板，模板日志从对应的云服务接入，可以直接应用模板的数据模型作为示例日志。

查看更多 →

设置云端结构化模板 云日志服务（LTS）目前支持的结构化模板有两种：系统模板和自定义模板。 系统模板 支持多种系统模板，不支持修改系统模板的字段类型和删除字段，详情请参考表1。 在“选择模板”下，选择“系统模板”，选择对应的系统模板，模板日志从对应的云服务接入，可以直接应用模板的数据模型作为示例日志。

查看更多 →

HBase提供的分布式、可伸缩、全托管的KeyValue数据存储服务，为 DLI 提供了高性能的随机读写能力，适用于海量结构化数据、半结构化数据以及时序数据的存储和查询应用，适用于物联网IOT应用和通用海量KeyValue数据存储与查询等场景。CloudTable的更多信息，请参见《 表格存储服务 用户指南》。

查看更多 →

HBase提供的分布式、可伸缩、全托管的KeyValue数据存储服务，为DLI提供了高性能的随机读写能力，适用于海量结构化数据、半结构化数据以及时序数据的存储和查询应用，适用于物联网IOT应用和通用海量KeyValue数据存储与查询等场景。CloudTable的更多信息，请参见《 表格存储 服务用户指南》。

查看更多 →

} else { fmt.Println(err) } } 更多编程语言的SDK代码示例，请参见 API Explorer 的代码示例页签，可生成自动对应的SDK代码示例。 状态码 状态码 描述 201 请求响应成功。 400 BadRequest 非法请求

查看更多 →

Presto Presto是一个开源的用户交互式分析查询的SQL查询引擎，用于针对各种大小的数据源进行交互式分析查询。其主要应用于海量结构化数据/半结构化数据分析、海量多维数据聚合/报表、ETL、Ad-Hoc查询等场景。 Presto允许查询的数据源包括Hadoop分布式文件系统（

查看更多 →

} else { fmt.Println(err) } } 更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。 状态码 状态码 描述 201 请求响应成功。 400 BadRequest 非法请求

查看更多 →

DSC支持解析的非结构化文件类型？ 数据安全中心（DSC）支持解析的非结构化文件类型如表1、表2和表3。 表1 文本文档代码类 序号 文件类型 序号 文件类型 1 Access数据库文件 74 Pdf文档 2 Arff文件 75 Perl源代码 3 Asp文件 76 Pgp文件 4

查看更多 →

量大，时延要求低的用户。 CloudTable提供基于HBase全托管的NoSQL服务，提供毫秒级随机读写能力，适用于海量(半)结构化、时空、时序数据存储，可被广泛应用于物联网、车联网、金融、智慧城市、气象等行业。 CloudTable提供基于Doris全托管的实时数仓服务，仅需

查看更多 →

:00:00的日志数据。 自定义：表示查询指定时间范围的日志数据 字段提取。包括自动生成和手动输入两种方式，可将选择的日志提取为以一个示例字段对应一个字段名称的格式的日志解析结果。 自动生成：当用户选择自动生成时，可以用鼠标选中示例日志中待结构化的日志内容，在弹出的对话框中为选中

查看更多 →

:00:00的日志数据。 自定义：表示查询指定时间范围的日志数据 字段提取。包括自动生成和手动输入两种方式，可将选择的日志提取为以一个示例字段对应一个字段名称的格式的日志解析结果。 自动生成：当用户选择自动生成时，可以用鼠标选中示例日志中待结构化的日志内容，在弹出的对话框中为选中

查看更多 →

ClickHouse是一款开源的面向联机分析处理的列式数据库，其独立于Hadoop大数据体系，最核心的特点是压缩率和极速查询性能。同时，ClickHouse支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。 父主题： 通用类

查看更多 →

metastore.server.min.threads MetaStore启动的用于处理连接的线程数，如果超过设置的值之后，MetaStore就会一直维护不低于设定值的线程数，即常驻MetaStore线程池的线程会维护在指定值之上。 200 hive.server2.enable.doAs

查看更多 →

print(e.error_msg) VPC： ELB: 更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 请求响应成功, 成功创建结构化配置。 400 BadRequest。非法请求。 建议根据er

查看更多 →

设置云端结构化解析日志 日志结构化概述 设置日志云端结构化解析 设置云端结构化字段 设置云端结构化自定义日志时间 设置云端结构化模板 结构化系统模板字段详情 父主题： 日志搜索与分析（默认推荐）

查看更多 →

tag字段名称，例如hostIP。 tag字段功能上线前设置的结构化配置，在修改结构化配置进行tag字段设置时，系统tag不会带出示例字段。 如需添加多个字段可单击“添加字段”，继续添加。 设置完成后单击“保存”。 tag支持的系统字段包括：category、clusterId、cl

查看更多 →

开启异步调用持久化 在lts页面配置结构化查询。 在函数页面查看函数配置的日志组和日志流。按F12->Network，过滤“async-status-log-detail”，获取日志组id和日志流id，如图5。 图5 获取日志组ID和日志流ID 在lts页面根据日志组和日志流的ID来进入日志流，如图6。

查看更多 →