非结构化文件采集 更多内容
  • 网络监控采集

    网络监控采集 网络监控采集(AppNetwork)是网络监控采集器,获取网络监控相关信息。包括:类别、指标、指标名称、指标说明、单位、数据类型以及默认聚合方式。 表1 网络监控采集(AppNetwork)指标说明 指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式

    来自:帮助中心

    查看更多 →

  • 修改结构化配置(推荐)

    修改结构化配置(推荐) 功能介绍 该接口通过结构化模板修改结构化配置 调用方法 请参见如何调用API。 URI PUT /v3/{project_id}/lts/struct/template 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String

    来自:帮助中心

    查看更多 →

  • 通过Flume采集指定目录日志系统文件至HDFS

    的地时,数据从Channel移除。 Channel提供的持久化水平与Channel的类型相关,有以下三类: Memory Channel:持久化。 File Channel:基于WAL(预写式日志Write-Ahead Logging)的持久化实现。 JDBC Channel:基于嵌入Database的持久化实现。

    来自:帮助中心

    查看更多 →

  • 云端结构化日志读写流量、索引流量、存储流量的收费变化说明

    t字段和结构化字段都会统计在内。云端结构化解析会消耗LTS服务端算力,未来会按照日志大小收取日志加工流量费用。 ICAgent结构化是在采集侧做结构化,利用的是用户节点上的资源,将结构化完成的数据上报到LTS。ICAgent结构化解析支持插件组合解析,单个日志流的多个采集配置支持

    来自:帮助中心

    查看更多 →

  • 在LTS页面分析Log4j格式的应用运行日志

    选择主机组。 在主机组列表中选择一个或多个需要采集日志的主机组,若没有所需的主机组,单击列表左上方“新建”,在弹出的新建主机组页面创建新的主机组,具体可参考创建主机组。 单击“下一步:采集配置”。 采集配置。 对主机日志采集设置具体的采集规则,具体可参考采集配置。 单击“下一步:索引配置”,使用默认设置。

    来自:帮助中心

    查看更多 →

  • 功能总览

    云主机E CS 文本日志接入LTS LTS可以将主机待采集日志的路径配置到日志流中,ICAgent将按照日志采集规则采集日志,并将多条日志进行打包,以日志流为单位发往LTS,您可以在LTS控制台实时查看日志。 支持区域: 全部 云主机ECS文本日志接入LTS 云端结构化配置 日志结构化是以日志流为单位,通过不

    来自:帮助中心

    查看更多 →

  • 使用ICAgent插件采集ECS文本日志到云日志服务

    打开“采集二进制文件”开关,则对接入的二进制文件日志进行采集,但仅支持UTF-8编码的字符串,UFT8编码的字符在LTS控制台页面会显示乱码。 开启 日志文件编码 日志文件编码为UTF-8。 - 采集策略 本示例采集策略选择增量。 增量采集:ICAgent采集文件时,从文件的末尾开始读。

    来自:帮助中心

    查看更多 →

  • 查看LTS审计事件

    deleteLogSearchCriteria 新增采集路径 LogAgent createLogAgent 修改采集路径 LogAgent updateLogAgent 删除采集路径 LogAgent deleteLogAgent 创建结构化模板 structLogConfig cre

    来自:帮助中心

    查看更多 →

  • 新增物理实体

    逻辑实体名称。系统自动获取。 数据源类型 物理实体的数据源类型。此处选择“DWS”。 当前结构化数据(实体类型为表)支持DWS、OBS、ES、HBase、Kafka、MySql、HIVE、HDFS数据源;结构化数据(实体类型不是表)仅支持OBS、HDFS数据源。 数据源实例 选择“创建”,

    来自:帮助中心

    查看更多 →

  • 数据使能技术架构

    以某零售客户为例,客户希望分期完成其企业级数据中台的建设。客户源系统既有结构化数据、又有结构化数据,同时客户需求部分结构化数据实时进入数据中台,准实时消费。在数据中台的基础上,客户诉求数据使能解决方案帮助其构建企业级的数据地图平台,完成全企业的元数据采集、展示、和审批流构建,同时通过BI实现一键审批+

    来自:帮助中心

    查看更多 →

  • 上报采集过程

    taskId 是 String 任务ID。 startTime 否 Long 采集开始时间。 uploadedCount 否 Int 已上传文件数量。 uploadedSize 否 Long 已上传文件大小。 progress 否 Int 完成百分比。 costTime 否 Int

    来自:帮助中心

    查看更多 →

  • 注册采集机

    collectorStatus 否 String 采集机状态。 subNet 否 String 子网。 name 否 String 采集机名称。 packageName 否 String 采集机包名。 note 否 String 采集机备注。 createTime 否 String 采集机创建时间。 resourceUserName

    来自:帮助中心

    查看更多 →

  • 上报采集状态

    String 任务状态。 collectorId 是 String 采集机ID。 strategy 是 String 采集策略。 probeId 是 String 探针ID。 fileSize 否 String 本次采集文件的大小。 响应 响应样例 {"success":true,"returnData":

    来自:帮助中心

    查看更多 →

  • 删除采集机

    删除采集机 功能介绍 删除采集机。 URI URI格式 POST /softcomai/datalake/collection/v1.0/collectorConsole/delete 参数说明 无。 请求 请求样例 POST https://ip:port/softcomai/

    来自:帮助中心

    查看更多 →

  • 安装采集Agent

    安装采集Agent 安装流程 安装前准备 校验签名文件 解压软件包 修改配置文件 安装采集Agent 安装后检查 启动采集Agent 卸载采集Agent 父主题: 数据接入

    来自:帮助中心

    查看更多 →

  • 执行采集

    任务下必填项填完才可以提交;必填项未填写的条目或KCP会标红;必填项填写完毕才可以提交评审 必填项填写完毕后,会判断必填项,如果存在这样的条目:它下面全部是非必填项并且没有采集过,则给出警示,可以继续提交 需要评审:必填项全采后才能提交开关=否 任务下必填项不需要填完就可以提交;必填项填写多少,就提交多少

    来自:帮助中心

    查看更多 →

  • 性能数据采集

    性能数据采集 收集性能数据是收集指标和日志的过程,这些指标和日志提供有关工作负载性能的信息。 此数据包括数值,称为指标。 指标描述系统在特定时间点的状态。 它还包括包含组织成记录的不同类型的数据的日志。 通过收集性能数据,可以监视和分析工作负载的性能。 可以使用此信息来识别性能瓶

    来自:帮助中心

    查看更多 →

  • 数据采集错误

    华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。

    来自:帮助中心

    查看更多 →

  • 配置日志采集

    t/*.*。 采集的日志文件须为文本类型文件。 所有组件会默认采集标准输出的日志,并放入stdout文件中。 日志路径与云存储配置路径不能重复。 CAE里一个应用对应LTS里一个日志组,CAE在创建应用时候创建日志组。 新增日志采集 最多支持配置 20 条日志采集路径。 登录CAE控制台。

    来自:帮助中心

    查看更多 →

  • 采集主机资源

    采集主机资源 公网采集 内网采集 手动添加

    来自:帮助中心

    查看更多 →

  • 采集主机性能

    开始采集后,默认每5分钟进行一次数据采集。 建议采集时长≥1小时,若采集时长不足,将无法获取7天和30天最大值以及平均值数据。 采集周期默认为7天,7天后会自动停止采集采集周期内可以进行停止采集和重启采集操作;重启采集后,采集周期重新计算。 采集到的性能数据将保留180天,超期后会自动删除。

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了