文档首页> 应用平台 AppStage> 最佳实践> 基于运维数仓的数据开发与应用> 数据处理> 数据清洗
更新时间：2024-06-26 GMT+08:00
查看PDF
分享

数据清洗

数据清洗是指数据开发前对数据预处理、对原始数据进行ETL（Extract Transform Load）处理的过程。通过数据清洗过程检查原始数据的类型，确保数据完整，去除脏数据，并根据具体的业务规则将原始数据转换为业务需要的格式，为进一步数据分析做准备。

FileBeat采集端数据清洗

在做日志接入创建日志空间时可以配置算子清洗策略完成日志数据清洗，如图1所示，算子清洗功能及使用样例请参见算子清洗功能介绍。

图1 算子清洗
  • 清洗规则：选择“算子清洗”。
  • 日志样例：使用典型日志，用来做清洗验证。
  • 解析脚本：配置解析脚本，将日志样例清洗为字段显示。解析脚本中不支持使用中划线，支持使用下划线。
  • 清洗字段：配置解析脚本后单击“配置解析脚本”，自动生成清洗自动，查看字段是否符合预期。
父主题： 数据处理
分享：

    相关文档

    相关产品