端边云车联网Serverless数据湖解决方案

修改项目中数据处理作业的参数接口 功能介绍 修改项目中数据处理作业的参数。 URI URI格式 POST /softcomai/datalake/dataplan/v1.0/data/process/job/{job_id}/config 参数说明 参数名 是否必选 参数类型 备注

查看更多 →

集成ModuleSDK进行数据处理 操作场景 代码解析 注册节点 创建产品 修改代码 项目打包 制作镜像包 创建应用 部署应用 添加边缘设备 设备接入 父主题： 集成ModuleSDK(Java)

查看更多 →

description String 数据处理任务的版本描述。 duration_seconds Integer 数据处理任务的运行时间，单位秒。 inputs Array of ProcessorDataSource objects 数据处理任务的输入通道。 modified_sample_count

查看更多 →

集成ModuleSDK进行数据处理 场景说明 代码解析 注册节点 创建产品 修改代码 项目打包 制作镜像包或插件包 创建应用 部署应用 添加边缘设备 设备接入 查看SDK运行日志 父主题： 集成ModuleSDK(C)

查看更多 →

查询结构化日志（即将下线不推荐使用） 功能介绍 该接口用于查询指定日志流下的结构化日志内容。（该接口将于2024年7月30日下线） 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/groups/{log_group_id}/streams/{

查看更多 →

选择“云端结构化解析”，详细请参考设置日志云端结构化解析。 配置完成后，开启自定义日志时间开关，配置如下参数。 切换自定义日志时间开关时，可能会导致日志搜索界面在切换时间点附近出现时间偏差，请勿频繁切换自定义日志时间开关。 表1 参数配置表 参数 说明 示例 字段key 已提取字

查看更多 →

快速创建和使用Kafka流式数据处理集群 操作场景 本入门提供从零开始创建流式分析集群并在Kafka主题中产生和消费消息的操作指导。 Kafka集群提供一个高吞吐量、可扩展性的消息系统，广泛用于日志收集、监控数据聚合等场景。Kafka可实现高效的流式数据采集、实时数据处理存储等。 操作流程

查看更多 →

ojectId、logGroupName和logStreamName。 当结构化字段类型和数据库表字段类型一致时，支持将日志的结构化字段转储至 数据仓库 服务 GaussDB (DWS)，否则转储无效。 在结构化字段和表字段的下拉框，选择您需要转储的字段。 单击操作列下的，删除不需要的转储字段。

查看更多 →

选择“云端结构化解析”，详细请参考设置日志云端结构化解析。 配置完成后，开启自定义日志时间开关，配置如下参数。 切换自定义日志时间开关时，可能会导致日志搜索界面在切换时间点附近出现时间偏差，请勿频繁切换自定义日志时间开关。 表1 参数配置表 参数 说明 示例 字段key 已提取字

查看更多 →

海量数据存储：利用HBase实现海量数据存储，并实现毫秒级数据查询。 分布式数据查询：利用Spark实现海量数据的分析查询。 实时数据处理 实时数据处理通常用于异常检测、欺诈识别、基于规则告警、业务流程监控等场景，在数据输入系统的过程中，对数据进行处理。 例如在梯联网行业，智能电梯

查看更多 →

QL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下： 通过HQL语言非常容易的完成数据提取、转换和加载（ETL）。 通过HQL完成海量结构化数据分析。

查看更多 →

设置云端结构化字段和tag字段 设置云端结构化字段 在进行结构化配置字段提取之后，可对结构化字段进行设置，详细请参考表1。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析（自动生成） 用户自定义。 名称必须以字母开始，且仅包含字母和数字。

查看更多 →

如何用ModelArts训练基于结构化数据的模型？ 针对一般用户，ModelArts提供自动学习的预测分析场景来完成结构化数据的模型训练。 针对高阶用户，ModelArts在开发环境提供创建Notebook进行代码开发的功能，在训练作业提供创建大数据量训练任务的功能；用户在开发、

查看更多 →

DSC支持识别的非结构化文件类型？ 数据安全中心（DSC）支持识别的非结构化文件类型如表1、表2和表3。 表1 文本文档代码类 序号 文件类型 序号 文件类型 1 Access数据库文件 74 Pdf文档 2 Arff文件 75 Perl源代码 3 Asp文件 76 Pgp文件 4

查看更多 →

集中存储各类结构化和非结构化数据的大型数据仓库，它可以存储来自多个数据源、多种数据类型的原始数据，数据无需经过结构化处理，就可以进行存取、处理、分析和传输。 数据湖 能帮助企业快速完成异构数据源的联邦分析、挖掘和探索数据价值。 数据湖的本质，是由“数据存储架构+数据处理工具”组成的解决方案。

查看更多 →

设置云端结构化字段和tag字段 设置云端结构化字段 在进行结构化配置字段提取之后，可对结构化字段进行设置，详细请参考表1。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析（自动生成） 用户自定义。 名称必须以字母开始，且仅包含字母和数字。

查看更多 →

集中存储各类结构化和非结构化数据的大型数据仓库，它可以存储来自多个数据源、多种数据类型的原始数据，数据无需经过结构化处理，就可以进行存取、处理、分析和传输。数据湖能帮助企业快速完成异构数据源的联邦分析、挖掘和探索数据价值。 数据湖的本质，是由“数据存储架构+数据处理工具”组成的解决方案。

查看更多 →

数据处理可以处理哪些数据源中的数据？ 目前仅支持读写OBS桶中的数据。如果读写租户OBS中数据，可以使用ModelArts提供的MoXing的API能力，实现读写OBS中的数据。 父主题： 数据处理

查看更多 →

正则表达式分隔半结构化文本 在创建表/文件迁移作业时，对简单 CS V格式的文件， CDM 可以使用字段分隔符进行字段分隔。但是对于一些复杂的半结构化文本，由于字段值也包含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置，要求源连

查看更多 →

正则表达式分隔半结构化文本 在创建表/文件迁移作业时，对简单CSV格式的文件，CDM可以使用字段分隔符进行字段分隔。但是对于一些复杂的半结构化文本，由于字段值也包含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置，要求源连

查看更多 →

正则表达式分隔半结构化文本 在创建表/文件迁移作业时，对简单CSV格式的文件，CDM可以使用字段分隔符进行字段分隔。但是对于一些复杂的半结构化文本，由于字段值也包含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置，要求源连

查看更多 →