端边云车联网Serverless数据湖解决方案

查询数据处理的算法类别 功能介绍 查询数据处理的算法类别。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/processor-tasks/items

查看更多 →

部署系统应用$sys_edge_apigw。 添加流转规则 流转规则是非必选的，OT应用需要添加数据流转规则。驱动应用和IT应用不用添加。 父主题： 集成ModuleSDK进行数据处理

查看更多 →

参数类型 描述 policy_id String 参数说明：数据流转流控策略id，用于唯一标识一个数据流转流控策略，在创建数据流转流控策略时由物联网平台分配获得。 policy_name String 参数说明：数据流转流控策略名称。 取值范围：长度不超过256，只允许中文、字母、数字、以及_

查看更多 →

String 参数说明：项目ID。获取方法请参见 获取项目ID 。 policy_id 是 String 参数说明：数据流转流控策略id，用于唯一标识一个数据流转流控策略，在创建数据流转流控策略时由物联网平台分配获得。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token

查看更多 →

大屏Demo 描述 大屏Demo，开箱即用的大屏样例，需要配合应用资产中“大屏数据处理应用模板”一起使用。 开放能力 大屏Demo为模板资产，订购后下载到本地，通过导入的方式上传到“业务大屏”下使用。 大屏Demo提供了指挥看板页面，如图1所示。 图1 指挥看板页面 如何使用资产

查看更多 →

部署系统应用$sys_edge_apigw。 添加流转规则 流转规则是非必选的，OT应用需要添加数据流转规则。驱动应用和IT应用不用添加。 父主题： 集成ModuleSDK进行数据处理

查看更多 →

配置费（必选） 指计算和存储资源及数据处理的费用。 “按需计费”配置费用是按照实际使用时长计费，以自然小时为单位整点计费，不足一小时按照实际使用时长计费。 “包年/包月”配置费用是一次性计费。 弹性公网IP费用（可选） 指公网访问产生的数据处理和数据流量费用。如果创建公网网络任务，您需要购买弹性公网IP。

查看更多 →

参数类型 描述 policy_id String 参数说明：数据流转积压策略id，用于唯一标识一个数据流转积压策略，在创建数据流转积压策略时由物联网平台分配获得。 policy_name String 参数说明：数据流转积压策略名称。 取值范围：长度不超过256，只允许中文、字母、数字、以及_

查看更多 →

当已有的数据处理任务不再使用时，您可以删除数据处理任务。 处于“完成”、“失败”、“已停止”、“运行失败”、“部署中”状态的训练作业，您可以单击操作列的“删除”，删除对应的数据处理任务。 图1 数据处理版本管理页面 您可以在版本管理页面，通过切换页签查看“配置信息”、“日志”和“结果展示”。 图2 日志页面 图3

查看更多 →

alpaca_ft_packed_labels_document.bin alpaca_ft_packed_labels_document.idx 数据处理具体操作 SFT全参微调数据处理具体操作步骤如下。 创建处理后的数据存放目录/home/ma-user/ws/processed_for_ma_inpu

查看更多 →

alpaca_ft_packed_labels_document.bin alpaca_ft_packed_labels_document.idx 数据处理具体操作 SFT全参微调数据处理具体操作步骤如下。 创建处理后的数据存放目录/home/ma-user/ws/processed_for_ma_inpu

查看更多 →

Flink应用开发常用概念 DataStream 数据流，是指Flink系统处理的最小数据单元。该数据单元最初由外部系统导入，可以通过socket、Kafka和文件等形式导入，在Flink系统处理后，在通过Socket、Kafka和文件等输出到外部系统，这是Flink的核心概念。

查看更多 →

目录均为自定义，可参考下图。模块身份等信息均由SDK存储在config卷中，如果不配置挂载config卷，会导致自定义应用重启后无法与EdgeHub成功建立MQTT连接。 确认配置 参数名称 说明 应用名称 自定义，如iot_edge 功能用途 根据容器应用的功能用途自行选择，本

查看更多 →

该解决方案基于华为云 弹性云服务器 E CS 上资源一键式部署，帮用户快速构建Flink集群环境。解决方案架构图如下： 图1 方案架构图 部署该方案中需要使用的资源： 创建一台弹性 云服务器 ECS，充当Flink集群的JobManager角色和TaskManager角色。 创建两台弹性云 服务器 EC

查看更多 →

置为input和output,则配置为： 输入端点：input 输出端点：output 输入输出端点是非必需配置的，当有数据流转时需要配置，如OT应用（数据处理）。 驱动类应用和IT应用一般不需要配置。 安装包部署 添加边缘应用-应用配置 部署方式选择安装包部署 添加边缘应用-软件和运行配置

查看更多 →

为了避免算法推理内部可能出现的内存拷贝，在调用模型管家Process接口时，建议输入数据（输入数据一般可直接使用框架传入的内存，该内存是由框架通过HIAI_DMalloc申请得到）及输出数据都通过HIAI_DMalloc接口申请，这样就能够使能算法推理的零拷贝机制，优化Process时间。如果在推理前需要进行DVPP处理，DVPP的输入内

查看更多 →

使用预置的数据处理工具 创建数据处理任务 管理和查看数据处理任务

查看更多 →

Loader算子数据处理规则 在Loader导入或导出数据的任务中，每个算子对于原始数据中NULL值、空字符串定义了不同的处理规则；在算子中无法正确处理的数据，将成为脏数据，无法导入或导出。 在转换步骤中，算子数据处理规则请参见下表。 表1 数据处理规则一览表 转换步骤 规则描述

查看更多 →

容器规格与高级配置请根据您的需要进行配置。 图1 容器化部署配置 表1 部署配置 参数名称 说明 部署方式 容器化部署：在边缘节点是以Docker容器运行；添加容器化部署的应用需先确保容器镜像已上传到 容器镜像服务 (SWR)，且设置其类型为“公开”，例如图1所示。 安装包部署：在边缘节点是以

查看更多 →

参数类型 描述 policy_id String 参数说明：数据流转流控策略id，用于唯一标识一个数据流转流控策略，在创建数据流转流控策略时由物联网平台分配获得。 policy_name String 参数说明：数据流转流控策略名称。 取值范围：长度不超过256，只允许中文、字母、数字、以及_

查看更多 →

使用 数据接入服务 （DIS）采集IOT实时数据流，需要将采集到的数据进行处理（比如格式转换），然后存储到 表格存储服务 （CloudTable Service）中，使用FunctionGraph函数可以实现此功能。 实现流程 创建虚拟私有云和集群。 构建实现数据处理功能的程序，将程序打包。 在 函数工作流 服务中，创建函数。

查看更多 →