设备接入 IoTDA设备接入 IoTDA

更新时间:2021/09/13 GMT+08:00
分享

数据转发

概述

数据转发无缝与华为云其他服务对接,实现设备数据的存储、计算、分析的全栈服务。当前物联网平台支持转发至如下服务:
  • 数据接入服务DIS:实现数据高效采集、传输、分发。用户可以通过DIS提供的SDK/API等方式下载数据,完成后续自定义使用数据的业务开发场景;数据接入服务也可以通过转储任务进一步将数据转发到其他云服务(OBSMapReduceDWSDLI),进行数据存储、数据分析等后续数据处理,便于用户进行更灵活、多样化的数据使用。
  • 分布式消息服务Kafka:为设备数据提供的消息队列服务。Kafka是一个拥有高吞吐、可持久化、可水平扩展,支持流式数据处理等多种特性的分布式消息流处理中间件,采用分布式消息发布与订阅机制,在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。使用华为云分布式消息服务Kafka,资源按需申请,按需配置Topic的分区与副本数量,即买即用,您将有更多精力专注于业务快速开发,不用考虑部署和运维。
  • 对象存储服务OBS:实现设备数据持久存储(设备接入服务支持设备历史数据存储)。OBS是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力,适用于对设备上报数据进行归档和备份存储。OBS也支持对接实时流计算CS云服务,实时分析数据流,分析结果对接到其他云服务或者第三方应用进行数据可视化等。
  • 应用与数据集成平台ROMA Connect:它的消息集成(Message Queue Service,简称MQS)组件,为物联网平台与应用服务器之间提供安全、标准化的消息通道。MQS是一款企业级消息中间件,基于Kafka协议,使用统一的消息接入机制,并具备消息发布订阅、Topic管理、用户权限管理、资源统计、监控报警等基础功能,以及消息轨迹、网络隔离、云上云下集成等高级特性,为企业数据管理提供统一的消息通道。
  • 第三方应用服务(HTTP推送):应用服务器通过调用物联网平台的创建规则触发条件创建规则动作修改规则触发条件接口配置并激活规则,在指定应用服务器的URL后,将平台获取发生变更的设备业务信息(如设备生命周期管理、设备数据上报、设备消息状态、设备状态等)和管理信息(软固件升级状态和升级结果)推送给指定URL的服务器。
  • AMQP推送消息队列:无需对接其他华为云服务,即可实现数据流转。应用服务器通过调用物联网平台的创建规则触发条件创建规则动作修改规则触发条件接口配置并激活规则,在AMQP客户端和平台建链后,物联网平台根据用户订阅的数据类型,即可将对应的变更信息推送给指定的AMQP消息队列。详细请参考使用AMQP订阅推送
  • 云日志服务(LTS):实现日志采集、分析、查询、存储、可视化图表等功能。用户可以通过云日志服务快速高效地进行设备运维管理、用户业务趋势分析、安全监控审计等操作。应用服务器通过调用物联网平台的创建规则触发条件创建规则动作修改规则触发条件接口配置并激活规则,在指定日志组和日志流后,将MQTT设备的业务运行日志推送给指定的日志组和日志流。
图1 数据转发

若您想要进一步体验数据转发功能,可参考数据转发至OBS长期储存

操作步骤

  1. 访问设备接入服务,单击“立即使用”进入设备接入控制台。
  2. 选择左侧导航栏的规则 > 数据转发,单击页面右上角的“创建规则”
  3. 设置转发数据,然后单击“创建规则”

    参数名

    参数说明

    规则名称

    创建的规则名称。

    规则描述

    对该规则的描述。

    数据来源

    • 设备:将操作设备的信息,如设备添加、设备删除、设备更新设置为数据来源。当数据来源选择“设备”时,不支持快速配置。
    • 设备属性:将归属在某个资源空间下的设备上报给平台的属性值设置为数据来源。单击右侧的“快速配置”勾选需要转发的产品、属性、服务等数据。
    • 设备消息:将归属在某个资源空间下的设备上报给平台的消息设置为转发目标。单击右侧的“快速配置”,仅转发指定topic的数据。选择所属产品,填写Topic名称。您可以使用在产品详情页面自定义的Topic,也可以使用平台预置的Topic
    • 设备消息状态:将设备和平台之间流转的设备消息状态变更设置为转发目标。设备消息状态详见这里。当数据来源选择“设备消息状态”,不支持快速配置。
    • 设备状态:将归属在某个资源空间下的直连设备状态变更转发至其他服务。单击“快速配置”,您可以转发设备状态为“在线”、“离线”和“异常”的设备信息到其他服务。物联网平台直连设备状态详见这里
    • 批量任务:将批量任务状态的数据设置为数据来源。当数据来源选择“批量任务”时,不支持快速配置。
    • 产品:将操作产品的信息,如产品添加、产品删除、产品更新设置为数据来源。当数据来源选择“产品”时,不支持快速配置。
    • 设备异步命令状态:针对LwM2M/CoAP协议的设备,物联网平台支持下发异步命令给设备。将异步命令的状态变更设置为数据来源。物联网平台设备异步命令状态详见这里。当数据来源选择“设备异步命令状态”时,不支持快速配置。
    • 运行日志:将MQTT设备的业务运行日志设置为数据来源。当数据来源选择“运行日志”时,不支持快速配置。

    触发事件

    选择数据来源后,自动匹配触发事件。

    资源空间

    您可以选择单个资源空间或所有资源空间。当选择所有资源空间时,不支持快速配置。

    SQL语句

    您需要编辑处理消息数据的SQL,设置数据转发目的地。

    单击“编辑SQL”,编写处理消息字段的SQL。

    SQL编写方法,可参考SQL语句

    说明:
    • 仅标准版实例和企业版实例支持SQL语句编辑,基础版实例不支持。
    • 若使用快速配置,将自动生成查询语句。生成的查询语句将覆盖您之前编辑的SQL语句。

  4. 单击“设置转发目标”页签,单击“添加”,设置转发目标。

    根据实际情况,选择数据接入服务DIS分布式消息服务Kafka对象存储服务OBS应用与数据集成平台ROMA Connect第三方应用服务(HTTP推送)、或AMQP推送消息队列)或云日志服务(LTS)

    参数名

    转发目标

    参数说明

    转发目标

    数据接入服务(DIS)

    • 区域:选择转发服务的所在区域,若未授权访问此区域的服务,请根据界面提示,配置云服务访问授权。
    • 通道归属:可以选择自有通道或他人授权。
      • 自有通道:选择需要的通道。若没有通道,请前往DIS服务创建通道
      • 他人授权:您也可以使用其他用户授权给您的通道。请前往DIS控制台获取通道ID。
        说明:

        确保已在DIS控制台添加上传权限授权策略,详细操作请参考DIS授权管理

    分布式消息服务(Kafka)

    说明:

    如果选择分布式消息服务,目前只支持转发到Kafka专享版。

    • 区域:选择转发服务的所在区域,若未授权访问此区域的服务,请根据界面提示,配置云服务访问授权。
    • 对接地址:参考连接已开启SASL的Kafka专享版实例获取对接地址。设备接入基础版和标准版实例只支持公网接入专享版Kafka,企业版实例支持私网接入专享版Kafka。
    • 主题:自定义。
    • 数据加密传输:若开启数据加密传输,SASL用户名和密码,填写您在购买Kafka实例中输入的SASL用户名和密码。

    对象存储服务(OBS)

    • 区域:选择转发服务的所在区域,若未授权访问此区域的服务,请根据界面提示,配置云服务访问授权。
    • 存储桶:选择需要的桶。若没有,请前往OBS服务创建桶

    应用与数据集成平台(ROMA Connect)

    说明:

    目前仅企业版实例支持转发到ROMA Connect,基础版实例和标准版实例不支持。

    • 对接地址:输入MQS的连接地址。详细指导请参考这里
    • 账户名/密码:访问ROMA实例的控制台获取MQS的用户名与密码。详细请参考这里
    • 主题:自定义。

    第三方应用服务(HTTP推送)

    您可以使用HTTP或HTTPS协议进行推送。详细参数填写请参考HTTP/HTTPS服务端订阅

    AMQP推送消息队列

    消息队列:选择需要推送消息的队列。若没有队列,请创建队列。消息队列名限制请参考配置AMQP服务端订阅

    函数工作流服务 (FunctionGraph)

    说明:

    目前仅企业版实例支持转发到函数工作流服务,基础版实例和标准版实例不支持。

    • 函数名称:选择需要调用的函数名称(latest版本)。当前不支持跨区域调用函数。若没有函数,请参考这里创建函数。

  5. 启动规则。

    完成完整的规则定义后,您可以单击“启动规则”,实现数据转发。

分享:

    相关文档

    相关产品