数据转发至Kafka存储

场景说明

对于设备上报的数据，可以选择让平台将设备上报数据推送给应用服务器，由应用服务器进行保存；还可以选择让平台将设备上报数据转发给分布式消息服务（Kafka），由Kafka进行存储。

本示例为将所有设备上报的数据转发至Kafka存储。

购买Kafka实例

1. 登录华为云官方网站，访问分布式消息服务。
2. 单击“进入控制台”进入分布式消息服务管理控制台。
3. 单击右上角“购买Kafka实例”，根据需求选择实例规格与配置安全组后，单击“立即购买”。
   图1 购买Kafka实例

   

配置设备接入服务

在设备接入服务中创建产品模型、注册设备并设置数据转发规则，实现当设备上报数据时将数据转发至Kafka。

1. 访问设备接入服务，单击“立即使用”进入设备接入控制台。选择您的实例，单击实例卡片进入。
2. 在左侧导航栏选择“规则>数据转发”，单击左上角的“创建规则”。
3. 参考下表参数说明，填写规则内容。以下参数取值仅为示例，您可参考数据转发简介创建自己的规则，填写完成后单击“创建规则”。

   参数名	参数说明
   规则名称	自定义，如iotda-kafka。
   规则描述	自定义，如数据转发至Kafka存储。
   数据来源	选择“设备属性”。
   触发事件	自动匹配“设备属性上报”。
   资源空间	选择“所有资源空间”。

   图2 新建属性上报流转规则-数据转发至Kafka
   
4. 单击“设置转发目标”页签，单击“添加”，设置转发目标。

   参数名	参数说明
   转发目标	选择“分布式消息服务(kafka)”
   区域	选择Kafka服务的所在区域。若未授权访问此区域的服务，请根据界面提示，配置云服务访问授权。
   对接地址	参考连接已开启SASL的Kafka专享版实例获取对接地址。设备接入基础版和标准版实例只支持公网接入专享版Kafka，IoTDA企业版实例支持同VPC同子网下Kafka实例私网接入。
   主题	自定义主题，参考创建Topic。
   SASL认证	若开启SASL认证，请填写您在购买Kafka实例中所选安全协议、SASL认证机制以及所填的SASL用户名和密码。
   Kafka安全协议	选择您在购买Kafka实例中所启用的kafka安全协议。
   SASL认证机制	选择您在购买Kafka实例中所开启的SASL认证机制。
   SASL用户名	填写您在购买Kafka实例中输入的SASL用户名。
   密码	填写您在购买Kafka实例中输入的密码。

   图3 新建转发目标-转发至自定义证书Kafka
   
5. 单击“启动规则”，激活配置好的数据转发规则。
   图4 启动规则-转发至Kafka
   

验证操作

• 您可以使用配置设备接入服务时注册的真实设备接入平台，上报任意数据。
• 您也可以使用模拟器模拟设备上报数据，操作方法请参考在线开发MQTT协议的智慧路灯。

期望结果：

登录Kafka管理控制台，单击Kafka实例名进入实例管理页面后，在“消息查询”页面可以查看到设备上报的数据。

图5 查看Kafka消息-Kafka

您也可以使用Kafka的API（查询消息）进行文件读取。