配置示例
通过“管理”实时接收第三方推动的数据
使用场景:第三方主动推送数据到服务器上,unidaten工作人员将数据在第三方的服务器上转换成unidaten系统可以接收的形式后(即端口号的形式),可以通过数据连接器的“管理”的方式,实时获取第三方数据,并生成相关资产。
操作步骤
- 以账号登录unidaten系统。光标放置在系统左上角,在功能导航中单击选择“数据连接器”,进入数据连接器页面。
- 选择目标文件夹,单击“新增数据连接器”,进入“输入配置”页面。
- 配置数据连接器的名称为“T_BUS_VEHICLE_TO_LEAVE_STATION”。
- 配置“输入配置”,如下图所示。
图1 输入配置
- 类型选择:管理
- 方式选择:HTTP
- PORT:请根据实际情况输入,即传输数据的端口号。
- 配置项:如有特殊需求,配置相应key、value值。如果没有特殊需求,无需修改。
- 配置“数据处理”,如下图所示。
图2 数据处理
- 处理方式:JSON格式
- 获取数据字段路径:将接收的数据当作rest-api类型的数据进行处理,如上图所示。
- 获取数据的路径:将接收的数据当作rest-api类型的数据进行处理,如上图所示。
- 输出字段:即表中需要作为资产输出的字段。
- 配置“输出配置”,如下图所示。
图3 输出配置
- 输出源:资产
- 选择资产:选择已存在的资产,本示例中“T_BUS_VEHICLE_TO_LEAVE_STATION”。
- 类型:新增
- 输出映射:将“数据处理”的字段进行输出,字段名选择“输出源”中资产的字段,值选择为“数据处理”中的输出字段。
后续处理
- 返回数据连接器列表,单击新建的数据连接器“T_BUS_VEHICLE_TO_LEAVE_STATION”的“开启”。
- 当第三方不断推送数据时,资产“T_BUS_VEHICLE_TO_LEAVE_STATION”中会新增推送的数据。
通过“轮询”的方式从rest-api接口中获取数据
使用场景:已在fastmock平台上创建rest-api接口
接口信息如下图所示:
接口中的数据如下图所示:
接口中的数据发生更新,现需要通过数据连接器“轮询”的方式,获取接口中更新的数据并生成资产。
操作步骤
- 以账号登录unidaten系统。
- 光标放置在系统左上角上,在功能导航中单击选择“数据连接器”,进入数据连接器页面。
- 选择目标文件夹,单击“新增数据连接器”,进入“输入配置”页面。
- 配置数据连接器的名称为“数据连接器-restapi”。
- 配置“输入配置”,如下图所示。
图6 输入配置
- 类型选择:轮询。
- 方式选择:根据接口的协议进行配置,本示例中配置为HTTP。
- 轮询周期:用户自定义,此示例中配置为30,表示从rest-api接口请求数据的周期为30秒。
- 选择数据源:选择rest-api类型的数据源,此示例中选择的数据源为“数据连接器”,已将rest-api接口:https://XXXXXX/ 作为数据源添加到unidaten系统中,数据源的配置如下图所示:
图7 数据源的配置
- 请求类型:根据rest-api接口的实际请求方式进行选择,此示例中配置为get。
- 接口地址:rest-api接口的地址。当选中的数据源中已配置部分地址时,只需将地址的剩余部分填入即可。例如,rest-api数据源中已配置了请求协议,以及请求域名( ip 和port、或域名),那接口地址中无需配置请求协议和域名。如果没有配置“选择数据源”,则需要输入完整的接口地址。本示例中由于已经配置了“选择数据源”,并且数据源中已经配置了请求协议和域名,所以这部分内容只需写为 /mock/8d2f7ed532113fb8b1b9bfc9b5abdf78/test/pepole_information。
- 传参格式:根据rest-api接口内容格式进行选择,本示例中配置为JSON。
- 配置“数据处理”,如下图所示。
图8 数据处理
- 处理方式:JSON格式。
- 获取数据字段路径:支持数组、对象和值,配置方式类同rest-api数据源。
- 获取数据的路径:支持数组、对象和值,配置方式类同rest-api数据源。
- 输出字段:即接口中需要作为资产输出的字段,根据接口中的数据进行配置。
- 配置“输出配置”,如下图所示。
图9 输出配置
- 输出源:根据实际情况配置,本示例中配置为“资产”。
- 选择资产:选择已存在的资产,本示例中选择“数据连接器_restapi”。
- 类型:新增。
- 输出映射:将“数据处理”的字段进行输出,字段名选择“输出源”中资产的字段,值选择为“数据处理”中的输出字段。
后续处理
当前数据图书馆中的资产“数据连接器_restapi”为空,如下图所示。
返回数据连接器列表,单击新建的数据连接器“数据连接器-restapi”的“开启”,资产“数据连接器_restapi”中获取接口https://xxxxxxxe/mock/8d2f7ed532113fb8b1b9bfc9b5abdf78/test/pepole\_information 中的数据,如下图所示。
配置ActiveMQ类型的数据连接器
使用场景:现有ActiveMQ,如下图所示。现需将ActiveMQ队列中test-in的内容在unidaten系统中生成相应的资产,通过数据连接器可以实现。ActiveMQ的TCP协议地址为:tcp://xxxxx:61616
操作步骤
- 以账号登录unidaten系统。光标放置在系统左上角,在功能导航中单击选择“数据连接器”,进入数据连接器页面。
- 选择目标文件夹,单击“新增数据连接器”,进入“输入配置”页面。
- 配置数据连接器的名称为“ActiveMq”。
- 配置“输入配置”,如下图所示。
图13 输入配置
- 类型选择:管理。
- 方式选择:本示例中配置为ActiveMQ。
- IP地址:ActiveMQ的TCP协议地址,本示例中配置为 tcp://xxxxxxxx:61616。
- 目标种类:本示例中配置为QUEUE。
- 目标名称:QUEUE的名称,本示例中配置为test-in。
- 配置“数据处理”,配置“处理方式”为无,如下图所示。
图14 数据处理
- 配置“输出配置”,如下图所示。
图15 输出配置
- 输出源:根据实际情况配置,本示例中配置为“资产”。
- 选择资产:选择已存在的资产,本示例中选择“activemqContent”。
- 类型:新增。
- 输出映射:将“数据处理”的字段进行输出,字段名选择“输出源”中资产的字段,值选择为“数据处理”中的输出字段。
连接器测试
返回数据连接器列表,单击新建的数据连接器“ActiveMq”的“开启”。
unidaten中现有资产activemqContent,资产中有三条数据,如下图所示。
当通过后台,向ActiveMQ发送数据“test4”时,数据图书馆中的资产同步变更,表示数据连接器已经管理到ActiveMQ中队列test-in的数据。
配置超期问题单邮件提醒
使用场景
某公司有一问题单系统,频繁出现超期未处理问题单的现象。现通过unidaten的数据连接器的邮件通知功能,提醒员工尽快处理超期问题单。
超期问题单已保存在MySQL数库中,对应表为contact_test,并且已在unidaten系统中生成相应的资产“数据连接器_数据告警”,如下图所示。
配置步骤
- 以账号登录unidaten系统。光标放置在系统左上角,在功能导航中单击选择“数据连接器”,进入数据连接器页面。
- 选择目标文件夹,单击“新增数据连接器”,进入“输入配置”页面。
- 配置数据连接器的名称为“问题单处理提醒”。
- 配置“输入配置”,如下图所示。
图19 输入配置
- 类型选择:选择“轮询”。
- 方式选择:选择“资产”。
- 轮询周期:配置为“600”。
- 选择资产:选择“数据连接器_数据告警”。
- 配置“数据处理”,如下图所示。
数据处理图20 数据处理
- 处理方式:配置为“JSON”格式,因为要获取到资产中的字段,所以配置为JSON。
- 获取数据字段路径:第一层为:对象;第二层为:值-获取所有key。
- 获取数据字段路径:第一层为:对象;第二层为:值-获取所有value。
- 输出字段:配置为选择的资产中字段的名称。分别为:id、mane、email和age。
数据告警
图21 数据告警
- 条件配置:配置为“同时满足”,条件为“email不为空”,因为当email为空时,无法发送邮件。
- 通知设置:
- 通知次数:配置为“循环”,即遍历到几个email,就发送几个邮件,无论email的内容是否相同。
- 通知类型:配置为“邮件”。
- 通知用户:选择“指定字段”。
- 字段选择:配置为“email”。
- 通知内容:配置为:“name”+请尽快处理问题单!
- “输出配置”中不做任何配置。
- 单击“保存”。
连接器测试
返回数据连接器列表,单击新建的数据连接器“问题单处理提醒”的“开启”。
稍后可在邮箱中查看邮件,由于资产“数据连接器_数据告警”中有4条数据,所以一共收到了4封邮件,分别如下所示。
配置Avro类型的数据连接器
实现流程
Plaintext
st=>start: 开始
op1=>operation: TCP管理端口获取通过TelnXX输入的数据
op2=>operation: 通过数据连接器1向Avro端口输入数据
op3=>operation: 通过数据连接器2启动Avro管理服务
op4=>operation: Avro管理到的数据同步到数据图书馆
e=>end: 结束
st->op1->op2->op3->op4->e
操作步骤
- 以账号登录unidaten系统。光标放置在系统左上角,在功能导航中单击选择“数据连接器”,进入数据连接器页面。
- 选择目标文件夹,单击“新增数据连接器”,进入“输入配置”页面。
- 新增数据连接器1。
- 配置数据连接器的名称为“数据连接器1”。
- 输入配置的相关内容,如下图所示。
图24 输入配置
- 数据处理的相关内容,如下图所示。
图25 数据处理
- 输出配置的相关内容,如下图所示。port即为Avro的注册端口号。
图26 输出配置
- 单击“保存”。
- 新增数据连接器2。
- 配置数据连接器的名称为“数据连接器2”。
- 输入配置的相关内容,如下图所示。
图27 输入配置
此处配置的port需与数据连接器1中“输出配置”中的port保持一致,用于启动Avro管理服务。
- 数据处理的相关内容,如下图所示。
图28 数据处理
- 输出配置的相关内容,如下图所示。
图29 输出配置
- 单击“保存”。
连接器测试
当前资产avro中无任何数据,如下图所示:
通过TelnXX连接tcp地址:TelnXX xxxxxxx 5301,并发送数据。如下图所示。
数据发送会产生延迟,稍等片刻后,刷新资产avro中的数据如下图所示。数据图书馆中的资产同步变更,表示数据连接器已经管理到Avro中的数据。
配置Kafka类型的数据连接器
前提条件
数据图书馆中已经创建资产用于存放从Kafka管理的即时数据,目前只支持将数据存放在数据库类型的资产中。
Kafka中已经创建好主题,本样例以"sdata"为例,具体操作步骤如下。
- 用Ctrl+R打开cmd窗口,输入ssh IP -l kafka命令登录Kafka服务器(请根据实际情况配置服务器IP地址和用户名)。
- 执行cd /home/kafka/kafka_2.13-2.8.0/bin命令,进入bin目录(请根据实际情况进入Kafka的安装目录)。
- 执行 ./kafka-console-producer.sh --broker-list IP --topic sdata命令,打开消息控制台创建主题。
请根据实际情况配置IP地址、端口、主题名称,此处主题名称以“sdata”为例。
操作步骤
- 以账号登录unidaten系统。
- 光标放置在系统左上角,在功能导航中单击选择“数据连接器”,进入数据连接器页面。
- 选择目标目录,单击“新增数据连接器”,进入“输入配置”页面。
- 输入连接器名称,配置“输入配置”中的参数,如下所示。
图32 输入配置
- 单击“数据处理”,配置参数如下所示。此处处理方式配置为“无”。用户可根据实际情况,对管理的数据进行处理。
如果处理方式为“无”,数据处理配置如下所示。图33 数据处理1
如果处理方式为“JSON格式”,数据处理配置如下所示(此处的输出字段与输出配置中的资产中的字段类型保持一致)。图34 数据处理2
- 单击“输出配置”,配置参数如下所示。“配置项”中的参数可根据实际情况进行修改。
如果处理方式为“无”,输出配置如下所示,此处数据资产选择“kafka_content”。
图35 输出配置1
如果处理方式为“JSON格式”,选择图书馆资产,将资产和Kafka中的字段绑定输出配置如下所示。
图36 输出配置2
- 单击“保存”,Kafka数据连接器配置完成。
- 选择创建好的连接器,单击“开启”,开启数据连接器。
图37 开启
验证步骤
- 用Ctrl+R打开cmd窗口,输入以下命令登录Kafka服务器(请根据实际情况配置服务器IP地址和用户名)。
ssh IP -l kafka
- 执行以下命令,进入bin目录(请根据实际情况配置Kafka的安装目录)。
cd /home/kafka/kafka_2.13-2.8.0/bin
- 执行以下命令,打开消息控制台发送消息。
请根据实际情况配置IP地址、端口、主题名称,此处主题名称以“sdata”。
./kafka-console-producer.sh --broker-list IP --topic sdata
方式一:当数据处理方式为“无”。
- 输入消息,验证步骤如下所示。
图38 验证步骤
- 执行以下命令,打开消息控制接收信息。请根据实际情况配置IP地址、端口、主题名称。
./kafka-console-consumer.sh --bootstrap-server IP --topic sdata --from-beginning
图39 执行以下命令
- 以账号登录unidaten系统,光标放置在系统左上角,在功能导航中单击选择“数据图书馆”,进入数据图书馆页面,选择“kafka_content”资产,查看即时数据是否刷新成功。
图40 资产数据
方式二:当数据处理方式为“JSON格式”。
- 输入消息,验证步骤如下所示。
配置RabbitMQ类型的数据连接器
前提条件
- 数据图书馆中已经创建用于存放RabbitMQ即时数据的数据资产,目前只支持将数据存放在数据库类型的资产中,本案例的资产字段包括姓名(文本类型),年龄(数值类型)和描述(文本类型),如下图所示。
图44 数据资产
- 已经在RabbitMQ管理平台中创建好订阅主题,本样例以"userSync"为例,创建订阅主题步骤如下图所示。
图45 创建订阅主题
操作步骤
- 以账号登录unidaten系统。
- 光标放置在系统左上角,在功能导航中单击选择“数据连接器”,进入数据连接器页面。
- 选择目标目录,单击“新增数据连接器”,进入“输入配置”页面。
- 输入连接器名称,配置“输入配置”中的参数,如下所示。
图46 输入配置
- 配置“数据处理”,此处以“JSON”为例,如下图所示(此处的输出字段与输出配置中的资产中的字段类型保持一致)。
图47 数据处理
- 配置“输出配置”,选择存放数据的图书馆资产,类型选择“新增”,配置输出映射关系,如下图所示。
图48 输出配置
- 单击“保存”,完成数据连接器的配置。
- 登录RabbitMQ管理平台,选在“Queues”,单击目标订阅主题,进入主题。
图49 登录RabbitMQ管理平台
- 在“Publish message”输入消息体内容,此处以“JSON”为例,单击“Publish message”发布消息,如下所示。
图50 输入消息体内容
验证步骤
以账号登录unidaten系统,光标放置在系统左上角,在功能导航中单击选择“数据图书馆”,进入数据图书馆页面,选择资产,查看即时数据是否刷新成功。