# 配置示例 #### 通过"管理"实时接收第三方推动的数据 **使用场景：**第三方主动推送数据到服务器上，unidaten工作人员将数据在第三方的服务器上转换成unidaten系统可以接收的形式后（即端口号的形式），可以通过数据连接器的"管理"的方式，实时获取第三方数据，并生成相关资产。 **操作步骤** 1. 以账号登录unidaten系统。光标放置在系统左上角，在功能导航中单击选择"数据连接器"，进入数据连接器页面。 2. 选择目标文件夹，单击"新增数据连接器"，进入"输入配置"页面。 3. 配置数据连接器的名称为"T_BUS_VEHICLE_TO_LEAVE_STATION"。 4. 配置"输入配置"，如下图所示。 图1输入配置 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002142088960.png) - 类型选择：管理 - 方式选择：HTTP - PORT：请根据实际情况输入，即传输数据的端口号。 - 配置项：如有特殊需求，配置相应key、value值。如果没有特殊需求，无需修改。 5. 配置"数据处理"，如下图所示。 图2数据处理 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177289981.png) - 处理方式：JSON格式 - 获取数据字段路径：将接收的数据当作rest-api类型的数据进行处理，如上图所示。 - 获取数据的路径：将接收的数据当作rest-api类型的数据进行处理，如上图所示。 - 输出字段：即表中需要作为资产输出的字段。 6. 配置"输出配置"，如下图所示。 图3输出配置 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177408353.png) - 输出源：资产 - 选择资产：选择已存在的资产，本示例中"T_BUS_VEHICLE_TO_LEAVE_STATION"。 - 类型：新增 - 输出映射：将"数据处理"的字段进行输出，字段名选择"输出源"中资产的字段，值选择为"数据处理"中的输出字段。 **后续处理** - 返回数据连接器列表，单击新建的数据连接器"T_BUS_VEHICLE_TO_LEAVE_STATION"的"开启"。 - 当第三方不断推送数据时，资产"T_BUS_VEHICLE_TO_LEAVE_STATION"中会新增推送的数据。 #### 通过"轮询"的方式从rest-api接口中获取数据 **使用场景：**已在fastmock平台上创建rest-api接口 接口信息如下图所示： 图4接口信息 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002179781589.png) 接口中的数据如下图所示： 图5接口中的数据 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002142100158.png) 接口中的数据发生更新，现需要通过数据连接器"轮询"的方式，获取接口中更新的数据并生成资产。 **操作步骤** 1. 以账号登录unidaten系统。 2. 光标放置在系统左上角上，在功能导航中单击选择"数据连接器"，进入数据连接器页面。 3. 选择目标文件夹，单击"新增数据连接器"，进入"输入配置"页面。 4. 配置数据连接器的名称为"数据连接器-restapi"。 5. 配置"输入配置"，如下图所示。 图6输入配置 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002141942094.png) - 类型选择：轮询。 - 方式选择：根据接口的协议进行配置，本示例中配置为HTTP。 - 轮询周期：用户自定义，此示例中配置为30，表示从rest-api接口请求数据的周期为30秒。 - 选择数据源：选择rest-api类型的数据源，此示例中选择的数据源为"数据连接器"，已将rest-api接口：https://XXXXXX/ 作为数据源添加到unidaten系统中，数据源的配置如下图所示： 图7数据源的配置 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177301193.png) - 请求类型：根据rest-api接口的实际请求方式进行选择，此示例中配置为get。 - 接口地址：rest-api接口的地址。当选中的数据源中已配置部分地址时，只需将地址的剩余部分填入即可。例如，rest-api数据源中已配置了请求协议，以及请求域名（ ip 和port、或域名），那接口地址中无需配置请求协议和域名。如果没有配置"选择数据源"，则需要输入完整的接口地址。本示例中由于已经配置了"选择数据源"，并且数据源中已经配置了请求协议和域名，所以这部分内容只需写为 /mock/8d2f7ed532113fb8b1b9bfc9b5abdf78/test/pepole_information。 - 传参格式：根据rest-api接口内容格式进行选择，本示例中配置为JSON。 6. 配置"数据处理"，如下图所示。 图8数据处理 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177426157.png) - 处理方式：JSON格式。 - 获取数据字段路径：支持数组、对象和值，配置方式类同rest-api数据源。 - 获取数据的路径：支持数组、对象和值，配置方式类同rest-api数据源。 - 输出字段：即接口中需要作为资产输出的字段，根据接口中的数据进行配置。 7. 配置"输出配置"，如下图所示。 图9输出配置 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002142106758.png) - 输出源：根据实际情况配置，本示例中配置为"资产"。 - 选择资产：选择已存在的资产，本示例中选择"数据连接器_restapi"。 - 类型：新增。 - 输出映射：将"数据处理"的字段进行输出，字段名选择"输出源"中资产的字段，值选择为"数据处理"中的输出字段。 **后续处理** 当前数据图书馆中的资产"数据连接器_restapi"为空，如下图所示。 图10数据连接器_restapi-1 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177419561.png) 返回数据连接器列表，单击新建的数据连接器"数据连接器-restapi"的"开启"，资产"数据连接器_restapi"中获取接口https://xxxxxxxe/mock/8d2f7ed532113fb8b1b9bfc9b5abdf78/test/pepole\\_information 中的数据，如下图所示。 图11数据连接器_restapi-2 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002179704929.png) #### 配置ActiveMQ类型的数据连接器 **使用场景**：现有ActiveMQ，如下图所示。现需将ActiveMQ队列中test-in的内容在unidaten系统中生成相应的资产，通过数据连接器可以实现。ActiveMQ的TCP协议地址为：tcp://xxxxx:61616 图12使用场景 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177432221.png) **操作步骤** 1. 以账号登录unidaten系统。光标放置在系统左上角，在功能导航中单击选择"数据连接器"，进入数据连接器页面。 2. 选择目标文件夹，单击"新增数据连接器"，进入"输入配置"页面。 3. 配置数据连接器的名称为"ActiveMq"。 4. 配置"输入配置"，如下图所示。 图13输入配置 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002144426290.png) - 类型选择：管理。 - 方式选择：本示例中配置为ActiveMQ。 - IP地址：ActiveMQ的TCP协议地址，本示例中配置为 tcp://xxxxxxxx:61616。 - 目标种类：本示例中配置为QUEUE。 - 目标名称：QUEUE的名称，本示例中配置为test-in。 5. 配置"数据处理"，配置"处理方式"为无，如下图所示。 图14数据处理 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002141954778.png) 6. 配置"输出配置"，如下图所示。 图15输出配置 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002142112834.png) - 输出源：根据实际情况配置，本示例中配置为"资产"。 - 选择资产：选择已存在的资产，本示例中选择"activemqContent"。 - 类型：新增。 - 输出映射：将"数据处理"的字段进行输出，字段名选择"输出源"中资产的字段，值选择为"数据处理"中的输出字段。 **连接器测试** 返回数据连接器列表，单击新建的数据连接器"ActiveMq"的"开启"。 unidaten中现有资产activemqContent，资产中有三条数据，如下图所示。 图16资产中有三条数据 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002142112838.png) 当通过后台，向ActiveMQ发送数据"test4"时，数据图书馆中的资产同步变更，表示数据连接器已经管理到ActiveMQ中队列test-in的数据。 图17向ActiveMQ发送数据 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002141954782.png) #### 配置超期问题单邮件提醒 **使用场景** 某公司有一问题单系统，频繁出现超期未处理问题单的现象。现通过unidaten的数据连接器的邮件通知功能，提醒员工尽快处理超期问题单。 超期问题单已保存在MySQL数库中，对应表为contact_test，并且已在unidaten系统中生成相应的资产"数据连接器_数据告警"，如下图所示。 图18数据连接器_数据告警 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002179785293.png) **配置步骤** 1. 以账号登录unidaten系统。光标放置在系统左上角，在功能导航中单击选择"数据连接器"，进入数据连接器页面。 2. 选择目标文件夹，单击"新增数据连接器"，进入"输入配置"页面。 3. 配置数据连接器的名称为"问题单处理提醒"。 4. 配置"输入配置"，如下图所示。 图19输入配置 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177346905.png) - 类型选择：选择"轮询"。 - 方式选择：选择"资产"。 - 轮询周期：配置为"600"。 - 选择资产：选择"数据连接器_数据告警"。 5. 配置"数据处理"，如下图所示。 **数据处理** 图20数据处理 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177346901.png) - 处理方式：配置为"JSON"格式，因为要获取到资产中的字段，所以配置为JSON。 - 获取数据字段路径：第一层为：对象；第二层为：值-获取所有key。 - 获取数据字段路径：第一层为：对象；第二层为：值-获取所有value。 - 输出字段：配置为选择的资产中字段的名称。分别为：id、mane、email和age。 **数据告警** 图21数据告警 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177465269.png) - 条件配置：配置为"同时满足"，条件为"email不为空"，因为当email为空时，无法发送邮件。 - 通知设置： - 通知次数：配置为"循环"，即遍历到几个email，就发送几个邮件，无论email的内容是否相同。 - 通知类型：配置为"邮件"。 - 通知用户：选择"指定字段"。 - 字段选择：配置为"email"。 - 通知内容：配置为："name"+请尽快处理问题单！ - "输出配置"中不做任何配置。 - 单击"保存"。 **连接器测试** 返回数据连接器列表，单击新建的数据连接器"问题单处理提醒"的"开启"。 稍后可在邮箱中查看邮件，由于资产"数据连接器_数据告警"中有4条数据，所以一共收到了4封邮件，分别如下所示。 图22数据连接器_数据告警1 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002141987820.png) 图23数据连接器_数据告警2 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177346909.png) #### 配置Avro类型的数据连接器 **实现流程** ``` Plaintext st=>start: 开始 op1=>operation: TCP管理端口获取通过TelnXX输入的数据 op2=>operation: 通过数据连接器1向Avro端口输入数据 op3=>operation: 通过数据连接器2启动Avro管理服务 op4=>operation: Avro管理到的数据同步到数据图书馆 e=>end: 结束 st->op1->op2->op3->op4->e ``` **操作步骤** 1. 以账号登录unidaten系统。光标放置在系统左上角，在功能导航中单击选择"数据连接器"，进入数据连接器页面。 2. 选择目标文件夹，单击"新增数据连接器"，进入"输入配置"页面。 3. 新增数据连接器1。 - 配置数据连接器的名称为"数据连接器1"。 - 输入配置的相关内容，如下图所示。 图24输入配置 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002142150060.png) - 数据处理的相关内容，如下图所示。 图25数据处理 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002141992004.png) - 输出配置的相关内容，如下图所示。port即为Avro的注册端口号。 图26输出配置 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002141992012.png) - 单击"保存"。 4. 新增数据连接器2。 - 配置数据连接器的名称为"数据连接器2"。 - 输入配置的相关内容，如下图所示。 图27输入配置 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002141992008.png) 此处配置的port需与数据连接器1中"输出配置"中的port保持一致，用于启动Avro管理服务。 - 数据处理的相关内容，如下图所示。 图28数据处理 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002142150064.png) - 输出配置的相关内容，如下图所示。 图29输出配置 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177469465.png) - 单击"保存"。 **连接器测试** 当前资产avro中无任何数据，如下图所示： 通过TelnXX连接tcp地址：TelnXX xxxxxxx 5301，并发送数据。如下图所示。 图30TelnXX连接tcp地址 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002141992016.png) 数据发送会产生延迟，稍等片刻后，刷新资产avro中的数据如下图所示。数据图书馆中的资产同步变更，表示数据连接器已经管理到Avro中的数据。 图31刷新资产avro中的数据 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002141992020.png) #### 配置Kafka类型的数据连接器 **前提条件** 数据图书馆中已经创建资产用于存放从Kafka管理的即时数据，目前只支持将数据存放在数据库类型的资产中。 Kafka中已经创建好主题，本样例以"sdata"为例，具体操作步骤如下。 - 用Ctrl+R打开cmd窗口，输入ssh IP -l kafka命令登录Kafka服务器（请根据实际情况配置服务器IP地址和用户名）。 - 执行cd /home/kafka/kafka_2.13-2.8.0/bin命令，进入bin目录（请根据实际情况进入Kafka的安装目录）。 - 执行 ./kafka-console-producer.sh --broker-list IP --topic sdata命令，打开消息控制台创建主题。 请根据实际情况配置IP地址、端口、主题名称，此处主题名称以"sdata"为例。 **操作步骤** 1. 以账号登录unidaten系统。 2. 光标放置在系统左上角，在功能导航中单击选择"数据连接器"，进入数据连接器页面。 3. 选择目标目录，单击"新增数据连接器"，进入"输入配置"页面。 4. 输入连接器名称，配置"输入配置"中的参数，如下所示。 图32输入配置 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177352125.png) 5. 单击"数据处理"，配置参数如下所示。此处处理方式配置为"无"。用户可根据实际情况，对管理的数据进行处理。 如果处理方式为"无"，数据处理配置如下所示。 图33数据处理1 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177470501.png) 如果处理方式为"JSON格式"，数据处理配置如下所示（此处的输出字段与输出配置中的资产中的字段类型保持一致）。 图34数据处理2 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002142367938.png) 6. 单击"输出配置"，配置参数如下所示。"配置项"中的参数可根据实际情况进行修改。 如果处理方式为"无"，输出配置如下所示，此处数据资产选择"kafka_content"。 图35输出配置1 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177568997.png) 如果处理方式为"JSON格式"，选择图书馆资产，将资产和Kafka中的字段绑定输出配置如下所示。 图36输出配置2 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002142209874.png) 7. 单击"保存"，Kafka数据连接器配置完成。 8. 选择创建好的连接器，单击"开启"，开启数据连接器。 图37开启 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177527333.png) **验证步骤** 1. 用Ctrl+R打开cmd窗口，输入以下命令登录Kafka服务器（请根据实际情况配置服务器IP地址和用户名）。 ssh *IP* -l *kafka* 2. 执行以下命令，进入bin目录（请根据实际情况配置Kafka的安装目录）。 cd /home/kafka/*kafka_2.13-2.8.0*/bin 3. 执行以下命令，打开消息控制台发送消息。 请根据实际情况配置IP地址、端口、主题名称，此处主题名称以"sdata"。 ./kafka-console-producer.sh --broker-list *IP --topic sdata* **方式一：** **当数据处理方式为"无"。** - 输入消息，验证步骤如下所示。 图38验证步骤 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177470509.png) - 执行以下命令，打开消息控制接收信息。请根据实际情况配置IP地址、端口、主题名称。 ./kafka-console-consumer.sh --bootstrap-server IP --topic sdata --from-beginning 图39执行以下命令 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002141993044.png) - 以账号登录unidaten系统，光标放置在系统左上角，在功能导航中单击选择"数据图书馆"，进入数据图书馆页面，选择"kafka_content"资产，查看即时数据是否刷新成功。 图40资产数据 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002142151100.png) **方式** **二：** **当数据处理方式为"** **JSON** **格式"。** - 输入消息，验证步骤如下所示。 图41验证步骤 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177470513.png) - 执行以下命令，打开消息控制接收信息。请根据实际情况配置IP地址、端口、主题名称。 ./kafka-console-consumer.sh --bootstrap-server IP --topic sdata --from-beginning 图42执行以下命令 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177470517.png) - 以账号登录unidaten系统，光标放置在系统左上角，在功能导航中单击选择"数据图书馆"，进入数据图书馆页面，选择资产，查看即时数据是否刷新成功。 图43账号登录 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177352129.png) #### 配置RabbitMQ类型的数据连接器 **前提条件** - 数据图书馆中已经创建用于存放RabbitMQ即时数据的数据资产，目前只支持将数据存放在数据库类型的资产中，本案例的资产字段包括姓名（文本类型），年龄（数值类型）和描述（文本类型），如下图所示。 图44数据资产 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002179709953.png) - 已经在RabbitMQ管理平台中创建好订阅主题，本样例以"userSync"为例，创建订阅主题步骤如下图所示。 图45创建订阅主题 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002141993528.png) **操作步骤** 1. 以账号登录unidaten系统。 2. 光标放置在系统左上角，在功能导航中单击选择"数据连接器"，进入数据连接器页面。 3. 选择目标目录，单击"新增数据连接器"，进入"输入配置"页面。 4. 输入连接器名称，配置"输入配置"中的参数，如下所示。 图46输入配置 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177352617.png) 5. 配置"数据处理"，此处以"JSON"为例，如下图所示（此处的输出字段与输出配置中的资产中的字段类型保持一致）。 图47数据处理 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002142151600.png) 6. 配置"输出配置"，选择存放数据的图书馆资产，类型选择"新增"，配置输出映射关系，如下图所示。 图48输出配置 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177352621.png) 7. 单击"保存"，完成数据连接器的配置。 8. 登录RabbitMQ管理平台，选在"Queues"，单击目标订阅主题，进入主题。 图49登录RabbitMQ管理平台 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002141993532.png) 9. 在"Publish message"输入消息体内容，此处以"JSON"为例，单击"Publish message"发布消息，如下所示。 图50输入消息体内容 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177470997.png) **验证步骤** 以账号登录unidaten系统，光标放置在系统左上角，在功能导航中单击选择"数据图书馆"，进入数据图书馆页面，选择资产，查看即时数据是否刷新成功。 图51数据图书馆 ![](https://support.huaweicloud.com/nscf-saasapp/zh-cn_image_0000002177471001.png)