更新时间:2024-11-29 GMT+08:00

添加事件源

操作场景

IT管理员可以通过RTD WebUI界面中进行事件源定义来接入新的事件源。

操作步骤

  1. 参考访问RTD WebUI界面,使用业务用户登录RTD WebUI管理界面,选择相应的租户。
  2. 选择“业务管理 > 基础配置 > 事件源管理”。
  3. 单击“新增”,参见以下表格输入事件源相关参数。

    用户可以使用已有的模板定义创建事件源。若事件源为流处理业务类型,则输入、输出选择需配置为Kafka。
    表1 事件源配置参数

    参数名

    说明

    输入选择

    事件源输入类型:

    • HTTP
    • KAFKA

    输出选择

    事件源输出类型(可选):KAFKA
    说明:

    空白默认对应HTTP输出。

    输入TOPIC1

    事件来源的KAFKA的TOPIC。

    说明:

    在输入类型为“KAFKA”时需要设置。

    输出TOPIC1

    数据输出的KAFKA的TOPIC。

    说明:

    在输出类型为“KAFKA”时需要设置。

    模式选择

    模式选择:

    • 事件源输入类型选择HTTP类型,事件源 可设置以下模式:
      • 实时规则判决决策流
      • 实时规则评分决策流
      • 准实时数据批量导入决策流
      • 实时模型规则融合决策流
      • 用户扩展决策流
    • 事件源输入类型选择KAFKA,事件源可设置以下模式:
      • 准实时规则判决决策流
      • 准实时规则评分决策流
      • 准实时模型规则融合决策流
      • 用户扩展决策流
    • 客户Executor配置
    • 客户Executor插件

    客户Executor参数:

    • 客户Executor配置
    • 客户Executor插件(模式选择为“用户扩展决策流”时存在此参数)
    说明:
    • 用户可以单击下载模板按钮下载对应的模板文件进行修改,然后通过此处的浏览按钮上传。
    • 部分常用参数支持在WebUI界面修改,详情可参考在WebUI修改事件源Executor配置
    表2 事件源基本信息参数

    参数名

    描述

    类型

    事件源类型(交易、行为),不允许重复。

    调试配置项

    调试配置项,输出报文是否包含实时查询变量和批次变量的计算结果。

    • 输出变量计算结果。
    • 输出执行统计信息。
    • 输出变量、规则的exception信息。
      说明:

      不同类型的事件源调试配置项的参数可能不同。

    自动部署

    该事件源对应的RTDExecutor是否自动部署。
    • true:是。
    • false:否。

    最长保留时间

    MOTService中实时事件数据的最长保留时间,默认为7天。

    最大条数

    MOTService中实时事件数据每次单分区清理的最大条数。

    须为100-10000的整数,默认值为1000。

    清理周期

    MOTService中实时事件数据的清理周期,默认值为30分钟。

    首选主备组

    选择需要绑定的MOT集群。

    说明:
    • 双活模式下必须选择指定主备组,主备模式下默认为主MOT集群。
    • 根据绑定的集群,BLU处理业务数据时会优先在绑定的MOT集群中处理,可以提高业务可靠性,降低故障损失。

    描述

    事件源的相关描述信息。

    报文字段定义

    自定义报文字段。

    共享

    是否作为模板对外共享。

    单击“报文字段定义”按钮进入报文字段定义界面,单击“新增”添加报文字段(名称、类型、默认值等),支持添加多级报文,如下图所示。

    也可以单击“导入”,直接导入定义文件来创建报文字段。

    • 导入文件必须为“*.json”格式并且编码方式为UTF-8。
    • 当事件源中新增报文字段的类型为“boolean”类型时,后台数据库同步建表的字段映射类型应为“smallint”类型。
    图1 定义报文字段

  4. 单击“提交并创建维度映射”,提交事件源并创建维度映射。

    单击“维度映射”下的“新增”按钮,添加一条维度映射关系条目。
    1. 在“维度名称”项中选择要设置的维度名称、父维度、是否入库、维度主键、维度时间,输入对应的维度入库表等信息。
    2. 单击“字段映射”,可进入数据表报文字段定义界面,查看报文字段名称同数据库列名的对应关系。如多级报文的维度映射,如图2所示。
      图2 多级报文的维度映射

      在“字段映射”窗口中可以单击“导入”,导入映射关系文件来创建事件源维度映射关系。

      • 导入文件必须为“*.json”格式并且编码方式为UTF-8。
      • 当事件源中新增报文字段的类型为“boolean”类型时,后台数据库同步建表的字段映射类型应为“smallint”类型。
    3. 单击“确认”完成字段映射配置,然后输入批次变量表的名称。

  5. 单击“确认”完成事件源创建。事件源创建成功之后,在“事件源管理”页面可查看事件源列表状态,并进行编辑、修改维度映射、打开流控开关、打开服务维护开关、共享模板等操作。

    修改维度映射注意事项:

    下线维度映射前,需要先将该维度映射的事件源关联的所有“变量&规则配置”先下线,“变量&规则配置”下线顺序如下。

    图3 “变量&规则配置”下线顺序

  6. (可选)维度过滤配置。

    业务管理员可以配置每个维度需要过滤的热点数据,上线时更新到BLU配置文件中,决策业务可根据配置进行匹配,实现热点数据过滤。

    1. 在“事件源管理”页面单击指定事件源“维度操作”列的名称。
    2. 在弹出“维度操作”窗口中选择操作列的“更多 > 维度过滤配置”。
    3. 在弹出“维度过滤”窗口中输入过滤数据。
      • 过滤数据只含有汉字、数字、字母、逗号,且不能以逗号开头或结束。多个数据间以逗号分隔,如“123,321”。
      • 根据热点数据过滤配置文件,对每个维度进行匹配。业务数据匹配中则跳过入库、变量和规则计算,未匹配中则正常执行。
      • 过滤结果计入日志RTDExecutor_result.log中,便于后期跟踪定位。
      • 维度过滤功能没有单独上下线功能,功能是否生效跟随维度映射上下线一致,上线时维度过滤功能生效,下线时维度过滤功能不生效。
    4. 单击“确认”保存维度过滤配置。