更新时间:2023-09-07 GMT+08:00
分享

质检服务

  1. 服务分布:
    表1 服务分布

    服务名

    服务器

    安装目录

    端口

    data-quality-manager

    10.190.x.x

    10.190.x.x

    /app/dt/data-quality-manager

    8084

  2. 安装spark提交服务
    1. 修改配置文件application-dev.yml
      1. 修改stdms.callback.url和stdms.result.url中的ip和端口,配置为CIM数据汇聚管理平台的ip和端口
      2. 采用本地模式运行,配置spark.master为local;采用集群模式运行,配置spark.master为yarn
        ```yml
        # 服务端口
        server:
          port: 8084
        # spark任务提交模式
        spark:
          master: local
        # 任务执行完成,回调CIM数据汇聚管理平台接口,通知任务完成与质检数据回传
        stdms:
          callback:
            url: http://192.168.32.89:9090/stdms/feed-back/ch-task-status
          result:
            url: http://192.168.32.89:9090/stdms/check-result/batch-save
        # 生产打开下面配置,使用jar同级config目录配置文件
        logging:
          config: config/log4j2.xml
        ```
    2. 启动、停止
      • 启动:

        进入data-quality-manager.jar所在路径,执行

        ```shell
        nohup java -jar data-quality-manager.jar &
        ```
      • 停止:
        Kill -9 进程号
    3. 服务验证
      1. 服务启动验证与版本信息查询

        将以下地址中的ip和端口修改为实际部署ip和端口,请求接口,查看版本信息

        请求地址:http://localhost:8087/about

        请求方式:GET

      2. 服务功能验证

        质检功能验证:将以下地址中的ip和端口修改为实际部署ip和端口,以下请求将对mysql库中的user表进行相关质检

        请求地址:http://localhost:8089/dataquality/check

        请求方式:POST

        请求参数体:

        ```json
        {
            "taskId": "7fdbcc680a4f4e929bc72d89856b00d3",
            "taskName": "",
            "taskTime": "2022-03-21 18:30:00",
            "nodes": [
                {
                    "connectionInfo": {
                        "datasourceId": 1,
                        "type": "MYSQL",
                        "host": "localhost",
                        "port": 3306,
                        "database": "demo",
                        "username": "root",
                        "password": "123456"
                    },
                    "dbRules": [
                        ……
                    ]
                }
            ]
        }
        ```

相关文档