质检服务
- 服务分布:
表1 服务分布 服务名
服务器
安装目录
端口
data-quality-manager
10.190.x.x
10.190.x.x
/app/dt/data-quality-manager
8084
- 安装spark提交服务
- 修改配置文件application-dev.yml
- 修改stdms.callback.url和stdms.result.url中的ip和端口,配置为CIM数据汇聚管理平台的ip和端口
- 采用本地模式运行,配置spark.master为local;采用集群模式运行,配置spark.master为yarn
```yml # 服务端口 server: port: 8084 # spark任务提交模式 spark: master: local # 任务执行完成,回调CIM数据汇聚管理平台接口,通知任务完成与质检数据回传 stdms: callback: url: http://192.168.32.89:9090/stdms/feed-back/ch-task-status result: url: http://192.168.32.89:9090/stdms/check-result/batch-save # 生产打开下面配置,使用jar同级config目录配置文件 logging: config: config/log4j2.xml ```
- 启动、停止
- 停止:
Kill -9 进程号
- 停止:
- 服务验证
- 服务启动验证与版本信息查询
将以下地址中的ip和端口修改为实际部署ip和端口,请求接口,查看版本信息
请求地址:http://localhost:8087/about
请求方式:GET
- 服务功能验证
质检功能验证:将以下地址中的ip和端口修改为实际部署ip和端口,以下请求将对mysql库中的user表进行相关质检
请求地址:http://localhost:8089/dataquality/check
请求方式:POST
请求参数体:
```json { "taskId": "7fdbcc680a4f4e929bc72d89856b00d3", "taskName": "", "taskTime": "2022-03-21 18:30:00", "nodes": [ { "connectionInfo": { "datasourceId": 1, "type": "MYSQL", "host": "localhost", "port": 3306, "database": "demo", "username": "root", "password": "123456" }, "dbRules": [ …… ] } ] } ```
- 服务启动验证与版本信息查询
- 修改配置文件application-dev.yml