文档首页/ 地图/ 丰图城市数字孪生平台解决方案/ 实施步骤/ CIM数据汇聚管理软件部署/ 算子服务
更新时间：2023-09-07 GMT+08:00
查看PDF
分享

算子服务

  1. 服务分布：
    表1 服务分布

    服务名

    服务器

    安装目录

    端口

    data-wrangling

    10.190.x.x

    10.190.x.x

    /app/dt/data-wrangling

    8085
  2. 安装算子服务
    1. 修改配置文件application-dev.yml
      1. 修改stdms.callback.url中的ip和端口，配置为CIM数据汇聚管理平台的ip和端口
      2. 当使用minio存储日志时，配置log.server.enable为true，并配置日志服务（data-log-manage）的ip和端口；

        当使用本地文件存储日志时，配置log.server.enable为false

      3. 当采用local模式运行时，data-wrangling-worker.cluster-mode配置为local；当采用集群模式运行时，data-wrangling-worker.cluster-mode配置为yarn，此时，需要将hadoop集群的core-site.xml、yarn-site.xml、hdfs-site.xml、mapred-site.xml等四个文件拷入config文件夹，同时，如果data-wrangling服务部署机器不在hadoop集群内的话，需要在部署机器上的/etc/hosts中配置集群服务器的ip和hostname 
        ```yml
# 服务端口
server:
  port: 8085
# spark任务提交模式
data-wrangling-worker:
  cluster-mode: local
# 任务执行完成，回调CIM数据汇聚管理平台接口
stdms:
  callback:
    url: http://192.168.32.89:9090/stdms/feed-back/ch-task-status?objectId=%s&status=%d
# 是否将日志发送到日志服务并存储到minio
log:
  service:
    enable: true
    url: http://127.0.0.1:8089/save
```
    2. 启动、停止
      • 启动：

        进入bin路径，执行

        ```shell
./start.sh
```
      • 停止： 
        Kill -9 进程号
    3. 服务验证
      1. 服务启动验证与版本信息查询

        将以下地址中的ip和端口修改为实际部署ip和端口，请求接口，查看版本信息

        请求地址：http://localhost:8085/about

        请求方式：GET

      2. 服务功能验证

        任务提交验证：将以下地址中的ip和端口修改为实际部署ip和端口，配置正确的数据库连接信息，在数据库中创建user表，并填入任意测试数据，如下述案例表示查询本地mysql的demo库中的user表，并将user表中的数据同步到user1表。

        请求地址：http://localhost:8085/data-wrangling

        请求方式：POST

        请求参数体：

        ```json
{
    "taskId": "7fdbcc680a4f4e929bc72d89856b00d3",
    "taskName": "lz-test",
    "nodes": [
       ……
    ],
    "lines": [
        {
            "from": "1",
            "to": "2"
        }
    ]
}
```

        返回结果示例：

        ```json
{
    "success": true,
    "message": "提交spark任务成功",
    "content": {
        "taskId": "7fdbcc680a4f4e929bc72d89856b00d3",
        "taskName": "lz-test",
        "createTime": "2022-08-16 17:12:14",
        "level": "INFO",
        "applicationId": "local-1660641128001"
    }
}
```

相关文档