更新时间:2023-11-14 GMT+08:00
分享

管理Agent

对于HDFS和关系型数据库类型的数据源,不方便暴露节点的场景,可选择在源端网络中部署Agent。CDM通过Agent拉取客户内部数据源的数据,但不支持写入数据。

图1 场景图

Agent的使用流程如图2所示。

图2 Agent使用流程

前提条件

  • 已具备CDM集群。
  • 已具备Linux主机(例如Linux版本ECS云服务器)。该Linux主机对vCPUs、内存、磁盘等规格无特殊要求,但须满足以下条件:
    • 需要已安装64位版本java 8并配置java环境变量。
    • 授予Ruby用户(若无Ruby用户则需手动创建)在/tmp目录下的写权限。

新建Agent

  1. 进入CDM主界面,单击左侧导航上的“集群管理”,选择集群后的作业管理 > Agent管理 > 新建Agent,配置Agent相关信息。

    图3 配置Agent
    • IP地址:配置为源端网络中部署Agent的IP地址。
    • 端口:Agent自定义的端口。建议范围:1024~65535。
    • 启用压缩:是否对数据使用gzip算法进行压缩传输。
      • 对于文本数据(基于字符编码的数据,例如MySQL的INT等数据类型,详见相关数据库的说明文档),建议开启此选项,gzip压缩可以达到较好的压缩效果。
      • 对于二进制数据(基于值编码的数据,例如MySQL的BINARY等数据类型,详见相关数据库的说明文档),由于其本身已经压缩过,不推荐再开启gzip压缩,压缩后可能会导致压缩效果较差,同时会增大客户端解压缩的压力,带来不必要的性能损耗。
    • 启用SSL:是否启用SSL双向认证,保证数据的安全性。如果对安全性要求较高,则可以开启SSL。
    • 限流:设置agent的最大下行速率,默认不限流。

  2. 单击“确定”,完成Agent的创建。在Agent管理页面可查看已成功创建的Agent。

安装并启动Agent

  1. 在Agent管理页面,找到已成功创建的Agent。如图4所示,下载Agent。

    图4 下载Agent

  2. 将下载的Agent压缩包,上传至待部署Agent的Linux主机上。

    该Linux主机对vCPUs、内存、磁盘等规格无特殊要求,但须满足以下条件:

    • 需要已安装64位版本java 8并配置java环境变量。
    • 授予Ruby用户(若无Ruby用户则需手动创建)在/tmp目录下的写权限。

  3. 解压安装包后执行如下命令安装Agent。

    sh sbin/install.sh

  4. 如果需要通过Agent连接关系数据库,则需要将对应的驱动(参考管理驱动获取)上传至Agent安装目录下的/server/jdbc,并修改在同目录下properties文件里对应数据库驱动的版本号。
  5. 以root用户执行如下命令,在/server/jdbc路径将新上传驱动的所有者和所属组修改为Ruby。

    chown Ruby.Ruby * -R

  6. 安装完成后,执行如下命令启动Agent。

    su Ruby

    sh sbin/start.sh

  7. 执行如下命令检查Agent进程是否启动。

    ps -ef | grep cdm

    如果命令执行完成后返回了正在运行的Agent进程,说明Agent进程已启动。

连接Agent

  1. 在Agent管理页面,找到已成功创建的Agent。如图5所示,连接Agent。

    图5 连接Agent

  2. Agent连接成功后,即可在创建连接中选择Agent。
分享:

    相关文档

    相关产品