更新时间:2022-08-17 GMT+08:00
管理Agent
对于HDFS和关系型数据库类型的数据源,不方便暴露节点的场景,可选择在源端网络中部署Agent。CDM通过Agent拉取客户内部数据源的数据,但不支持写入数据。
Agent的使用流程如图1所示。
前提条件
已具备CDM集群。
新建Agent
- 进入CDM主界面,单击左侧导航上的“集群管理”,选择集群后的 ,配置Agent相关信息。
图2 配置Agent
- IP地址:配置为源端网络中部署Agent的IP地址。
- 端口:Agent自定义的端口。建议范围:1024~65535。
- 启用压缩:是否对数据使用gzip算法进行压缩传输。
- 对于文本数据(基于字符编码的数据,例如MySQL的INT等数据类型,详见相关数据库的说明文档),建议开启此选项,gzip压缩可以达到较好的压缩效果。
- 对于二进制数据(基于值编码的数据,例如MySQL的BINARY等数据类型,详见相关数据库的说明文档),由于其本身已经压缩过,不推荐再开启gzip压缩,压缩后可能会导致压缩效果较差,同时会增大客户端解压缩的压力,带来不必要的性能损耗。
- 启用SSL:是否启用SSL双向认证,保证数据的安全性。如果对安全性要求较高,则可以开启SSL。
- 限流:设置agent的最大下行速率,默认不限流。
- 单击“确定”,完成Agent的创建。在Agent管理页面可查看已成功创建的Agent。
安装并启动Agent
- 在Agent管理页面,找到已成功创建的Agent。如图3所示,下载Agent。
- 准备部署Agent的主机。该主机对vCPUs、内存、磁盘等规格无特殊要求,但须满足以下条件:
- 需要已安装64位版本java 8并配置java环境变量。
- 授予Ruby用户(若无Ruby用户则需手动创建)在/tmp目录下的写权限。
- 将下载的Agent压缩包,上传至部署Agent的主机上。
- 解压安装包后执行如下命令安装Agent。
sh sbin/install.sh
- 如果需要通过Agent连接关系数据库,则需要将对应的驱动(参考管理驱动获取)上传至Agent安装目录下的/server/jdbc,并修改同目录下properties文件里对应数据库驱动的版本号。
- 安装完成后,执行如下命令启动Agent。
su Ruby
sh sbin/start.sh
- 执行如下命令检查Agent进程是否启动。
ps -ef | grep agent
如果命令执行完成后返回了正在运行的Agent进程,说明Agent进程已启动。
父主题: 管理连接