配置自动抽取元数据
操作场景
该任务指导您在Manager管理界面上配置自动抽取元数据的时间以及转储信息。
转储功能支持使用FTP协议或者SFTP协议将元数据保存到用户指定的位置。支持以下场景:
- 集群内已部署FTP-Server,将元数据转储到集群的HDFS中。
- 集群外已部署FTP服务器或SFTP服务器,将元数据转储到外部服务器的本地磁盘。
前提条件
已登录Manager。
已创建用户,关联用户组hadoop,关联角色System_administrator。
操作步骤
- 使用创建的用户登录Manager,选择“集群 > 待操作集群名称 > 服务 > Metadata > MetadataServer”,打开“Metadata WebUI”界面。
- 单击“元数据配置”,按表1填写配置信息。
表1 自动抽取元数据配置参数 参数名
说明
开始时间
配置自动抽取元数据的开始时间。
间隔(小时)
配置自动抽取任务执行的间隔时间,单位为小时。
启动自动FTP上传
配置是否启用自动FTP转储。选择“是”为启用,选择“否”为禁用。选择启用时FTP服务器信息配置参数可见。
使用SFTP
配置是否使用SFTP。选择“是”为启用,选择“否”为禁用。
“启动自动FTP上传”选择“是”,该参数有效。
服务IP
配置FTP转储服务使用的IP地址。
“启动自动FTP上传”选择“是”,该参数有效。
服务端口
配置FTP转储服务器使用的端口。如果指定了集群内FTP-Server的IP地址,则需要启用FTP协议并使用FTP-Server控制端口。
“启动自动FTP上传”选择“是”,该参数有效。
服务器目录
配置FTP转储服务器的转储目录,且该目录为FTP服务器中已存在的目录,若目录不存在会导致元数据更新失败。
“启动自动FTP上传”选择“是”,该参数有效。
用户名
配置FTP转储服务器使用的用户名。
“启动自动FTP上传”选择“是”,该参数有效。
用户密码
配置FTP转储服务器使用的密码。
“启动自动FTP上传”选择“是”,该参数有效。
- 手动抽取元数据,请单击“更新元数据”,选择“确定”更新元数据,根据需要选择是否上传元数据到配置的FTP服务器。
- 配置抽取元数据参数时关闭SFTP,则使用FTP,可能存在安全风险。