HDFS
HDFS数据管理,需要设置HDFS路径,保存并管理数据。
前提条件
- 已申请集群。
- 已获取服务运维岗位权限,权限申请操作请参见申请权限。
新建HDFS路径
- 进入运维中心工作台。
- 在顶部导航栏选择自有服务。
- 单击,选择“运维 > 监控服务(ServiceInsight)”。
- 选择左侧导航栏的 ,进入“数据开发”页面。
- 单击“数据管理 > HDFS”,进入HDFS页面。
- 单击“新建HDFS路径”,进入New HDFS Path页面。
- 配置HDFS参数,参数说明如表1所示。配置完成后,单击“确定”。
表1 新建HDFS路径参数说明 参数名称
参数说明
HDFS类型
选择HDFS类型,是“Hive”还是“File”。
集群
选择集群。
上层路径
选择上层路径。
存储类型
-
HDFS路径
输入HDFS路径。
一级主题
选择一级主题。
二级主题
选择二级主题。
层级
选择层级。
描述
输入HDFS路径描述。
Tags
选择Tags,如果没有可选的Tags,可以单击“编辑Tags”,新建后选择。
分区粒度(day)
选择分区粒度,数据都会带有时间戳,可以通过时间戳对数据进行分区。支持选择DAY、HOUR、FIVE_MINUTE、NONE。
TTL(天)
TTL即为生命周期,决定了大盘上实时监控可以查过去多少天的数据。默认是7天,可以适当减少,不建议超过该值。若要长期存储,建议汇聚到DWS中。
共享HDFS数据
- 在HDFS页面列表中,单击待共享数据的HDFS所在行的“共享”,进入“表共享”页面。
- 单击“添加表共享”,进入“共享配置”页面。
- 配置共享参数,配置完成后,单击“确定”。
编辑任务
- 在HDFS页面列表中,单击待编辑任务的HDFS所在行的“编辑任务”,进入该路径详情页面。
- 单击“创建导流任务”,进入“导流任务配置”页面。
- 配置任务参数,参数说明如表2所示。配置完成后,单击“确定”。
更多操作
您还可以对HDFS进行以下操作。
操作名称 |
操作步骤 |
---|---|
导入 |
|
查看导入进度 |
在HDFS页面单击“查看导入进度”。 |
导出 |
|
HDFS查看预览 |
|
编辑Tags |
|
关联Tags |
|
编辑HDFS路径 |
在HDFS页面列表中,单击待编辑HDFS路径所在行的“编辑”。 |
删除HDFS路径 |
在HDFS页面列表中,单击待删除HDFS路径所在行的“删除”。 |
查看操作历史 |
在HDFS页面列表中,单击待查看操作历史的HDFS路径所在行的“操作历史”。 |
查看历史版本信息 |
|