HDFS

前提条件

• 已申请集群。

新建HDFS路径

1. 进入运维中心工作台。
2. 在顶部导航栏选择自有服务。

3. 单击，选择“运维 > 监控服务（ServiceInsight）”。

4. 选择左侧导航栏的“运维数据开发 > 数据开发”，进入“数据开发”页面。
5. 单击“数据管理 > HDFS”，进入HDFS页面。
6. 单击“新建HDFS路径”，进入New HDFS Path页面。
7. 配置HDFS参数，参数说明如表1所示。配置完成后，单击“确定”。

   表1 新建HDFS路径参数说明

   参数名称	参数说明
   HDFS类型	选择HDFS类型，是“Hive”还是“File”。
   集群	选择集群。
   上层路径	选择上层路径。
   存储类型	-
   HDFS路径	输入HDFS路径。
   一级主题	选择一级主题。
   二级主题	选择二级主题。
   层级	选择层级。
   描述	输入HDFS路径描述。
   Tags	选择Tags，如果没有可选的Tags，可以单击“编辑Tags”，新建后选择。
   分区粒度(day)	选择分区粒度，数据都会带有时间戳，可以通过时间戳对数据进行分区。支持选择DAY、HOUR、FIVE_MINUTE、NONE。
   TTL(天)	TTL即为生命周期，决定了大盘上实时监控可以查过去多少天的数据。默认是7天，可以适当减少，不建议超过该值。若要长期存储，建议汇聚到DWS中。

共享HDFS数据

1. 在HDFS页面列表中，单击待共享数据的HDFS所在行的“共享”，进入“表共享”页面。
2. 单击“添加表共享”，进入“共享配置”页面。
3. 配置共享参数，配置完成后，单击“确定”。

编辑任务

1. 在HDFS页面列表中，单击待编辑任务的HDFS所在行的“编辑任务”，进入该路径详情页面。
2. 单击“创建导流任务”，进入“导流任务配置”页面。
3. 配置任务参数，参数说明如表2所示。配置完成后，单击“确定”。

   表2 导流任务配置参数说明

   参数名称	参数说明
   Kafka Topic	选择已申请的Kafka Topic。
   执行集群	选择执行的集群。
   执行队列	选择执行队列。
   批次大小	每次写入的数据条数。默认为10000，一般不需要修改。对于每条消息比较大的topic，需要调小批次大小。
   从头开始消费Kafka	选择是否从头开始消费Kafka。
   HDFS文件生成周期	-
   Kafka Group Id	-

更多操作

您还可以对HDFS进行以下操作。