更新时间:2022-12-08 GMT+08:00

Hive与其他组件有什么关系?

  • Hive与HDFS间的关系

    Hive是Apache的Hadoop项目的子项目,Hive利用HDFS作为其文件存储系统。Hive通过解析和计算处理结构化的数据,Hadoop HDFS则为Hive提供了高可靠性的底层存储支持。Hive数据库中的所有数据文件都可以存储在Hadoop HDFS文件系统上,Hive所有的数据操作也都是通过Hadoop HDFS接口进行。

  • Hive与MapReduce间的关系

    Hive所有的数据计算都依赖于MapReduce。MapReduce也是Apache的Hadoop项目的子项目,它是一个基于Hadoop HDFS分布式并行计算框架。Hive进行数据分析时,会将用户提交的HiveQL语句解析成相应的MapReduce任务并提交MapReduce执行。

  • Hive与DBService间的关系

    Hive的MetaStore(元数据服务)处理Hive的数据库、表、分区等的结构和属性信息,这些信息需要存放在一个关系型数据库中,由MetaStore维护和处理。在MRS中,这个关系型数据库由DBService组件维护。

  • Hive与Spark间的关系

    Hive的数据计算也可以运行在Spark上。Spark也是Apache的一个项目,它是基于内存的分布式计算框架。Hive进行数据分析时,会将用户提交的HiveQL语句解析成相应的Spark任务并提交Spark执行。