更新时间:2023-10-19 GMT+08:00
数据存储在OBS和HDFS有什么区别?
MRS集群处理的数据源来源于OBS或HDFS,HDFS是Hadoop分布式文件系统(Hadoop Distributed File System),OBS(Object Storage Service)即对象存储服务,是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。MRS可以直接处理OBS中的数据,客户可以基于OBS服务Web界面和OBS客户端对数据进行浏览、管理和使用,同时可以通过REST API接口方式单独或集成到业务程序进行管理和访问数据。
- 数据存储在OBS:数据存储和计算分离,集群存储成本低,存储量不受限制,并且集群可以随时删除,但计算性能取决于OBS访问性能,相对HDFS有所下降,建议在数据计算不频繁场景下使用。
- 数据存储在HDFS:数据存储和计算不分离,集群成本较高,计算性能高,但存储量受磁盘空间限制,删除集群前需将数据导出保存,建议在数据计算频繁场景下使用。
父主题: 产品咨询类
产品咨询类 所有常见问题
- MRS可以做什么?
- MRS支持什么类型的分布式存储?
- 什么是区域和可用区?
- MRS是否支持更换网段?
- MRS集群内节点是否支持降配操作?
- MRS集群是否支持Hive on Spark?
- 不同版本的Hive之间是否可以兼容?
- 数据存储在OBS和HDFS有什么区别?
- Hadoop压力测试工具如何获取?
- 关于MRS服务集成的开源第三方SDK中包含的公网IP地址声明
- MRS是否支持Hive on Kudu?
- 10亿级数据量场景的解决方案有哪些?
- 如何修改DBService的IP地址?
- MRS集群内节点的sudo log能否清理?
- MRS 2.1.0版本集群对Storm日志的大小有什么限制?
- Kafka支持的访问协议类型有哪些?
- MRS节点访问OBS报错408如何处理?
- zstd的压缩比有什么优势?
- MRS 3.1.0版本的集群,Spark任务支持哪些python版本?
- 如何让不同的业务程序分别用不同的Yarn队列?
- MRS管理控制台和集群Manager页面功能区别有哪些?
- MRS集群如何解绑已绑定至Manager的EIP?
- MRS集群内节点的操作系统是什么?
- MRS集群磁盘如何分区的?
more