展开导读
链接复制成功!
华为云大数据组件
常用的华为云大数据服务组件如下,设计大数据部署架构时可参考:
- MapReduce服务(MapReduce Service,简称MRS)
MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群,完全兼容开源接口,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件,并具备在后续根据业务需要进行定制开发的能力,帮助企业快速构建海量数据信息处理系统。详细信息请参考官网文档。
- 数据湖探索(Data Lake Insight,简称DLI)
完全兼容Apache Spark、Apache Flink、Trino生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务,支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。详细信息请参考官网文档。
- 云搜索服务(Cloud Search Service,简称CSS)
基于Elasticsearch且完全托管的在线分布式搜索服务,为用户提供结构化、非结构化文本、以及基于AI向量的多条件检索、统计、报表。Elasticsearch是一个搜索引擎,可以实现单机和集群部署,并提供托管的分布式搜索引擎服务。在ELK整个生态中,Elasticsearch集群支持结构化、非结构化文本的多条件检索、统计、报表。详细信息请参考官网文档。
数据仓库GaussDB(DWS)
GaussDB(DWS)是基于华为融合数据仓库GaussDB产品的云原生服务 ,兼容标准ANSI SQL 99和SQL 2003,同时兼容PostgreSQL/Oracle数据库生态。DWS提供标准数仓、IoT数仓和实时数仓三种产品形态。详细信息请参考官网文档。
- 数据治理中心(DataArts Studio)
DataArts Studio支持对接所有华为云的数据湖与数据库云服务作为数据湖底座,例如MRS Hive、数据仓库服务DWS等,也支持对接企业传统数据仓库,例如Oracle、MySQL等。详细信息请参考官网文档。
- 数据接入服务(Data Ingestion Service,简称DIS)
处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。详细信息请参考官网文档。
- 云数据迁移(Cloud Data Migration,简称CDM)
云数据迁移(Cloud Data Migration, 简称CDM),是一种高效、易用的数据集成服务。 CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。详细信息请参考官网文档。
- 数据快递服务(Data Express Service,简称DES)
DES是面向TB到数百TB级数据上云的传输服务,目前支持Teleport和磁盘两种数据传输方式。磁盘方式适用于30TB以下的数据量迁移,Teleport方式适用于30TB~500TB的数据量迁移,500TB以上的数据量建议通过专线迁移。详细信息请参考官网文档。