网络
虚拟私有云 VPC
弹性公网IP EIP
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
虚拟专用网络 VPN
云连接 CC
VPC终端节点 VPCEP
企业路由器 ER
企业交换机 ESW
全球加速 GA
企业连接 EC
云原生应用网络 ANC
安全与合规
安全技术与应用
Web应用防火墙 WAF
企业主机安全 HSS
云防火墙 CFW
安全云脑 SecMaster
DDoS防护 AAD
数据加密服务 DEW
数据库安全服务 DBSS
云堡垒机 CBH
数据安全中心 DSC
云证书管理服务 CCM
威胁检测服务 MTD
态势感知 SA
认证测试中心 CTC
边缘安全 EdgeSec
应用中间件
微服务引擎 CSE
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
分布式消息服务RocketMQ版
API网关 APIG
分布式缓存服务 DCS
多活高可用服务 MAS
事件网格 EG
管理与监管
统一身份认证服务 IAM
消息通知服务 SMN
云监控服务 CES
应用运维管理 AOM
应用性能管理 APM
云日志服务 LTS
云审计服务 CTS
标签管理服务 TMS
配置审计 Config
应用身份管理服务 OneAccess
资源访问管理 RAM
组织 Organizations
资源编排服务 RFS
优化顾问 OA
IAM 身份中心
云运维中心 COC
资源治理中心 RGC
解决方案
高性能计算 HPC
SAP
混合云灾备
开天工业工作台 MIW
Haydn解决方案工厂
数字化诊断治理专家服务
云生态
云商店
合作伙伴中心
华为云开发者学堂
华为云慧通差旅
开发与运维
软件开发生产线 CodeArts
需求管理 CodeArts Req
流水线 CodeArts Pipeline
代码检查 CodeArts Check
编译构建 CodeArts Build
部署 CodeArts Deploy
测试计划 CodeArts TestPlan
制品仓库 CodeArts Artifact
移动应用测试 MobileAPPTest
CodeArts IDE Online
开源镜像站 Mirrors
性能测试 CodeArts PerfTest
应用管理与运维平台 ServiceStage
云应用引擎 CAE
开源治理服务 CodeArts Governance
华为云Astro轻应用
CodeArts IDE
Astro工作流 AstroFlow
代码托管 CodeArts Repo
漏洞管理服务 CodeArts Inspector
联接 CodeArtsLink
软件建模 CodeArts Modeling
Astro企业应用 AstroPro
CodeArts盘古助手
华为云Astro大屏应用
计算
弹性云服务器 ECS
Flexus云服务
裸金属服务器 BMS
云手机服务器 CPH
专属主机 DeH
弹性伸缩 AS
镜像服务 IMS
函数工作流 FunctionGraph
云耀云服务器(旧版)
VR云渲游平台 CVR
Huawei Cloud EulerOS
云化数据中心 CloudDC
网络
虚拟私有云 VPC
弹性公网IP EIP
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
虚拟专用网络 VPN
云连接 CC
VPC终端节点 VPCEP
企业路由器 ER
企业交换机 ESW
全球加速 GA
企业连接 EC
云原生应用网络 ANC
CDN与智能边缘
内容分发网络 CDN
智能边缘云 IEC
智能边缘平台 IEF
CloudPond云服务
安全与合规
安全技术与应用
Web应用防火墙 WAF
企业主机安全 HSS
云防火墙 CFW
安全云脑 SecMaster
DDoS防护 AAD
数据加密服务 DEW
数据库安全服务 DBSS
云堡垒机 CBH
数据安全中心 DSC
云证书管理服务 CCM
威胁检测服务 MTD
态势感知 SA
认证测试中心 CTC
边缘安全 EdgeSec
大数据
MapReduce服务 MRS
数据湖探索 DLI
表格存储服务 CloudTable
可信智能计算服务 TICS
推荐系统 RES
云搜索服务 CSS
数据可视化 DLV
数据接入服务 DIS
数据仓库服务 GaussDB(DWS)
数据治理中心 DataArts Studio
湖仓构建 LakeFormation
智能数据洞察 DataArts Insight
应用中间件
微服务引擎 CSE
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
分布式消息服务RocketMQ版
API网关 APIG
分布式缓存服务 DCS
多活高可用服务 MAS
事件网格 EG
开天aPaaS
应用平台 AppStage
开天企业工作台 MSSE
开天集成工作台 MSSI
API中心 API Hub
云消息服务 KooMessage
交换数据空间 EDS
云地图服务 KooMap
云手机服务 KooPhone
组织成员账号 OrgID
云空间服务 KooDrive
管理与监管
统一身份认证服务 IAM
消息通知服务 SMN
云监控服务 CES
应用运维管理 AOM
应用性能管理 APM
云日志服务 LTS
云审计服务 CTS
标签管理服务 TMS
配置审计 Config
应用身份管理服务 OneAccess
资源访问管理 RAM
组织 Organizations
资源编排服务 RFS
优化顾问 OA
IAM 身份中心
云运维中心 COC
资源治理中心 RGC
区块链
区块链服务 BCS
数字资产链 DAC
华为云区块链引擎服务 HBS
解决方案
高性能计算 HPC
SAP
混合云灾备
开天工业工作台 MIW
Haydn解决方案工厂
数字化诊断治理专家服务
价格
成本优化最佳实践
专属云商业逻辑
云生态
云商店
合作伙伴中心
华为云开发者学堂
华为云慧通差旅
其他
管理控制台
消息中心
产品价格详情
系统权限
客户关联华为云合作伙伴须知
公共问题
宽限期保留期
奖励推广计划
活动
云服务信任体系能力说明
开发与运维
软件开发生产线 CodeArts
需求管理 CodeArts Req
流水线 CodeArts Pipeline
代码检查 CodeArts Check
编译构建 CodeArts Build
部署 CodeArts Deploy
测试计划 CodeArts TestPlan
制品仓库 CodeArts Artifact
移动应用测试 MobileAPPTest
CodeArts IDE Online
开源镜像站 Mirrors
性能测试 CodeArts PerfTest
应用管理与运维平台 ServiceStage
云应用引擎 CAE
开源治理服务 CodeArts Governance
华为云Astro轻应用
CodeArts IDE
Astro工作流 AstroFlow
代码托管 CodeArts Repo
漏洞管理服务 CodeArts Inspector
联接 CodeArtsLink
软件建模 CodeArts Modeling
Astro企业应用 AstroPro
CodeArts盘古助手
华为云Astro大屏应用
存储
对象存储服务 OBS
云硬盘 EVS
云备份 CBR
高性能弹性文件服务 SFS Turbo
弹性文件服务 SFS
存储容灾服务 SDRS
云硬盘备份 VBS
云服务器备份 CSBS
数据快递服务 DES
云存储网关 CSG
专属分布式存储服务 DSS
数据工坊 DWR
地图数据 MapDS
键值存储服务 KVS
容器
云容器引擎 CCE
云容器实例 CCI
容器镜像服务 SWR
云原生服务中心 OSC
应用服务网格 ASM
华为云UCS
数据库
云数据库 RDS
数据复制服务 DRS
文档数据库服务 DDS
分布式数据库中间件 DDM
云数据库 GaussDB
云数据库 GeminiDB
数据管理服务 DAS
数据库和应用迁移 UGO
云数据库 TaurusDB
人工智能
AI开发平台ModelArts
华为HiLens
图引擎服务 GES
图像识别 Image
文字识别 OCR
自然语言处理 NLP
内容审核 Moderation
图像搜索 ImageSearch
医疗智能体 EIHealth
企业级AI应用开发专业套件 ModelArts Pro
人脸识别服务 FRS
对话机器人服务 CBS
语音交互服务 SIS
人证核身服务 IVS
视频智能分析服务 VIAS
城市智能体
自动驾驶云服务 Octopus
盘古大模型 PanguLargeModels
IoT物联网
设备接入 IoTDA
全球SIM联接 GSL
IoT数据分析 IoTA
路网数字化服务 DRIS
IoT边缘 IoTEdge
设备发放 IoTDP
企业应用
域名注册服务 Domains
云解析服务 DNS
企业门户 EWP
ICP备案
商标注册
华为云WeLink
华为云会议 Meeting
隐私保护通话 PrivateNumber
语音通话 VoiceCall
消息&短信 MSGSMS
云管理网络
SD-WAN 云服务
边缘数据中心管理 EDCM
云桌面 Workspace
应用与数据集成平台 ROMA Connect
ROMA资产中心 ROMA Exchange
API全生命周期管理 ROMA API
政企自服务管理 ESM
视频
实时音视频 SparkRTC
视频直播 Live
视频点播 VOD
媒体处理 MPC
视频接入服务 VIS
数字内容生产线 MetaStudio
迁移
主机迁移服务 SMS
对象存储迁移服务 OMS
云数据迁移 CDM
迁移中心 MGC
专属云
专属计算集群 DCC
开发者工具
SDK开发指南
API签名指南
DevStar
华为云命令行工具服务 KooCLI
Huawei Cloud Toolkit
CodeArts API
云化转型
云架构中心
云采用框架
用户服务
账号中心
费用中心
成本中心
资源中心
企业管理
工单管理
客户运营能力
国际站常见问题
支持计划
专业服务
合作伙伴支持计划
我的凭证
华为云公共事业服务云平台
工业软件
工业数字模型驱动引擎
硬件开发工具链平台云服务
工业数据转换引擎云服务

最新动态

更新时间:2025/01/16 GMT+08:00
分享

本文介绍了MapReduce服务 MRS各特性版本的功能发布和对应的文档动态,欢迎体验。

2025年01月

序号

功能名称

功能描述

阶段

相关文档

1

管理控制台升级全新界面风格

  • 管理控制台页面风格和布局优化焕新升级,业务选型流程更清晰,参数说明更丰富。
  • 新增了MRS服务总览页面,可以更好地了解服务资源详情、常见问题、最佳实践案例等各类信息,提供全面、便捷的信息获取渠道。
  • 自定义购买集群增加配置概要,配置在一个页面内完成,提升复杂流程购买体验。

商用

MRS管理控制台

购买MRS集群

2024年10月

序号

功能名称

功能描述

阶段

相关文档

1

云服务授权支持变更权限委托

MRS云服务授权支持手动变更权限委托,同意授权后,将按照您所勾选的委托和策略, 系统将创建mrs_service_agency、mrs_cluster_agency或mrs_admin_agency委托并进行授权。

商用

配置MRS云服务授权

2024年08月

序号

功能名称

功能描述

阶段

相关文档

1

MRS帮助文档焕新升级

全新呈现样式及操作指导内容优化,开启数据探索新篇章!

商用

华为云MapReduce服务MRS 帮助文档焕新发布,开启知识探索新篇章!

2

优化MRS组件操作指南

MRS组件操作指南手册目录结构及章节内容优化:

  • 优化组件操作指导大纲,按照组件的入门知识学习、用户权限准备、基础操作到增强功能操作的顺序,满足不同群体用户阅读。
  • 丰富文档章节标题,提升文档易理解性,可搜索性。
  • 增加各组件用户权限说明、客户端使用实践案例。

商用

《MRS组件操作指南(LTS版)》

《MRS组件操作指南(普通版)》

2024年07月

序号

功能名称

功能描述

阶段

相关文档

1

优化MRS快速入门

MRS快速入门手册优化:

  • 优化标题,新增ClickHouse集群创建使用指导。
  • 场景入门案例中嵌入操作视频,方便新手用户快速上手产品。
  • 增加入门实践列表,快速查阅MRS各场景实践案例。

商用

快速创建和使用ClickHouse列式数据库集群

快速创建和使用Kafka流式数据处理集群

MRS入门实践

2024年05月

序号

功能名称

功能描述

阶段

相关文档

1

新增Hudi数据湖开发设计规范

新增基于MRS Hudi组件进行湖仓一体、流批一体方案的设计与开发相关的规则,包括创建Hudi表、配置Hudi表作业资源和性能调优等规范。

商用

Hudi应用开发规范

2024年04月

序号

功能名称

功能描述

阶段

相关文档

1

新增Flink开发设计规范

新增MRS Flink组件基于湖仓一体、流批一体方案的设计与开发相关的规则,主要包括流表设计、资源配置和性能调优。

商用

Flink应用开发规范

2024年03月

序号

功能名称

功能描述

阶段

相关文档

1

MRS集群版本生命周期说明

新增MRS集群版本号说明、版本发布周期及版本生命周期说明。

MRS新版本发布后,EOM时间通常为版本发布后2年,EOFS时间在EOM后1年,EOS时间在EOFS后0.5年。

商用

MRS集群版本生命周期

2024年02月

序号

功能名称

功能描述

阶段

相关文档

1

新增MRS 3.2.0-LTS.1.7补丁

MRS 3.2.0-LTS.1.7修复问题列表:

  • 解决Spark子查询当做列字段执行SQL任务时Ranger鉴权报错。
  • 解决Flink写Hudi失败时,作业从checkpoint恢复失败的问题。

商用

MRS 3.2.0-LTS.1版本补丁说明

2024年01月

序号

功能名称

功能描述

阶段

相关文档

1

新增IAM同步管理接口

新增IAM同步管理接口,包含以下功能:

  • 获取已经同步的IAM用户和用户组。
  • 将IAM用户和用户组同步到Manager。
  • 指定IAM用户、用户组取消同步。

商用

IAM同步管理接口

2

MRS支持StarRocks组件

MRS StarRocks是一款高性能分析型数据仓库,使用向量化、MPP架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。StarRocks具备水平扩展、高可用、高可靠、易运维等特性,广泛应用于实时数仓、OLAP报表、数据湖分析等场景。
该组件当前为公测阶段,若需使用需联系技术支持申请白名单开通。

公测

StarRocks基本原理

2023年12月

序号

功能名称

功能描述

阶段

相关文档

1

新增弹性伸缩相关接口

新增弹性伸缩相关接口,包含以下功能:

  • 查看指定集群的所有的弹性伸缩策略信息。
  • 更新弹性伸缩策略。
  • 删除弹性伸缩策略。
  • 创建弹性伸缩策略。

商用

弹性伸缩接口

2023年11月

序号

功能名称

功能描述

阶段

相关文档

1

新增MRS 3.1.5.0.3补丁

MRS 3.1.5.0.3补丁新增和优化特性:

  • 支持对慢盘自动隔离能力
  • 支持EVS磁盘分区容量扩容
  • 支持D系列磁盘热插拔
  • 支持运维巡检特性
  • 支持监控指标上报CES
  • 支持HDFS单副本检测能力

商用

MRS 3.1.5版本补丁说明

2023年10月

序号

功能名称

功能描述

阶段

相关文档

1

IAM用户同步支持指定用户

MRS集群内同步IAM用户时,支持指定用户或用户组进行同步。

商用

IAM用户同步MRS说明

2023年09月

序号

功能名称

功能描述

阶段

相关文档

1

新增版本元数据查询接口

新增版本元数据接口,包含以下功能:

  • 通过接口展示MRS版本列表
  • 查询MRS集群版本可用的规格

商用

版本元数据查询

2023年08月

序号

功能名称

功能描述

阶段

相关文档

1

计费说明完善

细化计费模式,新增计费概述、计费样例、费用账单、成本管理等章节。

商用

计费概述

2023年07月

序号

功能名称

功能描述

阶段

相关文档

1

新增ClickHouse设计开发规范

主要描述ClickHouse数据管理全生命周期过程中,数据库规划、建模设计、开发、调优、运维的规则建议和指导。
通过这些约束和建议,指导开发者在ClickHouse数据库开发使用过程中能够最大化发挥数据库的优势,保障ClickHouse数据库高性能、稳定可靠运行。用户可更专注于上层业务,释放数据更大的价值。

商用

ClickHouse设计开发规划

2

新增热门组件样例工程运行编译快速入门指导

新增ClickHouse,Flink,HBase,HDFS,Hive HCatalog,Hive JDBC,Kafka,Spark等组件的应用开发快速入门指导,提供MRS样例工程导入及编译的实践案例。

商用

MRS组件应用开发快速入门

3

新增SDK参考

介绍了MRS服务提供的SDK语言版本,列举了最新版本SDK的获取地址。

商用

SDK概述

2023年06月

序号

功能名称

功能描述

阶段

相关文档

1

新增MRS组件客户端使用实践

新增MRS热门组件客户端使用快速入门实践,便于用户快速了解MRS集群认证、连接操作。

商用

各组件客户端使用实践

2

MRS帮助视频丰富

新增MRS常见使用场景的操作演示视频、ClickHouse组件知识培训视频、组件应用开发样例工程导入及开发调测演示视频。

商用

视频帮助

2023年05月

序号

功能名称

功能描述

阶段

相关文档

1

MRS支持Doris组件

MRS Doris是一个基于MPP架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。
该组件当前为公测阶段,若需使用需联系技术支持申请白名单开通。

公测

Doris基本原理

2

MRS支持克隆集群、克隆作业

用户需要创建的集群/作业与某原有集群/作业配置相同时,可以通过该功能快速实现。(该版本目前在北京四上线,其他region后续会逐步放开,敬请期待!

商用

克隆集群

克隆作业

2023年04月

序号

功能名称

功能描述

阶段

相关文档

1

上线MRS 3.2.0-LTS.1版本。

MRS 3.2.0-LTS.1版本主要变更:

  • 新增CDL、IoTDB组件。
  • 部分组件内核升级:ClickHouse、Flink、Hadoop及Hudi组件内核升级。

商用

组件操作指南

组件版本一览表

2023年03月

序号

功能名称

功能描述

阶段

相关文档

1

上线MRS 3.1.5版本

MRS 3.1.5版本主要变更:

  • 部分组件内核升级:Hudi、CarbonData、Flink、Spark及Zookeeper组件内核升级。
  • 新增“集群外客户端访问OBS”功能。
  • 配置弹性伸缩规则时,支持配置资源池维度策略。

商用

组件版本一览表

集群外客户端访问OBS

配置资源池维度策略

2023年02月

序号

功能名称

功能描述

阶段

相关文档

1

新增MRS 3.1.0.0.1补丁

MRS 3.1.0.0补丁新增和优化特性:

  • 租户面支持直接对接CES
  • 优化ClickHouse客户端命令
  • 优化磁盘不可写故障告警上报逻辑
  • MapReduce开放Task重试节点黑名单配置阈值,默认值修改为34保证单节点故障作业重试可靠性

商用

MRS 3.1.0版本补丁说明

2023年01月

序号

功能名称

功能描述

阶段

相关文档

1

MRS集群配置弹性策略时支持配置生效日期。

用户可以根据实际需求设置资源计划的生效日期。

商用

MRS集群Task节点弹性伸缩

2

MRS支持配置LakeFormation数据连接

MRS集群支持与LakeFormation实例对接,实现统一的数据湖元数据及权限管理。

公测

配置LakeFormation数据连接

3

新增查看告警详情功能。

用户需要查看告警详情时,可以通过该功能快速实现。

商用

查看告警列表

2021年12月

序号

功能名称

功能描述

阶段

相关文档

1

Apache Log4j2 远程代码执行漏洞(CVE-2021-44228)公告

近日,华为云关注到Apache Log4j2存在一处远程代码执行漏洞(CVE-2021-44228),在引入Apache Log4j2处理日志时,会对用户输入的内容进行一些特殊的处理,攻击者可以构造特殊的请求,触发远程代码执行。

在MapReduce服务(简称MRS)中Hive、Flink、Spark、Manager(Tomcat)、Tez、Impala、Ranger、Presto、Oozie、Storm、Loader等组件有使用Apache Log4j2。在默认情况下我们的集群不会对外网开放,如您通过绑定EIP等方式开放了公网访问权限,请确认输入源是否可信,同时建议您根据漏洞规避方案进行加固。

商用

Apache Log4j2 远程代码执行漏洞(CVE-2021-44228)公告

2021年09月

序号

功能名称

功能描述

阶段

相关文档

1

自定义节点域名规则

创建MRS集群过程中,支持用作自定义主机名前缀,用作集群中ECS机器或BMS机器主机名的前缀。

商用

购买自定义集群

2021年05月

序号

功能名称

功能描述

阶段

相关文档

1

ClickHouse组件版本升级到21.3.4.25,支持数据重分布

ClickHouse节点扩容后,数据迁移可以使得ClickHouse集群内数据达到均衡。

商用

使用ClickHouse数据迁移工具

2

MRS支持Hudi组件

Hudi是数据湖的文件组织层,对Parquet格式文件进行管理提供数据湖能力,支持多种计算引擎,提供IUD接口,在 HDFS的数据集上提供了插入更新和增量拉取的流原语。

商用

Hudi基本原理

Hudi快速入门

2021年03月

序号

功能名称

功能描述

阶段

相关文档

1

下线MRS 2.1.0版本

请选择MRS 3.1.0版本进行购买。

商用

MRS组件版本一览表

2

下线MRS 1.8.10版本

请选择MRS 1.9.2版本进行购买。

商用

MRS组件版本一览表

3

缩容指定节点

当主机故障且不再需要时,使用该功能删除故障的主机,删除主机时组件的角色实例不会执行退服操作,删除前请确保节点中的数据已完成备份。

商用

指定节点缩容

2020年11月

序号

功能名称

功能描述

阶段

相关文档

1

支持ClickHouse集群

MRS 3.x版本支持创建ClickHouse集群,具备平滑扩容、HA、鲲鹏加持、灵活配置、简单运维、安全可靠等能力。

商用

ClickHouse基本原理

从零开始使用ClickHouse

ClickHouse开发指南

2

全新大数据组件升级

MRS 3.x版本针对开源组件进行了大面积升级,提供最新能力,并在社区基础上对功能、性能、可靠性等方面进行了增强。

商用

MRS组件版本一览表

2020年09月

序号

功能名称

功能描述

阶段

相关文档

1

新增V2创建集群接口

V2接口功能更强大、操作更便捷,在接口功能相同的情况下,推荐您优先使用V2接口。

商用

创建集群

2

支持多种异构虚拟机规格

MRS集群支持x86/ARM混合部署,支持弹性云服务器(ECS)和裸金属服务器(BMS)混合部署 。

商用

自定义购买集群

2020年08月

序号

功能名称

功能描述

阶段

相关文档

1

支持IAM账户与集群用户自动同步

将绑定MRS相关策略的IAM用户同步至MRS系统中,创建同用户名、不同密码的账号,用于集群管理。同步之后,用户可以使用IAM用户名(密码需要Manager的管理员admin重置后方可使用)登录Manager管理集群。

商用

IAM用户同步MRS

2020年07月

序号

功能名称

功能描述

阶段

相关文档

1

新增获取指定目录文件列表接口

支持在MRS集群中通过接口获取指定目录文件列表。

商用

获取指定目录文件列表

2020年06月

序号

功能名称

功能描述

阶段

相关文档

1

支持自定义集群拓扑

MRS新增“自定义”类型集群,用户可以自主定义集群的进程实例在集群节点中的部署方式。

商用

创建自定义拓扑集群

2020年05月

序号

功能名称

功能描述

阶段

相关文档

1

支持包周期集群指定节点缩容

用户可以根据业务需求量,通过指定节点对集群进行缩容,以使MRS拥有更优的存储、计算能力,降低运维成本 。

商用

退订包周期集群指定节点

2020年03月

序号

功能名称

功能描述

阶段

相关文档

1

MRS支持Presto HA能力

MRS支持为大规格的集群默认安装Presto多实例,即一个Core/Task节点上安装多个Worker实例,分别为Worker1,Worker2,Worker3… ,多个Worker实例共同与Coordinator交互执行计算任务,相比较单实例,能够大大提高节点资源的利用率和计算效率。

商用

Presto简介

2

MRS支持Tez组件

Tez是Apache最新的支持DAG作业的开源计算框架,它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。如果 Hive和 Pig 这样的项目使用Tez而不是MapReduce作为其数据处理的骨干,那么将会显著提升它们的响应时间,Tez构建在YARN之上,能够不需要做任何改动地运行MR任务。

商用

Tez简介

3

MRS支持Alluxio组件

Alluxio是一个面向基于云的数据分析和人工智能的数据编排技术。在MRS的大数据生态系统中,Alluxio 位于计算和存储之间,为包括 Apache Spark、Presto、Mapreduce 和 Apache Hive的计算框架提供了数据抽象层,使上层的计算应用可以通过统一的客户端API和全局命名空间访问包括HDFS和OBS在内的持久化存储系统,从而实现了对计算和存储的分离。

商用

Alluxio简介

4

MRS支持Ranger组件

Apache Ranger提供一个集中式安全管理框架,并解决授权和审计。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限 。

商用

Ranger简介

2019年11月

序号

功能名称

功能描述

阶段

相关文档

1

MRS包周期集群支持裸金属服务器实例

MRS支持部署裸金属服务器类型的服务器,裸金属服务器的资源归用户独享,而弹性云服务器由多个租户共享物理资源。对于关键类应用或性能要求较高的业务(如大数据集群、企业中间件系统),并且要求安全可靠的运行环境,使用裸金属服务器更合适。

商用

购买集群

2

支持Kudu和Impala组件

Kudu是专为Apache Hadoop平台开发的列式存储管理器,具有Hadoop生态系统应用程序的共同技术特性:在通用的商用硬件上运行,可水平扩展,提供高可用性。 Impala直接对存储在HDFS,HBase 或对象存储服务(OBS)中的Hadoop数据提供快速,交互式SQL查询。

商用

购买集群

2019年10月

序号

功能名称

功能描述

阶段

相关文档

1

新增外部数据源连接管理

MRS的数据连接是用来管理集群中组件使用的外部源连接,如Hive的元数据使用外部的关系型数据库,可以通过数据连接来关联Hive组件实现。

商用

配置数据连接

2

支持存算分离OBS的细粒度权限管理

开启细粒度权限时,用户通过MRS多用户访问OBS权限控制,实现MRS用户对OBS文件系统下的目录权限控制。

商用

配置MRS多用户访问OBS细粒度权限

2019年08月

序号

功能名称

功能描述

阶段

相关文档

1

新版购买集群页面上线

提供自定义购买和快速购买集群方式,针对不同的应用场景,可以选择不同的方式购买MRS集群。

商用

购买方式简介

2

MRS安全集群提供界面提交作业方式

MRS安全集群提供界面提交作业方式。

商用

运行MapReduce作业

3

新增组件

支持Flink和Opentsdb组件。

商用

购买集群

2019年07月

序号

功能名称

功能描述

阶段

相关文档

1

优化MRS集群详情UI界面

MRS对UI界面进行改版优化,主要是将MRS Manager中的内容与console界面合并优化后使用console界面显示,简化您管理集群时的登录和操作步骤。一期优化部分页面已上线。

商用

购买集群

2019年06月

序号

功能名称

功能描述

阶段

相关文档

1

支持自研ARM架构(鲲鹏)规格虚拟机

鲲鹏CPU架构采用精简指令集(RISC),RISC是一种执行较少类型计算机指令的微处理器,它能够以更快的速度执行操作,使计算机的结构更加简单合理地提高运行速度,相对于x86 CPU架构具有更加均衡的性能功耗比。鲲鹏的优势是高密度低功耗,可以提供更高的性价比。

商用

购买集群

2019年03月

序号

功能名称

功能描述

阶段

相关文档

1

支持Presto

Presto是一个开源的用户交互式分析查询的SQL查询引擎,用于针对各种大小的数据源进行交互式分析查询。其主要应用于海量结构化数据/半结构化数据分析、海量多维数据聚合/报表、ETL、Ad-Hoc查询等场景。

商用

购买集群

2019年02月

序号

功能名称

功能描述

阶段

相关文档

1

企业项目特性上线

MRS支持已开通企业项目服务的用户在创建集群时为集群配置对应的项目,然后使用企业项目管理对MRS上的的资源进行分组管理。适用于客户针对多个资源进行分组管理,并对相应的企业项目进行诸如权限控制、分项目费用查看等操作的场景。

商用

购买集群

2

MRS支持创建混合集群

MRS支持创建混合集群,可以在同一集群中同时部署分析和流式组件。适用于同时需要做离线数据分析和流处理任务的场景。

商用

购买集群

3

支持混合计费的弹性伸缩能力

在包周期集群中配置弹性策略(按时间段或者业务指标进行集群节点弹性伸缩)时,弹性部分节点将按需收费。您可以根据业务情况配置自动弹性伸缩策略,MRS服务会在繁忙时申请额外资源,空闲时释放多余资源。适用于在MRS包周期类型的集群上创建按需计费类型的节点,并根据业务量的变化动态调整集群节点数量以增减资源的场景。

商用

配置弹性伸缩规则

2019年01月

序号

功能名称

功能描述

阶段

相关文档

1

支持滚动补丁

滚动补丁是指在补丁安装/卸载时,采用滚动重启服务(按批次重启服务或实例)的方式,在不中断或尽可能短地中断集群各个服务业务的前提下完成对集群中单个或多个服务的补丁安装/卸载操作。

商用

滚动补丁

2018年11月

序号

功能名称

功能描述

阶段

相关文档

1

支持升级Master节点规格

随着用户业务的增长,Core节点的扩容,CPU使用率变高,而Master节点规格已经不满足用户需求时,则需要升级Master节点规格。

商用

升级Master节点规格

2

支持同规格节点升代扩容

支持同规格节点升代扩容,即在扩容中支持在原有节点规格售罄或下架时,新节点使用新规格。

商用

扩容集群

3

支持集群滚动重启

在修改了大数据组件的配置项后,需要重启对应的服务来使得配置生效,使用普通重启方式会并发重启所有服务或实例,可能引起业务断服。为了确保服务重启过程中,尽量减少或者不影响业务运行,可以通过滚动重启来按批次重启服务或实例(对于有主备状态的实例,会先重启备实例,再重启主实例)。滚动重启方式的重启时间比普通重启时间久。

商用

支持滚动重启

2018年10月

序号

功能名称

功能描述

阶段

相关文档

1

支持基于弹性IP的集群快捷访问通道

为了方便用户访问开源组件的Web站点,MRS集群支持通过为集群绑定弹性公网IP的方式,访问MRS集群上托管的开源组件。该方式更加简便易操作,推荐使用该方式访问开源组件的Web站点。

商用

通过弹性公网IP访问集群

2

支持基于专属云的MRS专属大数据服务

如果您希望MRS服务运行在隔离的专属区域,拥有独享的存储设备,可以开通专属计算集群后申请专属企业存储,再创建专属云MRS集群。

商用

创建专属云MRS集群

3

组件升级

Storm升级到1.2.1版本。 Kafka升级到1.1.0版本。

商用

购买集群

2018年08月

序号

功能名称

功能描述

阶段

相关文档

1

支持运维授权

当用户使用集群过程中出现问题需要华为云支持人员协助解决时,用户可先联系华为云支持人员,再通过“运维授权”功能授权华为云支持人员访问用户机器的权限用于定位问题。

商用

运维授权

2018年06月

序号

功能名称

功能描述

阶段

相关文档

1

支持标签资源管理

标签是集群的标识。为集群添加标签,可以方便用户识别和管理拥有的集群资源。

商用

添加集群标签

2

Kafka升级

Kafka升级到0.10.2.0版本。

商用

购买集群

3

支持自定义引导操作

引导操作是指启动集群组件前(或后)在指定的节点上执行脚本。您可以通过引导操作来完成安装其他第三方软件,修改集群运行环境等自定义操作。

商用

引导操作简介

2018年05月

序号

功能名称

功能描述

阶段

相关文档

1

组件升级

Hadoop升级到2.8.3版本。 Spark升级到2.2.1版本。

商用

购买集群

2018年04月

序号

功能名称

功能描述

阶段

相关文档

1

包周期集群支持集群扩容

包周期集群支持集群扩容。

商用

扩容集群

2018年01月

序号

功能名称

功能描述

阶段

相关文档

1

HBase升级

HBase升级到1.3.1版本。

商用

购买集群

2

支持集群缩容

用户可以根据业务需求量,通过简单的缩减Core节点或者Task节点,对集群进行缩容,以使MRS拥有更优的存储、计算能力,降低运维成本。

商用

缩容集群

3

支持自动弹性伸缩

在大数据应用,尤其是实时分析处理数据的场景中,常常需要根据数据量的变化动态调整集群节点数量以增减资源。MRS的弹性伸缩规则功能支持根据集群负载对集群进行弹性伸缩。

商用

配置弹性伸缩规则

4

新增Task节点类型

集群Task节点,主要用于计算,不存放持久数据。主要安装Yarn、Storm组件。Task节点为可选节点,数目可以是零。分析集群将创建分析Task节点,流式集群将创建流式Task节点,混合集群分别创建分析Task和流式Task节点。 当集群数据量变化不大而集群业务处理能力需求变化比较大,大的业务处理能力只是临时需要,此时选择添加Task节点。

商用

购买集群

2017年10月

序号

功能名称

功能描述

阶段

相关文档

1

华东区上线

华东区上线MRS服务。

商用

购买集群

2017年08月

序号

功能名称

功能描述

阶段

相关文档

1

Spark组件升级

Spark组件升级到2.1.0。

商用

购买集群

2

新增组件

支持Flume和Loader组件。

商用

购买集群

2017年06月

序号

功能名称

功能描述

阶段

相关文档

1

新增组件

支持Kafka、Storm、Hue、CarbonData组件。

商用

购买集群

2

支持Kerberos认证

登录Manager管理页面时是否启用Kerberos认证。 “Kerberos认证”开启时,普通用户无权限使用MRS集群的“文件管理”和“作业管理”功能,并且无法查看Hadoop、Spark的作业记录以及集群资源使用情况。如果需要使用集群更多功能,需要找Manager的管理员分配权限。建议在多用户场景下使用。

商用

从零开始使用Kerberos认证集群

2017年03月

序号

功能名称

功能描述

阶段

相关文档

1

支持包年包月付费

支持包年包月付费

商用

购买集群

2016年08月

序号

功能名称

功能描述

阶段

相关文档

1

第一次正式发布

新上线,支持Hadoop、Spark、HBase和Hive。

商用

购买集群

提示

您即将访问非华为云网站,请注意账号财产安全

文档反馈

文档反馈

意见反馈

0/500

标记内容

同时提交标记内容