最新动态
本文介绍了MapReduce服务 MRS各特性版本的功能发布和对应的文档动态，欢迎体验。
2024年10月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
云服务授权支持变更权限委托 |
MRS云服务授权支持手动变更权限委托，同意授权后，将按照您所勾选的委托和策略， 系统将创建mrs_service_agency、mrs_cluster_agency或mrs_admin_agency委托并进行授权。 |
商用 |
2024年08月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
MRS帮助文档焕新升级 |
全新呈现样式及操作指导内容优化，开启数据探索新篇章！ |
商用 |
|
|
2 |
优化MRS组件操作指南 |
MRS组件操作指南手册目录结构及章节内容优化：
|
商用 |
2024年07月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
优化MRS快速入门 |
MRS快速入门手册优化：
|
商用 |
2024年05月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
新增Hudi数据湖开发设计规范 |
新增基于MRS Hudi组件进行湖仓一体、流批一体方案的设计与开发相关的规则，包括创建Hudi表、配置Hudi表作业资源和性能调优等规范。 |
商用 |
2024年04月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
新增Flink开发设计规范 |
新增MRS Flink组件基于湖仓一体、流批一体方案的设计与开发相关的规则，主要包括流表设计、资源配置和性能调优。 |
商用 |
2024年03月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
MRS集群版本生命周期说明 |
新增MRS集群版本号说明、版本发布周期及版本生命周期说明。 MRS新版本发布后，EOM时间通常为版本发布后2年，EOFS时间在EOM后1年，EOS时间在EOFS后0.5年。 |
商用 |
2024年02月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
新增MRS 3.2.0-LTS.1.7补丁 |
MRS 3.2.0-LTS.1.7修复问题列表：
|
商用 |
2024年01月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
新增IAM同步管理接口 |
新增IAM同步管理接口，包含以下功能：
|
商用 |
|
|
2 |
MRS支持StarRocks组件 |
MRS StarRocks是一款高性能分析型数据仓库，使用向量化、MPP架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。StarRocks具备水平扩展、高可用、高可靠、易运维等特性，广泛应用于实时数仓、OLAP报表、数据湖分析等场景。 |
公测 |
2023年12月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
新增弹性伸缩相关接口 |
新增弹性伸缩相关接口，包含以下功能：
|
商用 |
2023年11月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
新增MRS 3.1.5.0.3补丁 |
MRS 3.1.5.0.3补丁新增和优化特性：
|
商用 |
2023年10月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
IAM用户同步支持指定用户 |
MRS集群内同步IAM用户时，支持指定用户或用户组进行同步。 |
商用 |
2023年09月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
新增版本元数据查询接口 |
新增版本元数据接口，包含以下功能：
|
商用 |
2023年08月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
计费说明完善 |
细化计费模式，新增计费概述、计费样例、费用账单、成本管理等章节。 |
商用 |
2023年07月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
新增ClickHouse设计开发规范 |
主要描述ClickHouse数据管理全生命周期过程中，数据库规划、建模设计、开发、调优、运维的规则建议和指导。 |
商用 |
|
|
2 |
新增热门组件样例工程运行编译快速入门指导 |
新增ClickHouse，Flink，HBase，HDFS，Hive HCatalog，Hive JDBC，Kafka，Spark等组件的应用开发快速入门指导，提供MRS样例工程导入及编译的实践案例。 |
商用 |
|
|
3 |
新增SDK参考 |
介绍了MRS服务提供的SDK语言版本，列举了最新版本SDK的获取地址。 |
商用 |
2023年06月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
新增MRS组件客户端使用实践 |
新增MRS热门组件客户端使用快速入门实践，便于用户快速了解MRS集群认证、连接操作。 |
商用 |
|
|
2 |
MRS帮助视频丰富 |
新增MRS常见使用场景的操作演示视频、ClickHouse组件知识培训视频、组件应用开发样例工程导入及开发调测演示视频。 |
商用 |
2023年05月
2023年04月
2023年03月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
上线MRS 3.1.5版本 |
MRS 3.1.5版本主要变更:
|
商用 |
2023年02月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
新增MRS 3.1.0.0.1补丁 |
MRS 3.1.0.0补丁新增和优化特性：
|
商用 |
2023年01月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
MRS集群配置弹性策略时支持配置生效日期。 |
用户可以根据实际需求设置资源计划的生效日期。 |
商用 |
|
|
2 |
MRS支持配置LakeFormation数据连接 |
MRS集群支持与LakeFormation实例对接，实现统一的数据湖元数据及权限管理。 |
公测 |
|
|
3 |
新增查看告警详情功能。 |
用户需要查看告警详情时，可以通过该功能快速实现。 |
商用 |
2021年12月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
Apache Log4j2 远程代码执行漏洞（CVE-2021-44228）公告 |
近日，华为云关注到Apache Log4j2存在一处远程代码执行漏洞（CVE-2021-44228），在引入Apache Log4j2处理日志时，会对用户输入的内容进行一些特殊的处理，攻击者可以构造特殊的请求，触发远程代码执行。 在MapReduce服务（简称MRS）中Hive、Flink、Spark、Manager(Tomcat)、Tez、Impala、Ranger、Presto、Oozie、Storm、Loader等组件有使用Apache Log4j2。在默认情况下我们的集群不会对外网开放，如您通过绑定EIP等方式开放了公网访问权限，请确认输入源是否可信，同时建议您根据漏洞规避方案进行加固。 |
商用 |
2021年09月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
自定义节点域名规则 |
创建MRS集群过程中，支持用作自定义主机名前缀，用作集群中ECS机器或BMS机器主机名的前缀。 |
商用 |
2021年05月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
ClickHouse组件版本升级到21.3.4.25，支持数据重分布 |
ClickHouse节点扩容后，数据迁移可以使得ClickHouse集群内数据达到均衡。 |
商用 |
|
|
2 |
MRS支持Hudi组件 |
Hudi是数据湖的文件组织层，对Parquet格式文件进行管理提供数据湖能力，支持多种计算引擎，提供IUD接口，在 HDFS的数据集上提供了插入更新和增量拉取的流原语。 |
商用 |
2021年03月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
下线MRS 2.1.0版本 |
请选择MRS 3.1.0版本进行购买。 |
商用 |
|
|
2 |
下线MRS 1.8.10版本 |
请选择MRS 1.9.2版本进行购买。 |
商用 |
|
|
3 |
缩容指定节点 |
当主机故障且不再需要时，使用该功能删除故障的主机，删除主机时组件的角色实例不会执行退服操作，删除前请确保节点中的数据已完成备份。 |
商用 |
2020年11月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
支持ClickHouse集群 |
MRS 3.x版本支持创建ClickHouse集群，具备平滑扩容、HA、鲲鹏加持、灵活配置、简单运维、安全可靠等能力。 |
商用 |
|
|
2 |
全新大数据组件升级 |
MRS 3.x版本针对开源组件进行了大面积升级，提供最新能力，并在社区基础上对功能、性能、可靠性等方面进行了增强。 |
商用 |
2020年09月
2020年08月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
支持IAM账户与集群用户自动同步 |
将绑定MRS相关策略的IAM用户同步至MRS系统中，创建同用户名、不同密码的账号，用于集群管理。同步之后，用户可以使用IAM用户名（密码需要Manager的管理员admin重置后方可使用）登录Manager管理集群。 |
商用 |
2020年07月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
新增获取指定目录文件列表接口 |
支持在MRS集群中通过接口获取指定目录文件列表。 |
商用 |
2020年06月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
支持自定义集群拓扑 |
MRS新增“自定义”类型集群，用户可以自主定义集群的进程实例在集群节点中的部署方式。 |
商用 |
2020年05月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
支持包周期集群指定节点缩容 |
用户可以根据业务需求量，通过指定节点对集群进行缩容，以使MRS拥有更优的存储、计算能力，降低运维成本 。 |
商用 |
2020年03月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
MRS支持Presto HA能力 |
MRS支持为大规格的集群默认安装Presto多实例，即一个Core/Task节点上安装多个Worker实例，分别为Worker1，Worker2，Worker3… ，多个Worker实例共同与Coordinator交互执行计算任务，相比较单实例，能够大大提高节点资源的利用率和计算效率。 |
商用 |
|
|
2 |
MRS支持Tez组件 |
Tez是Apache最新的支持DAG作业的开源计算框架，它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。如果 Hive和 Pig 这样的项目使用Tez而不是MapReduce作为其数据处理的骨干，那么将会显著提升它们的响应时间，Tez构建在YARN之上，能够不需要做任何改动地运行MR任务。 |
商用 |
|
|
3 |
MRS支持Alluxio组件 |
Alluxio是一个面向基于云的数据分析和人工智能的数据编排技术。在MRS的大数据生态系统中，Alluxio 位于计算和存储之间，为包括 Apache Spark、Presto、Mapreduce 和 Apache Hive的计算框架提供了数据抽象层，使上层的计算应用可以通过统一的客户端API和全局命名空间访问包括HDFS和OBS在内的持久化存储系统，从而实现了对计算和存储的分离。 |
商用 |
|
|
4 |
MRS支持Ranger组件 |
Apache Ranger提供一个集中式安全管理框架，并解决授权和审计。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限 。 |
商用 |
2019年11月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
MRS包周期集群支持裸金属服务器实例 |
MRS支持部署裸金属服务器类型的服务器，裸金属服务器的资源归用户独享，而弹性云服务器由多个租户共享物理资源。对于关键类应用或性能要求较高的业务（如大数据集群、企业中间件系统），并且要求安全可靠的运行环境，使用裸金属服务器更合适。 |
商用 |
|
|
2 |
支持Kudu和Impala组件 |
Kudu是专为Apache Hadoop平台开发的列式存储管理器，具有Hadoop生态系统应用程序的共同技术特性：在通用的商用硬件上运行，可水平扩展，提供高可用性。 Impala直接对存储在HDFS，HBase 或对象存储服务（OBS）中的Hadoop数据提供快速，交互式SQL查询。 |
商用 |
2019年10月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
新增外部数据源连接管理 |
MRS的数据连接是用来管理集群中组件使用的外部源连接，如Hive的元数据使用外部的关系型数据库，可以通过数据连接来关联Hive组件实现。 |
商用 |
|
|
2 |
支持存算分离OBS的细粒度权限管理 |
开启细粒度权限时，用户通过MRS多用户访问OBS权限控制，实现MRS用户对OBS文件系统下的目录权限控制。 |
商用 |
2019年08月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
新版购买集群页面上线 |
提供自定义购买和快速购买集群方式，针对不同的应用场景，可以选择不同的方式购买MRS集群。 |
商用 |
|
|
2 |
MRS安全集群提供界面提交作业方式 |
MRS安全集群提供界面提交作业方式。 |
商用 |
|
|
3 |
新增组件 |
支持Flink和Opentsdb组件。 |
商用 |
2019年07月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
优化MRS集群详情UI界面 |
MRS对UI界面进行改版优化，主要是将MRS Manager中的内容与console界面合并优化后使用console界面显示，简化您管理集群时的登录和操作步骤。一期优化部分页面已上线。 |
商用 |
2019年06月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
支持自研ARM架构（鲲鹏）规格虚拟机 |
鲲鹏CPU架构采用精简指令集（RISC），RISC是一种执行较少类型计算机指令的微处理器，它能够以更快的速度执行操作，使计算机的结构更加简单合理地提高运行速度，相对于x86 CPU架构具有更加均衡的性能功耗比。鲲鹏的优势是高密度低功耗，可以提供更高的性价比。 |
商用 |
2019年03月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
支持Presto |
Presto是一个开源的用户交互式分析查询的SQL查询引擎，用于针对各种大小的数据源进行交互式分析查询。其主要应用于海量结构化数据/半结构化数据分析、海量多维数据聚合/报表、ETL、Ad-Hoc查询等场景。 |
商用 |
2019年02月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
企业项目特性上线 |
MRS支持已开通企业项目服务的用户在创建集群时为集群配置对应的项目，然后使用企业项目管理对MRS上的的资源进行分组管理。适用于客户针对多个资源进行分组管理，并对相应的企业项目进行诸如权限控制、分项目费用查看等操作的场景。 |
商用 |
|
|
2 |
MRS支持创建混合集群 |
MRS支持创建混合集群，可以在同一集群中同时部署分析和流式组件。适用于同时需要做离线数据分析和流处理任务的场景。 |
商用 |
|
|
3 |
支持混合计费的弹性伸缩能力 |
在包周期集群中配置弹性策略（按时间段或者业务指标进行集群节点弹性伸缩）时，弹性部分节点将按需收费。您可以根据业务情况配置自动弹性伸缩策略，MRS服务会在繁忙时申请额外资源，空闲时释放多余资源。适用于在MRS包周期类型的集群上创建按需计费类型的节点，并根据业务量的变化动态调整集群节点数量以增减资源的场景。 |
商用 |
2019年01月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
支持滚动补丁 |
滚动补丁是指在补丁安装/卸载时，采用滚动重启服务（按批次重启服务或实例）的方式，在不中断或尽可能短地中断集群各个服务业务的前提下完成对集群中单个或多个服务的补丁安装/卸载操作。 |
商用 |
2018年11月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
支持升级Master节点规格 |
随着用户业务的增长，Core节点的扩容，CPU使用率变高，而Master节点规格已经不满足用户需求时，则需要升级Master节点规格。 |
商用 |
|
|
2 |
支持同规格节点升代扩容 |
支持同规格节点升代扩容，即在扩容中支持在原有节点规格售罄或下架时，新节点使用新规格。 |
商用 |
|
|
3 |
支持集群滚动重启 |
在修改了大数据组件的配置项后，需要重启对应的服务来使得配置生效，使用普通重启方式会并发重启所有服务或实例，可能引起业务断服。为了确保服务重启过程中，尽量减少或者不影响业务运行，可以通过滚动重启来按批次重启服务或实例（对于有主备状态的实例，会先重启备实例，再重启主实例）。滚动重启方式的重启时间比普通重启时间久。 |
商用 |
2018年10月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
支持基于弹性IP的集群快捷访问通道 |
为了方便用户访问开源组件的Web站点，MRS集群支持通过为集群绑定弹性公网IP的方式，访问MRS集群上托管的开源组件。该方式更加简便易操作，推荐使用该方式访问开源组件的Web站点。 |
商用 |
|
|
2 |
支持基于专属云的MRS专属大数据服务 |
如果您希望MRS服务运行在隔离的专属区域，拥有独享的存储设备，可以开通专属计算集群后申请专属企业存储，再创建专属云MRS集群。 |
商用 |
|
|
3 |
组件升级 |
Storm升级到1.2.1版本。 Kafka升级到1.1.0版本。 |
商用 |
2018年08月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
支持运维授权 |
当用户使用集群过程中出现问题需要华为云支持人员协助解决时，用户可先联系华为云支持人员，再通过“运维授权”功能授权华为云支持人员访问用户机器的权限用于定位问题。 |
商用 |
2018年06月
2018年05月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
组件升级 |
Hadoop升级到2.8.3版本。 Spark升级到2.2.1版本。 |
商用 |
2018年04月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
包周期集群支持集群扩容 |
包周期集群支持集群扩容。 |
商用 |
2018年01月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
HBase升级 |
HBase升级到1.3.1版本。 |
商用 |
|
|
2 |
支持集群缩容 |
用户可以根据业务需求量，通过简单的缩减Core节点或者Task节点，对集群进行缩容，以使MRS拥有更优的存储、计算能力，降低运维成本。 |
商用 |
|
|
3 |
支持自动弹性伸缩 |
在大数据应用，尤其是实时分析处理数据的场景中，常常需要根据数据量的变化动态调整集群节点数量以增减资源。MRS的弹性伸缩规则功能支持根据集群负载对集群进行弹性伸缩。 |
商用 |
|
|
4 |
新增Task节点类型 |
集群Task节点，主要用于计算，不存放持久数据。主要安装Yarn、Storm组件。Task节点为可选节点，数目可以是零。分析集群将创建分析Task节点，流式集群将创建流式Task节点，混合集群分别创建分析Task和流式Task节点。 当集群数据量变化不大而集群业务处理能力需求变化比较大，大的业务处理能力只是临时需要，此时选择添加Task节点。 |
商用 |
2017年10月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
华东区上线 |
华东区上线MRS服务。 |
商用 |
2017年06月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
新增组件 |
支持Kafka、Storm、Hue、CarbonData组件。 |
商用 |
|
|
2 |
支持Kerberos认证 |
登录Manager管理页面时是否启用Kerberos认证。 “Kerberos认证”开启时，普通用户无权限使用MRS集群的“文件管理”和“作业管理”功能，并且无法查看Hadoop、Spark的作业记录以及集群资源使用情况。如果需要使用集群更多功能，需要找Manager的管理员分配权限。建议在多用户场景下使用。 |
商用 |
2017年03月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
支持包年包月付费 |
支持包年包月付费 |
商用 |
2016年08月
|
序号 |
功能名称 |
功能描述 |
阶段 |
相关文档 |
|---|---|---|---|---|
|
1 |
第一次正式发布 |
新上线，支持Hadoop、Spark、HBase和Hive。 |
商用 |
