更新时间:2024-05-09 GMT+08:00
分享

MRS 3.2.0-LTS.1版本补丁说明

MRS 3.2.0-LTS.1.8补丁基本信息

表1 补丁基本信息

补丁号

MRS 3.2.0-LTS.1.8

发布时间

2024-04-23

安装前处理

如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。

解决的问题

MRS 3.2.0-LTS.1.8修复问题列表:

  • 解决Spark JDBCServer在session关闭超时的时候会出现session一直存在的问题。
  • 解决Spark列字段中的子查询带有distinct聚合函数时执行查询语法报错的问题。
  • 解决DataArts Studio API方式连接Spark SQL查询遇到特殊字符,比如换行时标准的解析会自动换行的问题。
  • 解决Yarn监控图缺失问题。
  • 解决使用Sqoop将MySQL数据导入到Hive中失败的问题。
  • 解决Yarn配置本地化日志级别参数被设置为不支持修改的问题。
  • Hudi clean与archive逻辑解耦,不执行clean也能执行归档。
  • 解决Hudi的.schema目录下文件找不到的问题。
  • 解决Hudi clean触发时偶现文件mv to trash失败,导致.clean为空,影响Flink流读作业的问题。
  • Hudi支持changelog特性。
  • Hudi支持temp view特性。
  • MRS实时任务告警通知支持显示具体作业名称。
  • Flink读开启changelog后的表。
  • 解决多AZ集群无法缩容的问题。
  • 解决capacity调度原生页面无法访问队列任务详情的问题。
  • 解决Flink作业无法通过checkpoint恢复的问题(遇到无法从checkpoint启动时:Cannot map checkpoint/savepoint state for operator xxxxx to the new program, because the operator is not available in the new program。需要在第一次启动作业以及通过checkpoint恢复作业时,均添加内核参数table.exec.uid.generation=ALWAYS。)。
  • Flink用hms方式同步Hive,支持参数配置化。
  • 解决ResourceManager内存泄漏,开源单YARN-11489。
  • 解决Yarn精细化监控部分指标没有数据的问题。
  • 解决3AZ环境DataNode 5个节点,健康度阈值是80%,构造每个AZ下一个DataNode磁盘属主root:root,只有一个DataNode的AZ报了AZ不健康的问题。
  • 解决AZ下缩容DataNode,副本未按照预期AZ策略补齐,导致退服失败的问题。
  • 解决Flink在mysql数据库insert timestamp类型数据,数据通过Flink写入Hudi后和原数据差8小时的问题。
  • 解决HetuEngine SQL查询偶现数组越界报错的问题。
  • 解决IAM同步的用户加入supergroup用户组后,无法删除的问题。

补丁兼容关系

MRS 3.2.0-LTS.1.8补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。

安装补丁的影响

请参考安装补丁的影响

MRS 3.2.0-LTS.1.7补丁基本信息

表2 补丁基本信息

补丁号

MRS 3.2.0-LTS.1.7

发布时间

2024-02-21

安装前处理

如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。

解决的问题

MRS 3.2.0-LTS.1.7修复问题列表:

  • 解决Spark子查询当做列字段执行SQL任务时Ranger鉴权报错。
  • 解决Flink写Hudi失败时,作业从checkpoint恢复失败的问题。

补丁兼容关系

MRS 3.2.0-LTS.1.7补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。

安装补丁的影响

请参考安装补丁的影响

MRS 3.2.0-LTS.1.6补丁基本信息

表3 补丁基本信息

补丁号

MRS 3.2.0-LTS.1.6

发布时间

2024-02-04

安装前处理

如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。

新特性

  • CDL支持表字段大写
  • Flink写网易DDB时支持指定拆分键
  • Flink支持upsertkafka监控数据写入influxdb
  • Flink流读Hudi支持消息滞留时间、消息堆积时间监控
  • Flink支持ignoreDelete特性
  • Yarn NodeManager支持优雅退服
  • Kafka支持数据加密
  • Spark支持子查询字段不带聚合函数语法(设置spark.sql.legacy.correlated.scalar.query.enabled参数值为true)
  • Spark支持视图表权限控制(在JDBCserver的自定义custom参数添加spark.ranger.plugin.viewaccesscontrol.enable值为true;添加参数spark.ranger.plugin.viewaccesscontrol.enable=true到客户端目录下Spark2x/spark/conf/spark-defaults.conf 配置文件中;重启JDBCserver实例)

解决的问题

MRS 3.2.0-LTS.1.6修复问题列表:

  • 解决CDL作业增加start time参数造成Hudi表中没有写入数据的问题
  • 解决CDL重启作业不能杀掉残留connector线程的问题
  • 解决Clickhouse balance的error日志不回滚问题
  • 解决ClickHouse数据入库慢的问题
  • 解决ClickHouse TTL未生效的问题
  • 解决ClickHouse、Zookeeper连接过多导致Hive客户端无法连接的问题
  • 解决ClickHouse物化视图的基表中添加列报OOM的问题
  • Executor将作业老化顺序优化为根据作业结束时间老化
  • 解决FlinkUI上传的UDF不修改包名导致UDF更新失败的问题
  • 解决Flink上传UDF后UI分页显示异常的问题
  • 解决Flink流读Hudi数据时时间显示会少8小时的问题
  • 解决使用FlinkServer创建SASL_SSL认证的kafka连接,执行报错的问题
  • 解决Flink对接guardian启用OBS,Flink作业重启偶现重启失败的问题
  • 解决DataArts Studio提交作业无法正常重试从Checkpoint恢复的问题
  • 解决使用FlinkServer提交作业时,显示提交失败,但是Yarn上作业是RUNNING的问题
  • 解决DataArts Studio提交Flink-SQL作业报StackOverFlow错误的问题
  • 优化Flink security.ssl.encrypt.enabled参数值为TRUE,而不能修改,影响任务启动速度的问题
  • 解决DataArts Studio失败重试执行作业存在作业从头消费而不是从Checkpoint启动的问题
  • 解决普通集群使用RESTAPI调用FlinkServer的jobs/action时报错
  • 解决Flink jar包写ClickHouse作业无法提交的问题
  • 解决Flink Join状态剔除的hint参数功能不生效的问题
  • 解决Flink作业报错信息不准确,日志显示的错误行数与作业SQL错误行数不一致的问题
  • 解决Flink流读Hudi当表写入数据时作业失败,写Hudi作业提交运行失败的问题
  • 解决Flinkserver SQL校验失败的问题
  • 解决Flink客户端不支持-yD或-D配置keytab和principal的问题
  • 解决Flink算子chain打开时sink算子出现异常被source算子捕获,作业tm不失败的问题
  • 解决MRS实时任务告警通知不显示具体作业名称的问题
  • 解决Flume自定义时间拦截器未生效的问题
  • 解决弹性伸缩时偶现的启动NodeManager失败导致的单节点扩容失败的问题
  • 解决安全模式下,不能使用HDFS用户下发Balance均衡任务的问题
  • 解决Yarn资源池可用资源指标异常,导致弹性伸缩触发异常
  • 解决NodeManager节点磁盘打满故障,导致资源池成员迁移到默认资源池
  • 解决Dead DataNode数量超过阈值告警不会自动清除的问题
  • 解决HBase健康检查脚本调用超时导致上报服务不可用误告警
  • 解决HetuEngine alter添加列后,insert数据时旧分区无数据问题
  • 解决HetuEngine、Flink写入数据时,compaction后HetuEngine概率读取RO表无数据的问题
  • 修复HDFS日志归集缺包问题
  • 解决HetuEngine使用HSFabric连接JDBC执行SQL失败
  • 解决Hive on tez overwrite分区表结果为空时会报错的问题
  • Hive集成DataAtrs元数据同步插件包
  • 解决配置Hive元数据最后访问时间后Hive作业频繁报错的问题
  • 解决Hive alter table test drop partition (分区<'xxxx');分批删除参数不生效的问题
  • 解决Hive JDBC连接拼接&useSSL=false等参数不生效的问题
  • 解决高并发场景下hive on spark作业提交jar包超时导致作业失败的问题
  • 解决CDL写入Hudi表出现bucket桶id重复问题
  • 解决Hudi compaction比clean跑的快导致数据无法读取的问题
  • 解决compaction任务失败残留了异常文件没有被清理,导致Spark读Hudi时报“xx is not a Parquet file”异常的问题
  • 解决Spark作业读上游读库表,excutor报错找不到该表OBS .schema目录下的文件的问题
  • Hudi compaction schedule优化,根据最后一次compaction action生成plan
  • Hudi默认保留5G归档后的压缩文件
  • Hudi OBS默认Clean不进回收站
  • Hudi archive归档更多的clean和rollback,减少元数据文件数
  • 解决Hudi Cow不执行Clean就无法触发归档的问题
  • 解决Hudi使用Spark生成批补表的数据时,表目录被删除的问题
  • 解决Hudi表大小写生成的namespace不一致,导致update失败的问题
  • Hudi新增call command清理无效元数据文件
  • 解决Hudi DELETE_EMPTY_INSTANT功能在异常场景导致有数据的instant被删掉的问题
  • 解决Flink append mode丢失数据问题
  • 历史数据默认保存30天超期后未清理的问题
  • 解决调整时区为UTC后Manager页面实时监控数据为空的问题
  • 解决Manager页面租户资源下的全局用户策略内容不分页的问题
  • Manager页面新增显示yarn on cce按钮
  • 解决新建集群通过专线访问Manager页面,需要手动修改Tomcat配置的问题
  • Manager对接运维页面
  • 解决MRS集群出现误告警的问题
  • 解决Manager跨越0点查询时,监控指标显示异常的问题
  • 解决Manager页面内核空间占用CPU百分比数值错误问题
  • 解决Manager页面主机线管监控页面切换到分布图后在切换时间段查看图标,图标的默认区间取值错误的问题
  • 解决主OMS的Gaussdb的进程占用内存较大的问题
  • 解决Manager组件自定义配置完后添加实例自定义配置没有显示的问题
  • 解决监控进程PMS一直重启的问题
  • 解决扩容节点,节点间互信失效告警误报问题
  • 解决Manager主备节点同步数据异常的问题
  • 解决Dead DataNode数量超过阈值告警不会自动清除的问题
  • Manager弹性扩缩容场景下上报的告警优化
  • Manager缩容场景下节点网络通信异常告警优化
  • 解决Controller重启上报服务不可用告警的问题
  • MRS Manager的管理员账号遗忘添加跳转支持文档
  • 集群配置Ranger元数据外置后RangeAdmin实例启动失败
  • 解决quit命令退出Spark客户端时报错的问题
  • 解决Spark偶现多租户模式下,driver端口与thriftserver端口冲突的问题
  • 解决空闲的SparkJDBC任务超过30分钟资源不释放的问题
  • 解决打开Zookeeper的ssl后提交Spark作业,连接Zookeeper失败,导致任务执行超时的问题
  • 解决Spark连接Jdbcserver任务失败的问题
  • 解决Spark只给视图权限不给表的权限时,Hive可以查询视图,sparksql无法查询视图的问题

补丁兼容关系

MRS 3.2.0-LTS.1.6补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。

安装补丁的影响

请参考安装补丁的影响

MRS 3.2.0-LTS.1.5补丁基本信息

表4 补丁基本信息

补丁号

MRS 3.2.0-LTS.1.5

发布时间

2023-10-23

安装前处理

如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。

新特性

  • 支持在Hue WebUI中使用HetuEngine SQL编辑器。
  • 运维巡检工具查询优化。
  • Flink流读Hudi新增了对消息滞留时间和消息堆积时间的监控。

解决的问题

MRS 3.2.0-LTS.1.5修复问题列表:

  • 解决Spark-JDBC偶现多租户模式下,driver端口与thriftserver端口一致冲突引发一系列问题。
  • 解决Spark空闲的SparkJDBC任务超过30分钟,没有结束,资源未释放浪费资源问题。
  • 解决HetuEngine在存散分离场景下映射方式对接OBS,查询大数据量时报错的问题。

补丁兼容关系

MRS 3.2.0-LTS.1.5补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。

安装补丁的影响

请参考安装补丁的影响

MRS 3.2.0-LTS.1.4补丁基本信息

表5 补丁基本信息

补丁号

MRS 3.2.0-LTS.1.4

发布时间

2023-10-16

安装前处理

如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。

新特性

  • 支持在Hue WebUI中使用HetuEngine SQL编辑器。
  • 运维巡检工具查询优化。

解决的问题

MRS 3.2.0-LTS.1.4修复问题列表:

  • 解决Flink读MySQL作业出现的类冲突问题
  • 解决Flink Server提交SQL作业时解码异常错误
  • 解决DataArts Studio提交Flink SQL作业报StackOverflow错误
  • 解决普通集群使用RestA调用FlinkServer的jobs/action时报错
  • 解决Flink客户端不支持-yD或-D配置keytab和principal的问题
  • 解决HetuEngine查询Flink写入的HudiMOR表数据为空的问题
  • 解决HetuEngine对Hudi的bucket索引mor表和mor_rt表查询失败问题
  • 解决HetuEngine查询Hive的LZ4压缩格式数据失败问题
  • 解决HetuEngine查询Hudi的OBS表失败问题
  • 解决HetuEngine多hashkey时,查询条件包含单个hashkey时,无法查出结果的问题
  • 解决Hudi数据源add columns/drop columns之后Hetu查询失败的问题
  • 解决Hudi在replacement场景下无法正常归档文件问题
  • 解决Hudi在InternalSchema转AvroSchema未去掉元字段导致流任务更新数据失败问题
  • 解决Hudi版本升级后出现Spark读hudi表和run compaction失败问题
  • 解决Hudi SQL执行call run_clustering_Mor后,rt/ro表的log数据丢失问题
  • 解决Hudi ro表compaction期间数据查询不出来问题
  • 解决Hudi表带decimal字段做ddl变更,在执行clustering报错问题
  • 解决Hudi Cow/mor表执行完drop partition后,首次执行delete报堆栈异常的问题
  • 解决Hive on Tez查询Hudi的schema演进表报错,需要适配默认InputFormat切分方式问题
  • 解决Spark/Flink写Hudi表,控制归档文件大小的参数不生效的问题
  • 解决Hudi mor表,log中1900前的timestamp数据错误问题
  • 解决HetuEngine查询Hudi数据重复问题
  • 解决Manager中12小时以上监控数据无法导出的问题
  • 解决Manager中节点磁盘使用率和磁盘读速率无法显示一周数据的问题
  • 解决弹性伸缩场景下操作更新集群拓扑时,全表查询TBL_HISTORY_TOPOLOGY导致controller触发OOM问题
  • 解决弹性伸缩过程中出现Metaspace内存不足触发agent重启的问题
  • 解决弹性伸缩场景下OMA进程异常无法采集指标,导致扩缩容任务异常问题
  • 解决大集群中监控数据丢失问题
  • 解决Manager AD对接后同步用户失败问题
  • 解决集群配置ranger元数据外置后RangerAdmin实例启动失败问题
  • LakeFormation下移混合云,对接lakeformation,policysync同步策略失败整改
  • 解决Spark JDBC模式执行插入耗时过久的问题
  • 解决Hudi-Connector支持bucket裁剪性能优化问题

补丁兼容关系

MRS 3.2.0-LTS.1.4补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。

安装补丁的影响

请参考安装补丁的影响

MRS 3.2.0-LTS.1.3补丁基本信息

表6 补丁基本信息

补丁号

MRS 3.2.0-LTS.1.3

发布时间

2023-08-04

安装前处理

如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。

新特性

  • Manager支持指定节点进行退服入服
  • MRS集群支持对接LakeFormation

    MRS对接LakeFormation操作指导,请参见:配置LakeFormation数据连接

    LakeFormation使用流程简介以及约束,请参见:LakeFormation使用流程简介

  • Guardian新增开启accesslabel开关
  • Guardian支持自定义文件生成器
  • 支持添加RangerKMS实例,提供数据加密服务
  • 管控面提交FlinkSQL作业支持元数据管理

解决的问题

MRS 3.2.0-LTS.1.3修复问题列表:

  • 解决Hudi修改long到string后run compaction,spark读失败问题
  • 解决Hudi修改schedule后之前的commit文件被清理,spark compaction失败问题
  • 解决Hudi表有修改列名、删除重新添加列,只进行schedule,spark compaction失败问题
  • 解决Hudi增删改列后run compaction,cdl hudi2dws作业失败报空指针问题
  • 解决Hudi写log会从文件中读schema,log越大读取越慢,影响写入效率问题
  • 解决Hudi subtasks处理数据倾斜,导致300并发的场景下部分资源闲置问题
  • 解决Hudi stg_rtd_hah_ae_t_detail_t表异步compaction失败问题
  • 解决Flink指定COMPLEX创建的hudi表,spark写失败,报KeyGenerator冲突问题
  • 解决Flink提交作业错误提示问题
  • 解决Flink作业异常退出,同一个key的数据做分区变更报NPE的问题
  • 解决Flink作业读hudi log文件报错Did not find the magic bytes at the start of block的问题
  • 解决DataArts Studio作业配置后未从上一个checkpoint重启Flink的问题
  • 解决管控面提交Spark作业长时间运行后访问obs报403问题
  • 解决CDL appid刷新错误,任务显示失败,但实际是运行中的问题
  • 解决CDL Topic Creation失败,报Topic已存在的问题
  • 解决CDL单AZ断网场景,出现作业自动停止的问题
  • 解决CDL任务一直处于正常状态,历史任务id存在失败,仍然上报告警问题
  • 解决CDL单AZ断网后,作业失败,查看appid为空,但是在yarn页面查看任务实际是存在并运行中的问题

补丁兼容关系

MRS 3.2.0-LTS.1.3补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。

安装补丁的影响

请参考安装补丁的影响

MRS 3.2.0-LTS.1.2补丁基本信息

表7 补丁基本信息

补丁号

MRS 3.2.0-LTS.1.2

发布时间

2023-05-10

安装前处理

如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。

解决的问题

MRS 3.2.0-LTS.1.2 修复问题列表:

  • 解决Manager无法创建带点字符用户问题
  • 解决IAM同步的用户组无法添加Manager页面上创建的用户问题
  • 解决夏令时时间下组件 on obs功能不可用问题
  • 解决在Manager页面创建备份任务到obs时参数校验异常问题
  • 解决通过API接口提交Spark作业时的日志打印问题
  • 解决修改ClickHouse索引列导致进程重启问题
  • 解决在Manager页面租户管理中动态资源计划显示异常问题
  • 解决修改Clickhouse配置时创建的Zookeeper连接不释放问题
  • 解决在Manager页面ClickHouse组件修改角色添加数据库的create权限,导致已有表的自定义权限丢失问题

补丁兼容关系

MRS 3.2.0-LTS.1.2补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。

安装补丁的影响

请参考安装补丁的影响

MRS 3.2.0-LTS.1.1补丁基本信息

表8 补丁基本信息

补丁号

MRS 3.2.0-LTS.1.1

发布时间

2023-04-07

安装前处理

如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。

解决的问题

MRS 3.2.0-LTS.1.1 修复问题列表:

  • 解决Hudi性能优化,增加优化参数控制同步Hive schema问题
  • 解决Hudi表包含decimal字段做ddl变更时,执行clustering报错问题
  • 解决MRS 3.1.2版本创建的hudi bucket索引表,在升级后compaction作业失败问题
  • 解决Table can not read correctly when computed column is in the midst问题
  • 解决Hudi的schema evolution和历史版本不兼容问题
  • 解决Fink无法读取低版本Spark用bulk insert方式写入的timestamp类型数据的精度问题
  • 解决mor表delete数据,下游Flink读任务失败问题
  • 解决Flink流写mor开启同步compaction,包含decimal列,Spark添加一列后重启作业,触发compaction执行失败问题
  • 解决Flink写mor表同时sparksql查询,当Flink触发clean后,Spark查询失败问题
  • 解决mor表有rollback,执行cleanData后Flink schedule生成计划,spark run compaction报空指针问题
  • 解决Flink进行批量作业时权限不足导致作业失败问题
  • 解决Flink指定timestamp读Kafka异常的问题
  • 解决Flink写历史版本创建的bucket索引hudi表,索引数据错乱重复fileid问题
  • 解决Flink On HBase当条件为null时,使用错误下推Filter导致漏数问题
  • 解决Flink on hudi解析的时间范围如果超过2262-04-11 23:47:16,则会解析失败,报错overflow问题
  • 解决Spark/Flink写Hudi表,控制归档文件大小的参数不生效问题
  • 解决Spark任务,有多个ddl语句(drop,truncate,create)长时间执行不结束问题
  • 解决Spark建mor表带timestamp,Flink流读数据有误,相差8h问题
  • 解决cow/mor表执行完drop partition后,首次执行delete报错,堆栈异常问题
  • 解决datasource写Hudi表名和同步的Hive表明不一致,写入失败,sql写location指定到一个存量cow表目录,表名不一致,insert成功的问题
  • CDL链路hudi-dws性能优化
  • 解决CDL升级后业务用户未添加hadoop组,任务启动失败问题
  • 解决CDL hudi-dws链路配置max.commit.number参数时,偶现同步数据丢失问题
  • 解决当CDL存在链接源端库失败的作业,task线程泄漏,导致作业启动超时问题
  • 解决CDL Hudi connector代码中增加hoodie.datasource.hive_sync.skip_sync_schema参数,默认为true,优化元数据同步性能,减少性能毛刺问题
  • 解决CDL读Hudi表出现404失败,找不到rollback.requested问题
  • 解决CDL Task阻塞导致所有任务Task失败问题
  • 解决Yarn的jdbcserver资源超长时间不释放问题

补丁兼容关系

MRS 3.2.0-LTS.1.1补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。

安装补丁的影响

请参考安装补丁的影响

对接LakeFormation的约束

  1. LakeFormation服务Add partitions API限制一次新增分区数最大100,影响MRS对接后Hive/Spark通过alter table add partitions一次新增过多分区
  2. MRS安装补丁后添加RangerKMS、PolicySync实例,必须部署在RangerAdmin相同节点上
  3. MRS 3.2.0-LTS.1.3版本对接LakeFormation后,Spark/Flink on Hudi场景存在如下约束:
    1. 用户新建Hudi表前,需要先在LakeFormation上对用户的IAM用户组授予database的obs目录读写权限,否则建表时会提示403 缺少obs权限。
    2. 用户创建Hudi表后,不支持在LakeFormation管理面编辑表的字段,必须通过Spark客户端增删改表的字段。
    3. MRS对接LakeFormation后,Flink on Hudi场景下同步Hive表,不支持使用hive_sync.mode=hms,只支持jdbc方式。
    4. 在提交任务的客户端中确保Spark的配置文件(客户端路径/Spark2x/spark/conf/hive-site.xml)中,包含如下配置:
      <property type="hidden" scope="all" classification="LakeFormation">
      <name>lakecat.auth.identity.util.class</name>
      <value>com.huawei.cloud.dalf.lakecat.client.identity.GuardianIdentityGenerator</value>
      </property>
      <property type="hidden" scope="all" classification="LakeFormation">
      <name>lakeformation.user.group.manager.class</name>
      <value>com.huawei.cloud.dalf.lakecat.client.hiveclient.group.GuardianUserGroupManager</value>
      </property>

添加RangerKMS的约束

MRS安装补丁后添加RangerKMS,必须部署在RangerAdmin相同节点上。

安装补丁的影响

  • MRS 3.2.0-LTS.1版本打了补丁后,如果需要添加服务,需要先卸载补丁,然后添加服务,再次重新安装补丁。
  • MRS 3.2.0-LTS.1版本打了补丁后,禁止在管理面执行重装主机,重装软件的操作。
  • MRS 3.2.0-LTS.1版本打了补丁后,如果集群有安装IoTDB组件,在对接CES的时候,需要关闭该组件的指标上报。
  • MRS 3.2.0-LTS.1版本打了补丁后,重新下载安装的客户端也需要执行客户端升级步骤。
  • MRS 3.2.0-LTS.1版本的补丁安装过程中会自动重启OMS,安装过程中将影响作业提交以及集群扩缩容等管控面集群控制功能,请选择适当的时间进行补丁安装。
  • MRS 3.2.0-LTS.1.1版本的补丁安装/卸载完成后都需要在FusionInsight Manager界面重启Flink、Spark2x、Kafka和CDL服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。
  • MRS 3.2.0-LTS.1.2的补丁安装/卸载完成后都需要在FusionInsight Manager界面重启Flink、Spark2x、Kafka、CDL、HBase、Hadoop、HetuEngine、Loader、Hive、ClickHouse和meta服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。
  • MRS 3.2.0-LTS.1.3的补丁安装/卸载完成后都需要在FusionInsight Manager界面重启CDL、Flink、Yarn、HDFS、Hive、Kafka、MapReduce、Ranger、ClickHouse、Guardian、HBase、HetuEngine、IoTDB、Loader、meta和Spark2x服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。
  • MRS 3.2.0-LTS.1.4的补丁安装/卸载完成后都需要在FusionInsight Manager界面重启Flink、Yarn、HDFS、MapReduce、Ranger、HetuEngine、Hue、Hive、Tez和Spark2x服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。操作卸载补丁之前需要在FusionInsight Manager界面选择“系统 > 第三方AD”中关闭AD对接。
  • MRS 3.2.0-LTS.1.5的补丁安装/卸载完成后都需要在FusionInsight Manager界面重启Flink、Yarn、HDFS、MapReduce、Ranger、HetuEngine、Hue、Hive、Tez和Spark2x服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。操作卸载补丁之前需要在FusionInsight Manager界面选择“系统 > 第三方AD”中关闭AD对接。

    重启组件的范围,是以补丁依次升级给定的范围,即如果是从MRS 3.2.0-LTS.1.4打补丁升级到MRS 3.2.0-LTS.1.5,需要重启MRS 3.2.0-LTS.1.5补丁的组件;如果是跨版本升级的,则需要重启的组件范围是各补丁的合集。

  • MRS 3.2.0-LTS.1.5及之后的补丁安装完成后,如需对接CES,请联系运维处理。
  • MRS 3.2.0-LTS.1.6的补丁安装/卸载完成后都需要在FusionInsight Manager界面重启Flink、Yarn、HDFS、MapReduce、Ranger、HetuEngine、Flume、Hive、Kafka和Spark2x服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。操作卸载补丁之前需要在FusionInsight Manager界面选择“系统 > 第三方AD”中关闭AD对接。
  • MRS 3.2.0-LTS.1.7的补丁安装/卸载完成后都需要在FusionInsight Manager界面重启Flink、Yarn、HDFS、MapReduce、Ranger、HetuEngine、Flume、Hive、Kafka和Spark2x服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。操作卸载补丁之前需要在FusionInsight Manager界面选择“系统 > 第三方AD”中关闭AD对接。
  • MRS 3.2.0-LTS.1.8的补丁安装/卸载完成后都需要在FusionInsight Manager界面重启Flink、Yarn、HDFS、MapReduce、HetuEngine、Hive和Spark2x服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。操作卸载补丁之前需要在FusionInsight Manager界面选择“系统 > 第三方AD”中关闭AD对接。
  • 如果有使用人为安装的客户端(集群内、外新下载客户端),需要执行客户端升级或者回退的操作:
    1. 登录集群主节点:

      cd /opt/Bigdata/patches/{补丁版本号}/download/

      所有操作中,“{补丁版本号}”都需要以实际安装的补丁号为准。例如当前安装的补丁为MRS_3.2.0-LTS.1.1,那么{补丁版本号}的值就为MRS_3.2.0-LTS.1.1。

    2. 将补丁安装包拷贝到客户端机器/opt/目录下:

      scp patch.tar.gz {客户端节点IP地址}:/opt/

      例如:

      scp patch.tar.gz 127.0.0.1:/opt/

    3. 登录客户端所在节点。

      例如:

      ssh 127.0.0.1

    4. 执行命令创建补丁目录并解压补丁包:

      mkdir /opt/{补丁版本号}

      tar -zxf /opt/patch.tar.gz -C /opt/{补丁版本号}

    5. 补丁升级/回退
      • 执行客户端补丁升级:

        登录客户端所在节点

        cd /opt/{补丁版本号}/client

        sh upgrade_client.sh upgrade {客户端安装目录}

        例如:

        sh upgrade_client.sh upgrade /opt/client/

      • 执行客户端补丁回滚(卸载完补丁后执行):

        登录客户端所在节点

        cd /opt/{补丁版本号}/client

        sh upgrade_client.sh rollback {客户端安装目录}

        例如:

        sh upgrade_client.sh rollback /opt/client/

  • MRS 3.2.0-LTS.1版本如果安装了Spark服务,需要在补丁安装完成后在主OMS节点执行HDFS上zip包的升级操作:
    1. 登录集群主节点:

      su - omm

      cd /opt/Bigdata/patches/{补丁版本号}/client/

      source /opt/Bigdata/client/bigdata_env

    2. 安全集群需要认证对HDFS有权限的用户:

      kinit {业务用户}

    3. 执行升级HDFS上的包:

      sh update_hdfs_file.sh

    4. (可选)回退(卸载完补丁后执行):

      sh rollback_hdfs_file.sh

    5. 升级/回退完成后需要在FusionInsight Manager Web界面上重启Spark的JDBCServer2x实例。
分享:

    相关文档

    相关产品