网络
虚拟私有云 VPC
弹性公网IP EIP
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
虚拟专用网络 VPN
云连接 CC
VPC终端节点 VPCEP
企业路由器 ER
企业交换机 ESW
全球加速 GA
企业连接 EC
云原生应用网络 ANC
安全与合规
安全技术与应用
Web应用防火墙 WAF
企业主机安全 HSS
云防火墙 CFW
安全云脑 SecMaster
DDoS防护 AAD
数据加密服务 DEW
数据库安全服务 DBSS
云堡垒机 CBH
数据安全中心 DSC
云证书管理服务 CCM
威胁检测服务 MTD
态势感知 SA
认证测试中心 CTC
边缘安全 EdgeSec
应用中间件
微服务引擎 CSE
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
分布式消息服务RocketMQ版
API网关 APIG
分布式缓存服务 DCS
多活高可用服务 MAS
事件网格 EG
管理与监管
统一身份认证服务 IAM
消息通知服务 SMN
云监控服务 CES
应用运维管理 AOM
应用性能管理 APM
云日志服务 LTS
云审计服务 CTS
标签管理服务 TMS
配置审计 Config
应用身份管理服务 OneAccess
资源访问管理 RAM
组织 Organizations
资源编排服务 RFS
优化顾问 OA
IAM 身份中心
云运维中心 COC
资源治理中心 RGC
解决方案
高性能计算 HPC
SAP
混合云灾备
开天工业工作台 MIW
Haydn解决方案工厂
数字化诊断治理专家服务
云生态
云商店
合作伙伴中心
华为云开发者学堂
华为云慧通差旅
开发与运维
软件开发生产线 CodeArts
需求管理 CodeArts Req
流水线 CodeArts Pipeline
代码检查 CodeArts Check
编译构建 CodeArts Build
部署 CodeArts Deploy
测试计划 CodeArts TestPlan
制品仓库 CodeArts Artifact
移动应用测试 MobileAPPTest
CodeArts IDE Online
开源镜像站 Mirrors
性能测试 CodeArts PerfTest
应用管理与运维平台 ServiceStage
云应用引擎 CAE
开源治理服务 CodeArts Governance
华为云Astro轻应用
CodeArts IDE
Astro工作流 AstroFlow
代码托管 CodeArts Repo
漏洞管理服务 CodeArts Inspector
联接 CodeArtsLink
软件建模 CodeArts Modeling
Astro企业应用 AstroPro
CodeArts盘古助手
华为云Astro大屏应用
计算
弹性云服务器 ECS
Flexus云服务
裸金属服务器 BMS
云手机服务器 CPH
专属主机 DeH
弹性伸缩 AS
镜像服务 IMS
函数工作流 FunctionGraph
云耀云服务器(旧版)
VR云渲游平台 CVR
Huawei Cloud EulerOS
云化数据中心 CloudDC
网络
虚拟私有云 VPC
弹性公网IP EIP
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
虚拟专用网络 VPN
云连接 CC
VPC终端节点 VPCEP
企业路由器 ER
企业交换机 ESW
全球加速 GA
企业连接 EC
云原生应用网络 ANC
CDN与智能边缘
内容分发网络 CDN
智能边缘云 IEC
智能边缘平台 IEF
CloudPond云服务
安全与合规
安全技术与应用
Web应用防火墙 WAF
企业主机安全 HSS
云防火墙 CFW
安全云脑 SecMaster
DDoS防护 AAD
数据加密服务 DEW
数据库安全服务 DBSS
云堡垒机 CBH
数据安全中心 DSC
云证书管理服务 CCM
威胁检测服务 MTD
态势感知 SA
认证测试中心 CTC
边缘安全 EdgeSec
大数据
MapReduce服务 MRS
数据湖探索 DLI
表格存储服务 CloudTable
可信智能计算服务 TICS
推荐系统 RES
云搜索服务 CSS
数据可视化 DLV
数据接入服务 DIS
数据仓库服务 GaussDB(DWS)
数据治理中心 DataArts Studio
湖仓构建 LakeFormation
智能数据洞察 DataArts Insight
应用中间件
微服务引擎 CSE
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
分布式消息服务RocketMQ版
API网关 APIG
分布式缓存服务 DCS
多活高可用服务 MAS
事件网格 EG
开天aPaaS
应用平台 AppStage
开天企业工作台 MSSE
开天集成工作台 MSSI
API中心 API Hub
云消息服务 KooMessage
交换数据空间 EDS
云地图服务 KooMap
云手机服务 KooPhone
组织成员账号 OrgID
云空间服务 KooDrive
管理与监管
统一身份认证服务 IAM
消息通知服务 SMN
云监控服务 CES
应用运维管理 AOM
应用性能管理 APM
云日志服务 LTS
云审计服务 CTS
标签管理服务 TMS
配置审计 Config
应用身份管理服务 OneAccess
资源访问管理 RAM
组织 Organizations
资源编排服务 RFS
优化顾问 OA
IAM 身份中心
云运维中心 COC
资源治理中心 RGC
区块链
区块链服务 BCS
数字资产链 DAC
华为云区块链引擎服务 HBS
解决方案
高性能计算 HPC
SAP
混合云灾备
开天工业工作台 MIW
Haydn解决方案工厂
数字化诊断治理专家服务
价格
成本优化最佳实践
专属云商业逻辑
云生态
云商店
合作伙伴中心
华为云开发者学堂
华为云慧通差旅
其他
管理控制台
消息中心
产品价格详情
系统权限
客户关联华为云合作伙伴须知
公共问题
宽限期保留期
奖励推广计划
活动
云服务信任体系能力说明
开发与运维
软件开发生产线 CodeArts
需求管理 CodeArts Req
流水线 CodeArts Pipeline
代码检查 CodeArts Check
编译构建 CodeArts Build
部署 CodeArts Deploy
测试计划 CodeArts TestPlan
制品仓库 CodeArts Artifact
移动应用测试 MobileAPPTest
CodeArts IDE Online
开源镜像站 Mirrors
性能测试 CodeArts PerfTest
应用管理与运维平台 ServiceStage
云应用引擎 CAE
开源治理服务 CodeArts Governance
华为云Astro轻应用
CodeArts IDE
Astro工作流 AstroFlow
代码托管 CodeArts Repo
漏洞管理服务 CodeArts Inspector
联接 CodeArtsLink
软件建模 CodeArts Modeling
Astro企业应用 AstroPro
CodeArts盘古助手
华为云Astro大屏应用
存储
对象存储服务 OBS
云硬盘 EVS
云备份 CBR
高性能弹性文件服务 SFS Turbo
弹性文件服务 SFS
存储容灾服务 SDRS
云硬盘备份 VBS
云服务器备份 CSBS
数据快递服务 DES
云存储网关 CSG
专属分布式存储服务 DSS
数据工坊 DWR
地图数据 MapDS
键值存储服务 KVS
容器
云容器引擎 CCE
云容器实例 CCI
容器镜像服务 SWR
云原生服务中心 OSC
应用服务网格 ASM
华为云UCS
数据库
云数据库 RDS
数据复制服务 DRS
文档数据库服务 DDS
分布式数据库中间件 DDM
云数据库 GaussDB
云数据库 GeminiDB
数据管理服务 DAS
数据库和应用迁移 UGO
云数据库 TaurusDB
人工智能
AI开发平台ModelArts
华为HiLens
图引擎服务 GES
图像识别 Image
文字识别 OCR
自然语言处理 NLP
内容审核 Moderation
图像搜索 ImageSearch
医疗智能体 EIHealth
企业级AI应用开发专业套件 ModelArts Pro
人脸识别服务 FRS
对话机器人服务 CBS
语音交互服务 SIS
人证核身服务 IVS
视频智能分析服务 VIAS
城市智能体
自动驾驶云服务 Octopus
盘古大模型 PanguLargeModels
IoT物联网
设备接入 IoTDA
全球SIM联接 GSL
IoT数据分析 IoTA
路网数字化服务 DRIS
IoT边缘 IoTEdge
设备发放 IoTDP
企业应用
域名注册服务 Domains
云解析服务 DNS
企业门户 EWP
ICP备案
商标注册
华为云WeLink
华为云会议 Meeting
隐私保护通话 PrivateNumber
语音通话 VoiceCall
消息&短信 MSGSMS
云管理网络
SD-WAN 云服务
边缘数据中心管理 EDCM
云桌面 Workspace
应用与数据集成平台 ROMA Connect
ROMA资产中心 ROMA Exchange
API全生命周期管理 ROMA API
政企自服务管理 ESM
视频
实时音视频 SparkRTC
视频直播 Live
视频点播 VOD
媒体处理 MPC
视频接入服务 VIS
数字内容生产线 MetaStudio
迁移
主机迁移服务 SMS
对象存储迁移服务 OMS
云数据迁移 CDM
迁移中心 MGC
专属云
专属计算集群 DCC
开发者工具
SDK开发指南
API签名指南
DevStar
华为云命令行工具服务 KooCLI
Huawei Cloud Toolkit
CodeArts API
云化转型
云架构中心
云采用框架
用户服务
账号中心
费用中心
成本中心
资源中心
企业管理
工单管理
客户运营能力
国际站常见问题
支持计划
专业服务
合作伙伴支持计划
我的凭证
华为云公共事业服务云平台
工业软件
工业数字模型驱动引擎
硬件开发工具链平台云服务
工业数据转换引擎云服务

MRS 3.2.0-LTS.1补丁说明

更新时间:2024-11-18 GMT+08:00
分享

MRS 3.2.0-LTS.1.7补丁基本信息

表1 补丁基本信息

补丁号

MRS 3.2.0-LTS.1.7

发布时间

2024-02-21

安装前处理

如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。

解决的问题

MRS 3.2.0-LTS.1.7修复问题列表:

  • 解决Spark子查询当做列字段执行SQL任务时Ranger鉴权报错。
  • 解决Flink写Hudi失败时,作业从checkpoint恢复失败的问题。

补丁兼容关系

MRS 3.2.0-LTS.1.7补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。

安装补丁的影响

请参考安装补丁的影响

MRS 3.2.0-LTS.1.6补丁基本信息

表2 补丁基本信息

补丁号

MRS 3.2.0-LTS.1.6

发布时间

2024-02-04

安装前处理

如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。

新特性

  • CDL支持表字段大写。
  • Flink写网易DDB时支持指定拆分键。
  • Flink支持upsertkafka监控数据写入influxdb。
  • Flink流读Hudi支持消息滞留时间、消息堆积时间监控。
  • Flink支持ignoreDelete特性。
  • Yarn NodeManager支持优雅退服。
  • Kafka支持数据加密。
  • Spark支持子查询字段不带聚合函数语法(设置spark.sql.legacy.correlated.scalar.query.enabled参数值为true)。
  • Spark支持视图表权限控制(在JDBCserver的自定义custom参数添加spark.ranger.plugin.viewaccesscontrol.enable值为true;添加参数。spark.ranger.plugin.viewaccesscontrol.enable=true到客户端目录下Spark2x/spark/conf/spark-defaults.conf 配置文件中;重启JDBCserver实例)。

解决的问题

MRS 3.2.0-LTS.1.6修复问题列表:

  • 解决CDL作业增加start time参数造成Hudi表中没有写入数据的问题。
  • 解决CDL重启作业不能杀掉残留connector线程的问题。
  • 解决Clickhouse balance的error日志不回滚问题。
  • 解决ClickHouse数据入库慢的问题。
  • 解决ClickHouse TTL未生效的问题。
  • 解决ClickHouse、Zookeeper连接过多导致Hive客户端无法连接的问题。
  • 解决ClickHouse物化视图的基表中添加列报OOM的问题。
  • Executor将作业老化顺序优化为根据作业结束时间老化。
  • 解决FlinkUI上传的UDF不修改包名导致UDF更新失败的问题。
  • 解决Flink上传UDF后UI分页显示异常的问题。
  • 解决Flink流读Hudi数据时间显示会少8小时的问题。
  • 解决使用FlinkServer创建SASL_SSL认证的kafka连接,执行报错的问题。
  • 解决Flink对接Guardian启用OBS,Flink作业重启偶现重启失败的问题。
  • 解决DataArts Studio提交作业无法正常重试从Checkpoint恢复的问题。
  • 解决使用FlinkServer提交作业时,显示提交失败,但是Yarn上作业是RUNNING的问题。
  • 解决DataArts Studio提交Flink-SQL作业报StackOverFlow错误的问题。
  • 优化Flink security.ssl.encrypt.enabled参数值为TRUE,而不能修改,影响任务启动速度的问题。
  • 解决DataArts Studio失败重试执行作业存在作业从头消费而不是从Checkpoint启动的问题。
  • 解决普通集群使用RESTAPI调用FlinkServer的jobs/action时报错。
  • 解决Flink jar包写ClickHouse作业无法提交的问题。
  • 解决Flink Join状态剔除的hint参数功能不生效的问题。
  • 解决Flink作业报错信息不准确,日志显示的错误行数与作业SQL错误行数不一致的问题。
  • 解决Flink流读Hudi当表写入数据时作业失败,写Hudi作业提交运行失败的问题。
  • 解决Flinkserver SQL校验失败的问题。
  • 解决Flink客户端不支持-yD或-D配置keytab和principal的问题。
  • 解决Flink算子chain打开时sink算子出现异常被source算子捕获,作业tm不失败的问题。
  • 解决MRS实时任务告警通知不显示具体作业名称的问题。
  • 解决Flume自定义时间拦截器未生效的问题。
  • 解决弹性伸缩时偶现的启动NodeManager失败导致的单节点扩容失败的问题。
  • 解决安全模式下,不能使用HDFS用户下发Balance均衡任务的问题。
  • 解决Yarn资源池可用资源指标异常,导致弹性伸缩触发异常。
  • 解决NodeManager节点磁盘打满故障,导致资源池成员迁移到默认资源池。
  • 解决Dead DataNode数量超过阈值告警不会自动清除的问题。
  • 解决HBase健康检查脚本调用超时导致上报服务不可用误告警。
  • 解决HetuEngine alter添加列后,insert数据时旧分区无数据问题。
  • 解决HetuEngine、Flink写入数据时,compaction后HetuEngine概率读取RO表无数据的问题。
  • 修复HDFS日志归集缺包问题。
  • 解决HetuEngine使用HSFabric连接JDBC执行SQL失败。
  • 解决Hive on tez overwrite分区表结果为空时会报错的问题。
  • Hive集成DataAtrs元数据同步插件包。
  • 解决配置Hive元数据最后访问时间后Hive作业频繁报错的问题。
  • 解决Hive alter table test drop partition (分区<'xxxx');分批删除参数不生效的问题。
  • 解决Hive JDBC连接拼接&useSSL=false等参数不生效的问题。
  • 解决高并发场景下hive on spark作业提交jar包超时导致作业失败的问题。
  • 解决CDL写入Hudi表出现bucket桶id重复问题。
  • 解决Hudi compaction比clean运行快导致数据无法读取的问题。
  • 解决compaction任务失败残留了异常文件没有被清理,导致Spark读Hudi时报“xx is not a Parquet file”异常的问题。
  • 解决Spark作业读上游读库表,excutor报错找不到该表OBS .schema目录下的文件的问题。
  • Hudi compaction schedule优化,根据最后一次compaction action生成plan。
  • Hudi默认保留5G归档后的压缩文件。
  • Hudi OBS默认Clean不进回收站。
  • Hudi archive归档更多的clean和rollback,减少元数据文件数。
  • 解决Hudi Cow不执行Clean就无法触发归档的问题。
  • 解决Hudi使用Spark生成批补表的数据时,表目录被删除的问题。
  • 解决Hudi表大小写生成的namespace不一致,导致update失败的问题。
  • Hudi新增call command清理无效元数据文件。
  • 解决Hudi DELETE_EMPTY_INSTANT功能在异常场景导致有数据的instant被删掉的问题。
  • 解决Flink append mode丢失数据问题。
  • 历史数据默认保存30天超期后未清理的问题。
  • 解决调整时区为UTC后Manager页面实时监控数据为空的问题。
  • 解决Manager页面租户资源下的全局用户策略内容不分页的问题。
  • Manager页面新增显示yarn on cce按钮。
  • 解决新建集群通过专线访问Manager页面,需要手动修改Tomcat配置的问题。
  • Manager对接运维页面。
  • 解决MRS集群出现误告警的问题。
  • 解决Manager跨越0点查询时,监控指标显示异常的问题。
  • 解决Manager页面内核空间占用CPU百分比数值错误问题。
  • 解决Manager页面主机线管监控页面切换到分布图后在切换时间段查看图标,图标的默认区间取值错误的问题。
  • 解决主OMS的Gaussdb的进程占用内存较大的问题。
  • 解决Manager组件自定义配置完后添加实例自定义配置没有显示的问题。
  • 解决监控进程PMS一直重启的问题。
  • 解决扩容节点,节点间互信失效告警误报问题。
  • 解决Manager主备节点同步数据异常的问题。
  • 解决Dead DataNode数量超过阈值告警不会自动清除的问题。
  • Manager弹性扩缩容场景下上报的告警优化。
  • Manager缩容场景下节点网络通信异常告警优化。
  • 解决Controller重启上报服务不可用告警的问题。
  • MRS Manager的管理员账号遗忘添加跳转支持文档。
  • 集群配置Ranger元数据外置后RangeAdmin实例启动失败。
  • 解决quit命令退出Spark客户端时报错的问题。
  • 解决Spark偶现多租户模式下,driver端口与thriftserver端口冲突的问题。
  • 解决空闲的SparkJDBC任务超过30分钟资源不释放的问题。
  • 解决打开Zookeeper的ssl后提交Spark作业,连接Zookeeper失败,导致任务执行超时的问题。
  • 解决Spark连接JDBCServer任务失败的问题。
  • 解决Spark只给视图权限不给表的权限时,Hive可以查询视图,sparksql无法查询视图的问题。

补丁兼容关系

MRS 3.2.0-LTS.1.6补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。

安装补丁的影响

请参考安装补丁的影响

MRS 3.2.0-LTS.1.5补丁基本信息

表3 补丁基本信息

补丁号

MRS 3.2.0-LTS.1.5

发布时间

2023-10-23

安装前处理

如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。

新特性

  • 支持在Hue WebUI中使用HetuEngine SQL编辑器。
  • 运维巡检工具查询优化。
  • Flink流读Hudi新增了对消息滞留时间和消息堆积时间的监控。

解决的问题

MRS 3.2.0-LTS.1.5修复问题列表:

  • 解决Spark-JDBC偶现多租户模式下,driver端口与thriftserver端口一致冲突引发一系列问题。
  • 解决Spark空闲的SparkJDBC任务超过30分钟,没有结束,资源未释放浪费资源问题。
  • 解决HetuEngine在存散分离场景下映射方式对接OBS,查询大数据量时报错的问题。

补丁兼容关系

MRS 3.2.0-LTS.1.5补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。

安装补丁的影响

请参考安装补丁的影响

MRS 3.2.0-LTS.1.4补丁基本信息

表4 补丁基本信息

补丁号

MRS 3.2.0-LTS.1.4

发布时间

2023-10-16

安装前处理

如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。

新特性

  • 支持在Hue WebUI中使用HetuEngine SQL编辑器。
  • 运维巡检工具查询优化。

解决的问题

MRS 3.2.0-LTS.1.4修复问题列表:

  • 解决Flink读MySQL作业出现的类冲突问题。
  • 解决Flink Server提交SQL作业时解码异常错误。
  • 解决DataArts Studio提交Flink SQL作业报StackOverflow错误。
  • 解决普通集群使用RestA调用FlinkServer的jobs/action时报错。
  • 解决Flink客户端不支持-yD或-D配置keytab和principal的问题。
  • 解决HetuEngine查询Flink写入的HudiMOR表数据为空的问题。
  • 解决HetuEngine对Hudi的bucket索引mor表和mor_rt表查询失败问题。
  • 解决HetuEngine查询Hive的LZ4压缩格式数据失败问题。
  • 解决HetuEngine查询Hudi的OBS表失败问题。
  • 解决HetuEngine多hashkey时,查询条件包含单个hashkey时,无法查出结果的问题。
  • 解决Hudi数据源add columns/drop columns之后HetuEngine查询失败的问题。
  • 解决Hudi在replacement场景下无法正常归档文件问题。
  • 解决Hudi在InternalSchema转AvroSchema未去掉元字段导致流任务更新数据失败问题。
  • 解决Hudi版本升级后出现Spark读Hudi表和run compaction失败问题。
  • 解决Hudi SQL执行call run_clustering_Mor后,rt/ro表的log数据丢失问题。
  • 解决Hudi ro表compaction期间数据查询不出来问题。
  • 解决Hudi表带decimal字段做ddl变更,在执行clustering报错问题。
  • 解决Hudi Cow/mor表执行完drop partition后,首次执行delete报堆栈异常的问题。
  • 解决Hive on Tez查询Hudi的schema演进表报错,需要适配默认InputFormat切分方式问题。
  • 解决Spark/Flink写Hudi表,控制归档文件大小的参数不生效的问题。
  • 解决Hudi mor表,log中1900前的timestamp数据错误问题。
  • 解决HetuEngine查询Hudi数据重复问题。
  • 解决Manager中12小时以上监控数据无法导出的问题。
  • 解决Manager中节点磁盘使用率和磁盘读速率无法显示一周数据的问题。
  • 解决弹性伸缩场景下操作更新集群拓扑时,全表查询TBL_HISTORY_TOPOLOGY导致controller触发OOM问题。
  • 解决弹性伸缩过程中出现Metaspace内存不足触发agent重启的问题。
  • 解决弹性伸缩场景下OMA进程异常无法采集指标,导致扩缩容任务异常问题。
  • 解决大集群中监控数据丢失问题。
  • 解决Manager AD对接后同步用户失败问题。
  • 解决集群配置Ranger元数据外置后RangerAdmin实例启动失败问题。
  • 对接LakeFormation,policysync同步策略失败整改。
  • 解决Spark JDBC模式执行插入耗时过久的问题。
  • 解决Hudi-Connector支持bucket裁剪性能优化问题。

补丁兼容关系

MRS 3.2.0-LTS.1.4补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。

安装补丁的影响

请参考安装补丁的影响

MRS 3.2.0-LTS.1.3补丁基本信息

表5 补丁基本信息

补丁号

MRS 3.2.0-LTS.1.3

发布时间

2023-08-04

安装前处理

如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。

新特性

  • Manager支持指定节点进行退服入服
  • MRS集群支持对接LakeFormation

    MRS对接LakeFormation操作指导,请参见:配置LakeFormation数据连接

    LakeFormation使用流程简介以及约束,请参见:LakeFormation使用流程简介

  • Guardian新增开启accesslabel开关
  • Guardian支持自定义文件生成器
  • 支持添加RangerKMS实例,提供数据加密服务
  • 管控面提交FlinkSQL作业支持元数据管理

解决的问题

MRS 3.2.0-LTS.1.3修复问题列表:

  • 解决Hudi修改long到string后run compaction,Spark读失败问题。
  • 解决Hudi修改schedule后之前的commit文件被清理,spark compaction失败问题。
  • 解决Hudi表有修改列名、删除重新添加列,只进行schedule,spark compaction失败问题。
  • 解决Hudi增删改列后run compaction,cdl hudi2dws作业失败报空指针问题。
  • 解决Hudi写log会从文件中读schema,log越大读取越慢,影响写入效率问题。
  • 解决Hudi subtasks处理数据倾斜,导致300并发的场景下部分资源闲置问题。
  • 解决Hudi stg_rtd_hah_ae_t_detail_t表异步compaction失败问题。
  • 解决Flink指定COMPLEX创建的hudi表,spark写失败,报KeyGenerator冲突问题。
  • 解决Flink提交作业错误提示问题。
  • 解决Flink作业异常退出,同一个key的数据做分区变更报NPE的问题。
  • 解决Flink作业读hudi log文件报错Did not find the magic bytes at the start of block的问题。
  • 解决DataArts Studio作业配置后未从上一个checkpoint重启Flink的问题。
  • 解决管控面提交Spark作业长时间运行后访问obs报403问题。
  • 解决CDL appid刷新错误,任务显示失败,但实际是运行中的问题。
  • 解决CDL Topic Creation失败,报Topic已存在的问题。
  • 解决CDL单AZ断网场景,出现作业自动停止的问题。
  • 解决CDL任务一直处于正常状态,历史任务id存在失败,仍然上报告警问题。
  • 解决CDL单AZ断网后,作业失败,查看appid为空,但是在yarn页面查看任务实际是存在并运行中的问题。

补丁兼容关系

MRS 3.2.0-LTS.1.3补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。

安装补丁的影响

请参考安装补丁的影响

MRS 3.2.0-LTS.1.2补丁基本信息

表6 补丁基本信息

补丁号

MRS 3.2.0-LTS.1.2

发布时间

2023-05-10

安装前处理

如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。

解决的问题

MRS 3.2.0-LTS.1.2 修复问题列表:

  • 解决Manager无法创建带点字符用户问题。
  • 解决IAM同步的用户组无法添加Manager页面上创建的用户问题。
  • 解决夏令时时间下组件on obs功能不可用问题。
  • 解决在Manager页面创建备份任务到obs时参数校验异常问题。
  • 解决通过API接口提交Spark作业时的日志打印问题。
  • 解决修改ClickHouse索引列导致进程重启问题。
  • 解决在Manager页面租户管理中动态资源计划显示异常问题。
  • 解决修改Clickhouse配置时创建的Zookeeper连接不释放问题。
  • 解决在Manager页面ClickHouse组件修改角色添加数据库的create权限,导致已有表的自定义权限丢失问题。

补丁兼容关系

MRS 3.2.0-LTS.1.2补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。

安装补丁的影响

请参考安装补丁的影响

MRS 3.2.0-LTS.1.1补丁基本信息

表7 补丁基本信息

补丁号

MRS 3.2.0-LTS.1.1

发布时间

2023-04-07

安装前处理

如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。

解决的问题

MRS 3.2.0-LTS.1.1 修复问题列表:

  • 解决Hudi性能优化,增加优化参数控制同步Hive schema问题。
  • 解决Hudi表包含decimal字段做ddl变更时,执行clustering报错问题。
  • 解决MRS 3.1.2版本创建的hudi bucket索引表,在升级后compaction作业失败问题。
  • 解决Table can not read correctly when computed column is in the midst问题。
  • 解决Hudi的schema evolution和历史版本不兼容问题。
  • 解决Fink无法读取低版本Spark用bulk insert方式写入的timestamp类型数据的精度问题。
  • 解决mor表delete数据,下游Flink读任务失败问题。
  • 解决Flink流写mor开启同步compaction,包含decimal列,Spark添加一列后重启作业,触发compaction执行失败问题。
  • 解决Flink写mor表同时sparksql查询,当Flink触发clean后,Spark查询失败问题。
  • 解决mor表有rollback,执行cleanData后Flink schedule生成计划,spark run compaction报空指针问题。
  • 解决Flink进行批量作业时权限不足导致作业失败问题。
  • 解决Flink指定timestamp读Kafka异常的问题。
  • 解决Flink写历史版本创建的bucket索引hudi表,索引数据错乱重复fileid问题。
  • 解决Flink On HBase当条件为null时,使用错误下推Filter导致漏数问题。
  • 解决Flink on hudi解析的时间范围如果超过2262-04-11 23:47:16,则会解析失败,报错overflow问题。
  • 解决Spark/Flink写Hudi表,控制归档文件大小的参数不生效问题。
  • 解决Spark任务,有多个ddl语句(drop,truncate,create)长时间执行不结束问题。
  • 解决Spark建mor表带timestamp,Flink流读数据有误,相差8h问题。
  • 解决cow/mor表执行完drop partition后,首次执行delete报错,堆栈异常问题。
  • 解决datasource写Hudi表名和同步的Hive表名不一致,写入失败,sql写location指定到一个存量cow表目录,表名不一致,insert成功的问题。
  • CDL链路hudi-dws性能优化。
  • 解决CDL升级后业务用户未添加hadoop组,任务启动失败问题。
  • 解决CDL hudi-dws链路配置max.commit.number参数时,偶现同步数据丢失问题。
  • 解决当CDL存在连接源端库失败的作业,task线程泄漏,导致作业启动超时问题。
  • 解决CDL Hudi connector代码中增加hoodie.datasource.hive_sync.skip_sync_schema参数,默认为true,优化元数据同步性能,减少性能毛刺问题。
  • 解决CDL读Hudi表出现404失败,找不到rollback.requested问题。
  • 解决CDL Task阻塞导致所有任务Task失败问题。
  • 解决Yarn的jdbcserver资源超长时间不释放问题。

补丁兼容关系

MRS 3.2.0-LTS.1.1补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。

安装补丁的影响

请参考安装补丁的影响

对接LakeFormation的约束

  1. LakeFormation服务Add partitions API限制一次新增分区数最大100,影响MRS对接后Hive/Spark通过alter table add partitions一次新增过多分区
  2. MRS安装补丁后添加RangerKMS、PolicySync实例,必须部署在RangerAdmin相同节点上
  3. MRS 3.2.0-LTS.1.3版本对接LakeFormation后,Spark/Flink on Hudi场景存在如下约束:
    1. 用户新建Hudi表前,需要先在LakeFormation上对用户的IAM用户组授予database的obs目录读写权限,否则建表时会提示403 缺少obs权限。
    2. 用户创建Hudi表后,不支持在LakeFormation管理面编辑表的字段,必须通过Spark客户端增删改表的字段。
    3. MRS对接LakeFormation后,Flink on Hudi场景下同步Hive表,不支持使用hive_sync.mode=hms,只支持jdbc方式。
    4. 在提交任务的客户端中确保Spark的配置文件(客户端路径/Spark2x/spark/conf/hive-site.xml)中,包含如下配置:
      <property type="hidden" scope="all" classification="LakeFormation">
      <name>lakecat.auth.identity.util.class</name>
      <value>com.huawei.cloud.dalf.lakecat.client.identity.GuardianIdentityGenerator</value>
      </property>
      <property type="hidden" scope="all" classification="LakeFormation">
      <name>lakeformation.user.group.manager.class</name>
      <value>com.huawei.cloud.dalf.lakecat.client.hiveclient.group.GuardianUserGroupManager</value>
      </property>

添加RangerKMS的约束

MRS安装补丁后添加RangerKMS,必须部署在RangerAdmin相同节点上。

安装补丁的影响

  • MRS 3.2.0-LTS.1版本打了补丁后,如果需要添加服务,需要先卸载补丁,然后添加服务,再次重新安装补丁。
  • MRS 3.2.0-LTS.1版本打了补丁后,禁止在管理面执行重装主机,重装软件的操作。
  • MRS 3.2.0-LTS.1版本打了补丁后,如果集群有安装IoTDB组件,在对接CES的时候,需要关闭该组件的指标上报。
  • MRS 3.2.0-LTS.1版本打了补丁后,重新下载安装的客户端也需要执行客户端升级步骤。
  • MRS 3.2.0-LTS.1版本的补丁安装过程中会自动重启OMS,安装过程中将影响作业提交以及集群扩缩容等管控面集群控制功能,请选择适当的时间进行补丁安装。
  • MRS 3.2.0-LTS.1版本打了补丁后,升级客户端以及升级zip包的步骤不能省略,若没有执行此操作,会影响Spark、HDFS、Flink等组件的补丁生效,会导致Spark client模式的作业运行失败。
  • MRS 3.2.0-LTS.1.1版本的补丁安装/卸载完成后都需要在FusionInsight Manager界面重启Flink、Spark2x、Kafka和CDL服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。
  • MRS 3.2.0-LTS.1.2的补丁安装/卸载完成后都需要在FusionInsight Manager界面重启Flink、Spark2x、Kafka、CDL、HBase、Hadoop、HetuEngine、Loader、Hive、ClickHouse和meta服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。
  • MRS 3.2.0-LTS.1.3的补丁安装/卸载完成后都需要在FusionInsight Manager界面重启CDL、Flink、Yarn、HDFS、Hive、Kafka、MapReduce、Ranger、ClickHouse、Guardian、HBase、HetuEngine、IoTDB、Loader、meta和Spark2x服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。
  • MRS 3.2.0-LTS.1.4的补丁安装/卸载完成后都需要在FusionInsight Manager界面重启Flink、Yarn、HDFS、MapReduce、Ranger、HetuEngine、Hue、Hive、Tez和Spark2x服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。操作卸载补丁之前需要在FusionInsight Manager界面选择“系统 > 第三方AD”中关闭AD对接。
  • MRS 3.2.0-LTS.1.5的补丁安装/卸载完成后都需要在FusionInsight Manager界面重启Flink、Yarn、HDFS、MapReduce、Ranger、HetuEngine、Hue、Hive、Tez和Spark2x服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。操作卸载补丁之前需要在FusionInsight Manager界面选择“系统 > 第三方AD”中关闭AD对接。
  • MRS 3.2.0-LTS.1.5及之后的补丁安装完成后,如需对接CES,请联系运维处理。
  • MRS 3.2.0-LTS.1.6的补丁安装/卸载完成后都需要在FusionInsight Manager界面重启Flink、Yarn、HDFS、MapReduce、Ranger、HetuEngine、Flume、Hive、Kafka和Spark2x服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。操作卸载补丁之前需要在FusionInsight Manager界面选择“系统 > 第三方AD”中关闭AD对接。
  • MRS 3.2.0-LTS.1.7的补丁安装/卸载完成后都需要在FusionInsight Manager界面重启Flink、Yarn、HDFS、MapReduce、Ranger、HetuEngine、Flume、Hive、Kafka和Spark2x服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。操作卸载补丁之前需要在FusionInsight Manager界面选择“系统 > 第三方AD”中关闭AD对接。
说明:

重启组件的范围,是以补丁依次升级给定的范围,即如果是从MRS 3.2.0-LTS.1.4打补丁升级到MRS 3.2.0-LTS.1.5,需要重启MRS 3.2.0-LTS.1.5补丁的组件;如果是跨版本升级的,则需要重启的组件范围是各补丁的合集。

  • 如果有使用人为安装的客户端(集群内、外新下载客户端),需要执行客户端升级或者回退的操作:
    1. 登录集群主节点:

      cd /opt/Bigdata/patches/{补丁版本号}/download/

      说明:

      所有操作中,“{补丁版本号}”都需要以实际安装的补丁号为准。例如当前安装的补丁为MRS_3.2.0-LTS.1.1,那么{补丁版本号}的值就为MRS_3.2.0-LTS.1.1。

    2. 将补丁安装包复制到客户端机器/opt/目录下:

      scp patch.tar.gz {客户端节点IP地址}:/opt/

      例如:

      scp patch.tar.gz 127.0.0.1:/opt/

    3. 登录客户端所在节点。

      例如:

      ssh 127.0.0.1

    4. 执行命令创建补丁目录并解压补丁包:

      mkdir /opt/{补丁版本号}

      tar -zxf /opt/patch.tar.gz -C /opt/{补丁版本号}

    5. 补丁升级/回退
      • 执行客户端补丁升级:

        登录客户端所在节点

        cd /opt/{补丁版本号}/client

        sh upgrade_client.sh upgrade {客户端安装目录}

        例如:

        sh upgrade_client.sh upgrade /opt/client/

      • 执行客户端补丁回滚(卸载完补丁后执行):

        登录客户端所在节点

        cd /opt/{补丁版本号}/client

        sh upgrade_client.sh rollback {客户端安装目录}

        例如:

        sh upgrade_client.sh rollback /opt/client/

  • MRS 3.2.0-LTS.1版本如果安装了Spark服务,需要在补丁安装完成后在主OMS节点执行HDFS上zip包的升级操作:
    1. 登录集群主节点:

      su - omm

      cd /opt/Bigdata/patches/{补丁版本号}/client/

      source /opt/Bigdata/client/bigdata_env

    2. 安全集群需要认证对HDFS有权限的用户:

      kinit {业务用户}

    3. 执行升级HDFS上的包:

      sh update_hdfs_file.sh

    4. (可选)回退(卸载完补丁后执行):

      sh rollback_hdfs_file.sh

    5. 升级/回退完成后需要在FusionInsight Manager Web界面上重启Spark的JDBCServer2x实例。
提示

您即将访问非华为云网站,请注意账号财产安全

文档反馈

文档反馈

意见反馈

0/500

标记内容

同时提交标记内容