基于Slurm构建泛HPC场景云上云下资源协同解决方案

调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块，本节重点介绍的是大数据集群和大数据任务调度平台的迁移，大数据应用的迁移方法请参考应用迁移上云，本节只介绍差异部分。 大数据集群迁移：将大数据集群（包括存储

查看更多 →

大数据数据迁移（MaxCompute迁移到 DLI ） 大数据迁移概述 使用须知 准备工作 创建源端连接 创建目的端连接 创建迁移任务 查看并导出执行结果 自定义参数说明 父主题： 新版

查看更多 →

大数据-Hive Metastore凭证文件获取方法 参考访问 FusionInsight Manager登录Manager，进入系统页面。 在左侧导航栏，选择“权限>用户”，进入用户页面。 在用户列表，选择要在MgC Agent（原Edge）添加凭证的用户，单击操作列“更多>下载

查看更多 →

当监控指标中出现“已拒绝的连接数”时，请确认客户端连接数是否已经超过实例的最大连接数限制。 Redis 4.0/5.0/6.0版本的实例，仅在主备、集群和读写分离实例的数据节点中支持查看“已拒绝的连接数”。 查看最大连接数：单击实例名称，进入实例详情页面，选择“配置参数”页签，查看maxc

查看更多 →

云桌面大数据场景解决方案 简介 为大数据业务部署在华为云上的企业，提供一站式云上数据分析办公环境。

查看更多 →

什么是大数据优化与提升服务？ 大数据优化与提升服务通过结合华为自身丰富的理论知识和实践经验，引入数字化科技技术，帮助企业规划构建 数据治理 体系和数据治理平台，内容包括数据管理成熟度诊断、数据管理体系设计、数据安全规范诊断与设计以及主数据管理体系诊断与设计。 父主题： 关于服务咨询

查看更多 →

Turbo进行空间扩容。详情可参见SFS Turbo监控指标说明和创建告警规则。 SFS Turbo性能监控 您可以在CES 云监控服务 上监控和SFS Turbo文件系统的性能使用情况。当AI算力集群规模变大，大模型参数量变大，导致Checkpoint读加载时间变长时，或训练数据集加载由于存

查看更多 →

应用服务网格（Application Service Mesh，简称ASM）是华为云基于开源Istio推出的服务网格平台，它深度、无缝对接了华为云的企业级Kubernetes集群服务云容器引擎（CCE），在易用性、可靠性、可视化等方面进行了一系列增强，可为客户提供开箱即用的上手体验。 ASM提供非侵入式的微服务治理

查看更多 →

智能诊断是对过去5分钟内的检查项进行诊断，诊断结果异常表示前5分钟内有检查项出现异常。 图2 诊断结果 在“性能监控”模块，查看实例的重点性能指标。 图3 性能监控 父主题： 性能监控

查看更多 →

源库最大数据库序号是否小于目标库最大数据库序号 Redis迁移场景 表1 源库最大数据库序号是否小于目标库最大数据库序号 预检查项 源库最大数据库序号是否小于目标库最大数据库序号。 描述 源库最大数据库序号是否小于目标库最大数据库序号。 待确认提示及处理建议 待确认原因：源数据库

查看更多 →

部署Hadoop集群。 MRS 提供租户完全可控的一站式企业级大数据集群云服务，完全兼容开源接口，结合 华为云计算 、存储优势及大数据行业经验，为客户提供高性能、低成本、灵活易用的全栈大数据平台，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件，并具备在后

查看更多 →

力，用户拥有对集群的完全控制权，默认情况下，云服务无权限对客户集群进行操作，集群日常运维管理由用户负责，如果在大数据集群运维过程中遇到了相关技术问题，可以联系技术支持团队获得帮助，该技术支持仅协助分析处理MRS云服务相关求助，不包含云服务以外的求助，例如用户基于大数据平台构建的应用系统等。

查看更多 →

(32U130G) - - - - - - - 大数据组件信息 使用的大数据组件信息和规划的新版本大数据集群版本信息比较，主要识别版本差异可能对迁移过程的影响，以及对迁移后业务兼容性的影响。 表3 大数据组件信息 大数据组件 源端集群版本 目的端集群版本（以MRS集群版本为准） 说明 HDFS/OBS（或其他文件存储系统）

查看更多 →

物理集群转换到逻辑集群 功能介绍 该接口用于将物理集群转换为逻辑集群。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/convert-to-logical-cluster/{name} 表1 路径参数

查看更多 →

集群状态消息通知 特性简介 大数据集群运行过程中经常会进行如下操作： 大数据集群变更，比如扩容、缩容集群。 业务数据量突然变化，集群触发弹性伸缩。 相关业务结束，需要终止大数据集群等。 用户想要及时得知这些操作是否执行成功，以及当集群出现大数据服务不可用，或节点故障时，用户希望不

查看更多 →

存在Redis的持久化重写操作。 排查QPS是否过高 在分布式缓存服务控制台的缓存管理页面，单击实例进入实例详情界面，单击左侧的性能监控，进入性能监控页面，查询实例级别的每秒并发操作数（QPS）。 如果QPS过高，建议优化客户业务或者变更实例规格。不同实例规格支持的QPS请参考实例规格。

查看更多 →

激活集群 功能介绍 激活集群接口；传入的cluster ID必须符合k8s UUID的格式规则；同时需要用户有对应集群的更新权限，否则会鉴权失败 URI PUT /v1/clusters/{clusterid}/activation 表1 路径参数 参数 是否必选 参数类型 描述

查看更多 →

集群部署 SAP HANA集群部署方案如图1所示。 图1 SAP HANA集群部署方案 说明如下： VPC网络：为了保证网络的安全，SAP HANA系统中所有节点在一个VPC网络内，且所有节点应属于同一个AZ（Available Zone）。 公网子网区： NAT（Network

查看更多 →

删除集群 操作场景 当用户不再需要使用某个集群时，可以参考如下操作删除集群。删除成功后，集群停止计费。 前提条件 集群的状态为“运行中”、“变更失败”、“删除失败”。 集群中没有应用、且没有GPU加速型 云服务器 。 如果集群中显示的资源不为0，请先删除应用。具体操作请参见删除应用。

查看更多 →

集群管理 创建集群 查看集群详情 修复集群 修改集群 删除集群

查看更多 →

参数类型 描述 start 是 Object 集群启动操作，定义集群启动标识，为空对象。 响应参数 状态码： 200 表4 响应Body参数 参数 参数类型 描述 jobId Array of strings 作业ID。 请求示例 启动集群。 POST /v1.1/1551c7f6c

查看更多 →