配置底层存储系统 用户想要通过统一的客户端API和全局命名空间访问包括HDFS和OBS在内的持久化存储系统，从而实现了对计算和存储的分离时，可以在 MRS Manager页面中配置Alluxio的底层存储系统来实现。集群创建后，默认的底层存储地址是hdfs://hacluster/

查看更多 →

Sqoop对接外部存储系统 使用本章节前已参考配置存算分离集群（委托方式）完成HDFS客户端对接OBS文件系统的配置。还需在MySQL官网https://downloads.mysql.com/archives/c-j/下载MySQL对应版本的驱动包，解压后上传至安装了Sqoop

查看更多 →

专属分布式存储三副本技术 什么是三副本技术？ 专属分布式存储的存储系统采用三副本机制来保证数据的可靠性，即针对某份数据，默认将数据分为1 MB大小的数据块，每一个数据块被复制为3个副本，然后按照一定的分布式存储算法将这些副本保存在集群中的不同节点上。 专属分布式存储三副本技术的主要特点如下：

查看更多 →

隐藏管理页 使用说明 管理页隐藏后，不影响单独访问管理页，只是在运行态的应用内查看不到。如果单独访问运行态下的管理页，是可以正常访问的。 操作步骤 将鼠标放在生成数据管理页中已创建的数据管理页上。 单击，选择“隐藏该文件”。 图1 选择隐藏该文件 参考如何获取应用的访问地址中操作

查看更多 →

查看您需要的节点规格是否支持。 容器底层文件存储系统说明 Docker 1.15.6及之前集群版本Docker底层文件存储系统采用xfs格式。 1.15.11及之后版本集群新建节点或重置后Docker底层文件存储系统全部采用ext4格式。 对于之前使用xfs格式容器应用，需要注意

查看更多 →

写ES报timeout waiting for connection from pool错误怎么解决？ 问题描述 写ES报timeout waiting for connection from pool，且日志中输出多个es_rejected_execution_exception。

查看更多 →

性能，高可靠的分布式存储系统。存储集群采取池化部署，可以有效提升存储使用效率。 强大的数据快照处理能力，数据按多时间点多副本Append Only存储，快照秒级生成，支持海量快照。 并行高速备份、恢复备份及恢复逻辑下沉到各存储节点，本地访问数据并直接与存储系统交互，提高性能并发。

查看更多 →

作业执行卡Running，读取行数写入行数相等且不再增加怎么解决？ 原因分析 CDM 写Hudi为两段式，先写到hive临时表，然后再执行spark sql写到Hudi，写入行数统计的是写hive临时表的行数，当行数不再增长时，说明源端数据已经读完写到Hive表中，此时作业正在执行Spark

查看更多 →

什么是三副本技术？ 云硬盘的存储系统采用三副本机制来保证数据的可靠性，即针对某份数据，默认将数据分为1 MiB大小的数据块，每一个数据块被复制为3个副本，然后按照一定的分布式存储算法将这些副本保存在集群中的不同节点上。 云硬盘三副本技术的主要特点如下： 存储系统自动确保3个数据副本分布

查看更多 →

DDL等，提升用户体验。 弹性扩展 横向扩展：1写15只读节点，快速添加只读节点，满足高并发场景性能需求。 纵向扩展：分钟级规格升降级，轻松应对业务高峰。 高可靠性 支持跨可用区部署，跨区域备份，提升实例容灾能力。 存储三副本，数据更安全。 共享分布式存储，主节点故障时，只读节点自动升级成主节点，RPO为0。

查看更多 →

HBase集群管理 HBase产品简介 HBase是一个稳定可靠，性能卓越、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松进行过滤分析，毫秒级得到响应，快速发现数据价值。 HBase适用场景有：

查看更多 →

Server的Yarn任务，找到自己队列下Running Container大于1的任务，查看ApplicationMaster，单击SQL页签，可以看到正在执行的SQL，单击Stages页签，可以看到每条SQL的执行进度。 CDM在作业BOOTING阶段无法查看日志，如果找不到Yarn任务，请联系CDM

查看更多 →

快速购买HBase查询集群 本章节为您介绍如何快速购买一个HBase查询集群，HBase集群使用Hadoop和HBase组件提供一个稳定可靠，性能优异、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松进行过滤

查看更多 →

Spark是基于内存的分布式计算框架。在迭代计算的场景下，数据处理过程中的数据可以存储在内存中，提供了比MapReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储，使用户能够快速地从MapReduce切换到Spark计算平台上去。Spark提供一站式数据分析能力，包

查看更多 →

对同一个数据集进行计算时的IO瓶颈。Spark利用Scala语言实现，Scala能够使得处理分布式数据集时，能够像处理本地化数据一样。除了交互式的数据分析，Spark还能够支持交互式的数据挖掘，由于Spark是基于内存的计算，很方便处理迭代计算，而数据挖掘的问题通常都是对同一份数

查看更多 →

提供分布式、高可用性的协调服务能力。帮助系统避免单点故障，从而建立可靠的应用程序。 KrbServer 密钥的管理中心，负责票据的分发。 Yarn 资源管理系统，它是一个通用的资源模块，可以为各类应用程序进行资源管理和调度。 DBService 高可用性的关系型数据库存储系统，提供元数据的备份与恢复功能。

查看更多 →

HDFS基本原理 HDFS是Hadoop的分布式文件系统（Hadoop Distributed File System），实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写，多次读”的特征，而数据“写”操作是顺序写，也就是在文件创建时的写入或者在现有文件之后

查看更多 →

自定义python包中如果引用model目录下的文件，文件路径怎么写 如果容器中的文件实际路径不清楚，可以使用Python获取当前文件路径的方法获取。 os.getcwd() #获取文件当前工作目录路径（绝对路径） os.path.realpath(__ file __) #获得文件所在的路径（绝对路径）

查看更多 →

DLI 将作业的输出数据输出到HBase中。HBase是一个稳定可靠，性能卓越、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松进行过滤分析，毫秒级得到响应，快速发现数据价值。HBase支持消息数据、

查看更多 →

等。适用于供单实例部署的无状态负载（Deployment）和普通任务（Job），以及有状态工作负载（StatefulSet）的每个实例独占式使用。因为云硬盘属于非共享存储，不能同时被多个节点挂载，若两个Pod配置了使用同一个云硬盘，当这两个Pod被调度到不同的节点时，必然有一个P

查看更多 →

HBase集群管理简介 CloudTable集群模式提供了基于Apache HBase的分布式、可伸缩、全托管的NoSQL数据存储系统，它提供了毫秒级的随机读写能力，适用于海量结构化数据、半结构化数据存储和查询应用。 HBase集群管理下，用户申请专属集群，按需使用，专属集群是完

查看更多 →