配置底层存储系统 用户想要通过统一的客户端API和全局命名空间访问包括HDFS和OBS在内的持久化存储系统，从而实现了对计算和存储的分离时，可以在 MRS Manager页面中配置Alluxio的底层存储系统来实现。集群创建后，默认的底层存储地址是hdfs://hacluster/

查看更多 →

--delete-target-dir 若Hive中已存在目标文件，则先删除该文件再导入。 -append 将数据追加到hdfs中已经存在的dataset中。使用该参数，sqoop将把数据先导入到一个临时目录中，然后重新给文件命名到一个正式的目录中，以避免和该目录中已存在的文件重名。 -as-avrodatafile

查看更多 →

高性能，高可靠的分布式存储系统。存储集群采取池化部署，可以有效提升存储使用效率。 强大的数据快照处理能力，数据按多时间点多副本Append Only存储，快照秒级生成，支持海量快照。 并行高速备份、恢复备份及恢复逻辑下沉到各存储节点，本地访问数据并直接与存储系统交互，提高性能并发。

查看更多 →

专属分布式存储三副本技术 什么是三副本技术？ 专属分布式存储的存储系统采用三副本机制来保证数据的可靠性，即针对某份数据，默认将数据分为1 MB大小的数据块，每一个数据块被复制为3个副本，然后按照一定的分布式存储算法将这些副本保存在集群中的不同节点上。 专属分布式存储三副本技术的主要特点如下：

查看更多 →

HetuEngine安装依赖MRS集群，其中直接依赖的组件如表1所示。 表1 HetuEngine依赖的组件 名称 描述 HDFS Hadoop分布式文件系统（Hadoop Distributed File System），提供高吞吐量的数据访问，适合大规模数据集方面的应用。 Hive 建

查看更多 →

Engine，简称iDME）的应用部署依赖于运行节点，其中数据交互依赖的中间件包括：云数据库、MongoDB、Redis、 CSS 、Kafka以及文件存储系统。因此，在部署iDME应用前需要确保中间件服务已完成部署，并且部署iDME应用的节点能够正常访问中间件服务。本解决方案能帮助用户快速在

查看更多 →

动态资源是分布式资源管理服务Yarn动态调度给任务队列的计算资源。Mapreduce、Spark2x、Flink和Hive的任务队列由Yarn来动态调度资源。 大数据集群为Yarn分配的资源是静态服务资源，可以由Yarn动态分配给任务队列计算使用。 存储资源 存储资源是分布式文件存储

查看更多 →

分布式 开发规范 使用JDBC连接数据库 使用ODBC连接数据库 使用libpq连接数据库 使用Psycopg连接数据库 使用Hibernate连接数据库 使用MyBatis连接数据库 使用JayDebeApi连接数据库 父主题： 使用驱动连接实例

查看更多 →

Hive是Apache的Hadoop项目的子项目，Hive利用HDFS作为其文件存储系统。Hive通过解析和计算处理结构化的数据，Hadoop HDFS则为Hive提供了高可靠性的底层存储支持。Hive数据库中的所有数据文件都可以存储在Hadoop HDFS文件系统上，Hive所有的数据操作也都是通过Hadoop

查看更多 →

分布式 Oracle数据库兼容性概述 SQL的基本元素 伪列 操作符 表达式 条件 常见的SQL DDL子句 SQL查询和子查询 PL/SQL语言 系统函数 系统视图 高级包 父主题： 与Oracle兼容性说明

查看更多 →

分布式 MySQL数据库兼容MySQL模式 父主题： 与MySQL兼容性说明

查看更多 →

预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力，帮助用户快速创建和部署模型，管理全周期AI工作流。 对象存储系统 OBS：是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力。 弹性文件服务 SFS Turbo：是面

查看更多 →

分布式身份 注册个人分布式身份 注册企业分布式身份 更新企业DID服务 查询分布式身份文档 父主题： API

查看更多 →

图1 访问弹性文件服务 与传统的文件共享存储相比，弹性文件服务具有以下优势： 文件共享 同一区域跨多个可用区的 云服务器 可以访问同一文件系统，实现多台云 服务器 共同访问和分享文件。 弹性扩展 弹性文件服务可以根据您的使用需求，在不中断应用的情况下，增加或者缩减文件系统的容量。一键式操作，轻松完成您的容量定制。

查看更多 →

HBase集群管理 HBase产品简介 HBase是一个稳定可靠，性能卓越、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松进行过滤分析，毫秒级得到响应，快速发现数据价值。 HBase适用场景有：

查看更多 →

SFS Turbo提供文件共享功能，Global共享给所有SAP NetWeaver实例云服务器，Trans文件挂载给SAP Application Servers云服务器。 文件系统规划参考样例如表1所示。 表1 分布式部署文件系统规划样例 挂载点 文件系统类型 说明 /usr/sap

查看更多 →

什么是三副本技术？ 云硬盘的存储系统采用三副本机制来保证数据的可靠性，即针对某份数据，默认将数据分为1 MiB大小的数据块，每一个数据块被复制为3个副本，然后按照一定的分布式存储算法将这些副本保存在集群中的不同节点上。 云硬盘三副本技术的主要特点如下： 存储系统自动确保3个数据副本分布

查看更多 →

分布式训练 分布式训练功能介绍 单机多卡数据并行-DataParallel(DP) 多机多卡数据并行-DistributedDataParallel(DDP) 分布式调测适配及代码示例 分布式训练完整代码示例 基于训练作业启动PyTorch DDP训练示例 基于训练作业启动PyTorch

查看更多 →

或数据不一致的问题。 不同存储系统对路径和文件夹长度的限制参见下表： 存储系统 路径和文件夹长度限制 OBS 文件夹和路径的最大长度限制均为1023个字节。 NAS 文件夹的最大长度限制为255个字节。 路径的最大长度限制为4096个字节。 SMB 文件夹的最大长度限制为226个字节。

查看更多 →

API：您可以编写代码调用API使用 GaussDB ，请参考《云数据库GaussDB API参考》。 GaussDB分布式形态整体架构 GaussDB分布式形态整体架构如下： 图1 GaussDB分布式形态整体架构图 Coordinator Node：协调节点CN，负责接收来自应用的访问请求，并向客

查看更多 →

分布式事务 技术背景 在分布式share nothing架构下，表的数据分布在不同的节点上。客户端的一条或多条语句可能会同时修改多个节点上的数据，这种情况下，会产生分布式事务。分布式事务需要关注： 在各个节点上事务的原子性，分布式事务在所有节点上要么全部成功要么全部失败。 事务的

查看更多 →