DDM如何进行分片 在 分布式数据库 中，可以通过分片存储方式，轻松解决大数据量单表容量达到单机数据库存储上限的瓶颈，因此创建逻辑库和逻辑表时，需要根据实际情况确定逻辑表是否进行分片以及逻辑表的分片规则。 分片存储后，需要尽量避免跨库JOIN操作带来的性能与资源消耗问题。 逻辑表是否分片

查看更多 →

在“实例管理”页面，选择指定的实例，单击实例的名称。 在“基本信息”页面“分片数量”处，单击“添加”。 图1 分片扩容 选择新增的分片数量。单击“下一步”。 图2 分片扩容 确认无误后，单击“提交”进行分片数量扩容。 一个分片中默认包含三个DN副本，因此每增加一个分片会新增三个DN副本。 父主题： 扩容和缩容实例

查看更多 →

到所有分片中。为了按照片键划分数据块，MongoDB数据库使用基于范围的分片方式或者基于哈希的分片方式。 表1 分片键分类 分片键类型 描述 使用场景 基于范围的分片键 基于范围的分片键是根据分片键值把数据分成一个个邻接的范围，如果没有指定特定的分片类型，则基于范围的分片键是默认的分片类型。

查看更多 →

分片平移到新实例：将逻辑库部分分片（分库）平移到新增的实例上，数据不会进行重分布。 图1 分片平移示意图 分片个数变更：逻辑库对应的物理库分片可以根据用户需要自定义添加，单数据节点上的物理分片数不超过64个。如果因业务需要分片数超过64，请联系DDM技术人员。DDM会尽量将分片均匀分配到数据节点

查看更多 →

分片节点主备切换 功能介绍 支持用户对单个或多个DN分片做主备切换，同一分组内只能指定一个新的备节点进行升主操作。 调用接口前，您需要了解API 认证鉴权。 调用接口前，您需要提前获取到地区和终端节点，即下文中的Endpoint值。 调试 您可以在 API Explorer 中调试该接口。

查看更多 →

一个分片磁盘容量最高24TB，每增加一个分片可以多增加24TB总容量。 因磁盘空间占满而导致实例异常，支持磁盘扩容。 分片扩容需保持所有分片磁盘大小一致。 备份恢复到新实例操作，新实例的磁盘数量会采用当前实例最大分片的磁盘数量*分片数量。 约束限制 账户余额大于等于0元，才可进行扩容。 最大可扩容至24T，扩容次数没有限制。

查看更多 →

使用Mapreduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →

背景 分片集群中数据的分片以集合为基础单位，集合中的数据通过分片键被分成多个部分。分片键是在集合中选择的一个合适的字段，数据拆分时以该分片键的值为依据均衡地分布到所有分片中。如果您没有选择到合适的的分片键，可能会降低集群的使用性能，出现执行分片语句时执行过程卡住的问题。 分片键一旦设

查看更多 →

在“实例管理”页面，选择指定的实例，单击实例的名称。 在“基本信息”页面，，单击“分片数量”后的“删除”。 图1 分片缩容 选择删除分片数量。单击“下一步”。 图2 分片缩容 确认无误后，单击“提交”进行分片数量缩容。 一个分片中默认包含三个DN副本，因此每删除一个分片会缩减三个DN副本。 父主题： 扩容和缩容实例

查看更多 →

ition个数。 任务容易出现内存溢出：部分数据分片较大，单个task处理数据过大，或者executor中并行度不足，单个task内存不足导致。此时应减少executor数量，增大数据分片。 数据量少，但小文件数量多：减少数据分片，在reduce算子后执行coalesce算子，以减少task数量，减少cpu负载。

查看更多 →

上传采集机采集数据分片 功能介绍 将采集到的数据分片上报到server端。 URI URI格式 POST /softcomai/datalake/collection/v1.0/sliceUploading 参数说明 无。 请求 请求样例 POST https://ip:port

查看更多 →

获取本地上传分片上传URL 功能介绍 获取本地上传分片上传URL。 URI URI格式 POST /softcomai/datalake/collection/v1.0/upload/part 参数说明 无 请求 请求样例 { "append": false, "dataPath":

查看更多 →

单击缓存实例名称，进入该实例的基本信息页面。 单击“节点管理”或“分片与副本”，进入实例的节点管理页面。 界面显示该实例的所有分片列表，包含“分片名称”、“分片ID”和该分片下的“副本数”。 单击分片名称前面的图标，展开当前分片下的所有副本。包含“副本IP”、“节点ID”、“副本ID”、

查看更多 →

源库集合复合哈希分片键检查 MongoDB->DDS迁移、同步场景 表1 源库集合复合哈希分片键检查 预检查项 源库集合复合哈希分片键检查。 描述 源库存在复合哈希分片键的集合。 不通过提示及处理建议 不通过原因：已选集合存在复合哈希分片键. 处理建议：请取消选择上述不支持的集合。

查看更多 →

处理建议：如果无法获取源数据库的分片键信息在目标库进行配置，源数据库的数据都会迁移到目标库分片集群的主shard节点，无法充分发挥集群的读写性能，存储能力和高可用特性，建议先在目标库对要迁移的集合进行分片配置，如何设置分片键请参考常见问题。 待确认原因：源数据库实例类型未知，没有分片键配置。 处理

查看更多 →

开发MapReduce应用 MapReduce统计样例程序 MapReduce访问多组件样例程序 父主题： MapReduce开发指南（普通模式）

查看更多 →

MapReduce接口介绍 MapReduce Java API接口介绍 MapReduce REST API接口介绍 父主题： MapReduce应用开发常见问题

查看更多 →

集群实例：集群实例由多个分片组成，每个分片默认是一个双副本的主备实例。例如一个3分片，2副本的集群实例，则每个分片都有2个节点（1个主节点，1个备节点）。 实例类型 分片数 副本数 负载均衡 占用IP数 单机 单分片 单副本，不支持多副本 - 1个 主备 单分片 默认双副本，支持配置为2-10副本

查看更多 →

使用MapReduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →