中软国际数据治理专业服务解决方案实践

DES如何保证数据不会被盗用？ Teleport防尘防水、抗震抗压、安全锁功能确保数据在寄送途中的万无一失。 数据上传需要由您手工输入访问密钥（AK/SK）自动触发，全程无人接触密钥和数据。 通过DES传输的数据最终保存在 对象存储服务 OBS中，OBS服务将数据分片随机存储在不同硬

查看更多 →

ster才是通常理解的“集群”概念。 图1 ClickHouse集群 常见的数据库系统，隐藏了表级以下的数据分区、副本存储等细节，用户是无感知的，而ClickHouse则要求用户主动来规划和定义数据分片（shard）、分区（partition）、副本（replica）位置等详细配

查看更多 →

tition个数。 任务容易出现内存溢出：部分数据分片较大，单个task处理数据过大，或者executor中并行度不足，单个task内存不足导致。此时应减少executor数量，增大数据分片。 数据量少，但小文件数量多：减少数据分片，在reduce算子后执行coalesce算子，以减少task数量，减少cpu负载。

查看更多 →

业务情况：目前业务规模以及对日后增长趋势的预估。分片变更是重要的数据变更动作，如果DN节点的存储空间足够，建议您推迟执行分片变更操作。 是否增加分片：增加分片意味着拆分规则发生变化，当前逻辑库中所有的数据都需要按照新拆分规则重新计算并移动位置，相比不增加分片的变更需要更大的资源占用，速度也相对较慢。 分片变更过程中是

查看更多 →

其他云MongoDB迁移到DDS 介绍DDS数据迁移的操作。 本地MongoDB迁移到DDS E CS 自建MongoDB迁移DDS 如何实现副本集高可用和读写分离 介绍如何连接副本集实例以实现高可用性能。 通过设置数据分片提升性能 介绍如何设置集群分片来提高数据库性能。 如何通过SQL优化来提升DDS性能

查看更多 →

查看磁盘使用情况 解决方案 对于集群实例，可能是因为选择和设置的分片不合理导致数据分布不均衡，从而引起磁盘空间使用率高的情况。 此时，可以对数据库集合进行合适的分片，具体操作请参见设置数据分片以充分利用分片性能。 随着业务数据的增加，原来申请的数据库磁盘容量不足。此时建议扩容磁盘空间，确保磁盘空间足够。

查看更多 →

DDM支持以下三种不同的分片变更方式，以满足不同的应用场景。 方式一：分片数不变，增加数据节点数量 该变更方式不改变当前分片数，只增加数据节点数量。将原数据节点的部分分片平移到新增数据节点上，分片数据进行平移，数据相对位置不需要重新分布，所以变更速度最快，推荐您优先使用此方式进行分片变更。 该

查看更多 →

事务只涉及一个数据分片，那么DDM还可以自动将事务降级为一阶段提交的本地事务。一阶段提交的细节本文不详细展开。 图1 分布式事务执行流程 其中XID由节点内事务序号、节点ID和时间戳组成，代表了一个全局维度的分布式事务唯一编号，该编号再加上对应分库名构成实际在物理库上开启分布式事务分支的XA_ID

查看更多 →

5000 } ) 创建分片集合 在DDS集群架构中，可以创建分片来充分利用数据库性能。创建分片的规范及建议请参见分片设计规范。 使数据库可分片。 sh.enableSharding("info") 创建分片表，并指定分片键。如下为info数据库的fruit集合分片，且分片键是"id"。 sh

查看更多 →

。 通过DES传输的数据最终存放在对象存储服务OBS中，OBS服务支持SSL加密、ACL权限控制、桶策略等安全保障机制，且数据分片随机存储在不同硬盘上，保障数据的存储、访问安全。 父主题： 服务安全类

查看更多 →

ClickHouse写入分布式表时发送数据文件到远端分片失败 本章节仅适用于 MRS 3.3.1及之后版本。 告警解释 ClickHouse实例分布式表检查模块300秒检查一次，如果连续失败的次数超过配置的阈值，则触发上报告警，此时ClickHouse写入分布式表的节点无法正常发送数据文件到远端分片节点。 当

查看更多 →

需要关联的DDM账号。 选择数据节点 仅支持和当前DDM实例处于相同VPC、且未被其他DDM实例使用的数据节点。DDM将在选择的数据节点上新建数据库，不会影响数据节点上已有的库表。 逻辑库总分片数 逻辑库总分片数是所选数据节点分片数的总和，为了确保每个数据节点上都能均匀分配到分片，逻辑库总分片数不能小

查看更多 →

Cluster预分片示意图 Redis Cluster集群的每个分片也是一个Redis主备实例。当分片上的主节点故障时，该分片上的连接会有秒级中断、不可用，备节点在15秒到30秒内自动完成主备切换，单分片故障仅影响该分片上的数据访问，不影响其他分片上的数据访问。 Redis集群单分片主节点

查看更多 →

CSS 服务中Elasticsearch集群分片过多会有哪些影响？ 集群创建分片的速度随着集群分片数量增多而逐渐减低。 触发Elasticsearch自动创建index时，创建速度变慢会导致大量写入请求堆积在内存中，严重时可导致集群崩溃。 分片过多时，如果不能及时掌控业务的变化，可能经常遇到单分片记录超限、写入拒绝等问题。

查看更多 →

查看磁盘使用情况 解决方案 对于集群实例，可能是因为选择和设置的分片不合理导致数据分布不均衡，从而引起磁盘空间使用率高的情况。 此时，可以对数据库集合进行合适的分片，具体操作请参见设置数据分片以充分利用分片性能。 随着业务数据的增加，原来申请的数据库磁盘容量不足。此时建议扩容磁盘空间，确保磁盘空间足够。

查看更多 →

员全程不接触密钥和用户数据，确保数据的安全。 通过DES传输的数据最终存放在对象存储服务OBS中，OBS服务支持SSL加密、ACL权限控制、桶策略等安全保障机制，且数据分片随机存储在不同硬盘上，保障数据的存储、访问安全。 父主题： 服务安全类

查看更多 →

为上一个数据块SHA256的第1-8个32位变量。 注：分片并行上传时除第一个分片外其他分片必填。 uploadUrl String 文件上传的URL，返回参数 partId String 分片对象ID 请求示例 通过“分片上传”方式创建文件元数据，该示例指定了一个分片，后续响应

查看更多 →

单节点实例连接方式介绍 通过内网连接单节点实例 通过公网连接单节点实例 数据库管理 通过命令创建数据库帐户 通过命令创建数据库 05 实践 您可以使用推荐方式连接副本集实例，合理设置数据分片以充分利用分片性能，通过多种途径提升DDS使用性能。 提升DDS使用性能 如何连接副本集实例以实现读写分离和高可用

查看更多 →

failed, cause by: shard table=`%s`.`%s` failed 可能原因 源库性能不足或网络不稳定导致源库数据分片超时。 解决方案 查看任务状态是否正常。 任务状态正常，该报错为日志中显示，无需处理。 任务状态异常，执行2。 在管理控制台右上角，选择“工单

查看更多 →

续Key的数据会放到迁移机的内存Buffer中，如果阻塞时间太久，则会导致迁移失败。 容易造成集群分片不均的情况。 各分片内存使用不均。例如某个分片占用内存较高甚至首先使用满，导致该分片Key被逐出，同时也会造成其他分片的资源浪费。 各分片的带宽使用不均。例如某个分片被频繁流控，其他分片则没有这种情况。

查看更多 →

如果您的DN节点是RDS实例，无需解决。 广播表数据一致性检查 保证广播表数据一致后再执行分片变更。 请联系DDM运维人员。 源物理分片的字符集和排序规则检查 保证分片变更后字符的展示和排序一致。 请联系DDM运维人员。 物理表建表语句检查 保证各物理分片上的表结构保持一致。 请先使用check

查看更多 →