中软国际数据治理专业服务解决方案实践

业务侧原本做了数据分片，切换到GeminiDB Redis后如何处理这部分逻辑 充分考虑到业务后期的规模扩张，GeminiDB Redis采用存算分离架构，在计算层实现了动态数据分片管理，提供强劲的平滑扩缩容能力。因此，接入GeminiDB Redis实例后，业务侧无需再做数据分片。 父主题：

查看更多 →

创建上传分片文件任务 功能介绍 创建上传分片文件任务 URI POST /v1/{project_id}/sbc/task/multipart/create 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户project_id 最小长度：32

查看更多 →

结束上传分片文件任务 功能介绍 结束上传分片文件任务 URI POST /v1/{project_id}/sbc/task/multipart/notify 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户project_id 最小长度：32

查看更多 →

GaussDB ”，进入云数据库 GaussDB信息页面。 在“实例管理”页面，选择指定的实例，单击实例的名称。 在“基本信息”页面“分片数量”处，单击“添加”。 图1 分片扩容 选择新增的分片数量。单击“下一步”。 图2 分片扩容 确认无误后，单击“提交”进行分片数量扩容。 一个分片中默认包含

查看更多 →

分片平移到新实例：将逻辑库部分分片（分库）平移到新增的实例上，数据不会进行重分布。 图1 分片平移示意图 分片个数变更：逻辑库对应的物理库分片可以根据用户需要自定义添加，单数据节点上的物理分片数不超过64个。如果因业务需要分片数超过64，请联系DDM技术人员。DDM会尽量将分片均匀分配到数据节点上，只要总分片数有变化，数据都会进行重分布。

查看更多 →

分片节点主备切换 功能介绍 支持用户对单个或多个DN分片做主备切换，同一分组内只能指定一个新的备节点进行升主操作。 调用接口前，您需要了解API 认证鉴权。 调用接口前，您需要提前获取到地区和终端节点，即下文中的Endpoint值。 调试 您可以在 API Explorer 中调试该接口。

查看更多 →

GaussDB”，进入云数据库 GaussDB信息页面。 在“实例管理”页面，选择指定的实例，单击实例的名称。 在“基本信息”页面，，单击“分片数量”后的“删除”。 图1 分片缩容 选择删除分片数量。单击“下一步”。 图2 分片缩容 确认无误后，单击“提交”进行分片数量缩容。 一个分片中默认包含

查看更多 →

获取本地上传分片上传URL 功能介绍 获取本地上传分片上传URL。 URI URI格式 POST /softcomai/datalake/collection/v1.0/upload/part 参数说明 无 请求 请求样例 { "append": false, "dataPath":

查看更多 →

单击缓存实例名称，进入该实例的基本信息页面。 单击“节点管理”或“分片与副本”，进入实例的节点管理页面。 界面显示该实例的所有分片列表，包含“分片名称”、“分片ID”和该分片下的“副本数”。 单击分片名称前面的图标，展开当前分片下的所有副本。包含“副本IP”、“节点ID”、“副本ID”、

查看更多 →

源库集合复合哈希分片键检查 MongoDB->DDS迁移、同步场景 表1 源库集合复合哈希分片键检查 预检查项 源库集合复合哈希分片键检查。 描述 源库存在复合哈希分片键的集合。 不通过提示及处理建议 不通过原因：已选集合存在复合哈希分片键. 处理建议：请取消选择上述不支持的集合。

查看更多 →

集群实例：集群实例由多个分片组成，每个分片默认是一个双副本的主备实例。例如一个3分片，2副本的集群实例，则每个分片都有2个节点（1个主节点，1个备节点）。 实例类型 分片数 副本数 负载均衡 占用IP数 单机 单分片 单副本，不支持多副本 - 1个 主备 单分片 默认双副本，支持配置为2-10副本

查看更多 →

通过HINT指定分片直接执行SQL DDM提供HINT在一个或多个分片上执行SQL语句。 HINT支持以下两种格式： 一个分片上执行SQL：/*+db=<physical_db_name>*/ <your query>; 多个分片上执行SQL：/*+db={<physical_db_name1>

查看更多 →

分片内存超过90%产生告警，如何消减 建议将enableMajorityReadConcern参数的值修改为false，为了不影响业务，重启该节点。 父主题： 数据库性能

查看更多 →

ock就是一个分片，否则就会将一个block文件分隔为多个分片，如果block中剩下的一小段数据量小于splitSize，还是认为它是独立的分片。 - mapreduce.input.fileinputformat.split.minsize 可以设置数据分片的数据最小值。 0

查看更多 →

ock就是一个分片，否则就会将一个block文件分隔为多个分片，如果block中剩下的一小段数据量小于splitSize，还是认为它是独立的分片。 - mapreduce.input.fileinputformat.split.minsize 可以设置数据分片的数据最小值。 0

查看更多 →

数据分布 数据分片 Doris表按两层结构进行数据划分，分别是分区和分桶。 每个分桶文件就是一个数据分片（Tablet），Tablet是数据划分的最小逻辑单元。每个Tablet包含若干数据行。各个Tablet之间的数据没有交集，并且在物理上是独立存储的。 一个Tablet只属于一

查看更多 →

改。所在集合在设计阶段需要充分考虑分片方式。 更多关于设置数据分片的内容请参见设置数据分片以充分利用分片性能。 如果存在集中大批量的插入数据的场景，数据量超过单shard承载能力的话，可能会出现Balance速度赶不上插入速度，导致主shard存储空间占用率过高。 此场景可以使用

查看更多 →

设置分片策略，目前策略仅有“固定数量”一种。 分片数量 是 获得数组数量的期望值。 输出参数 用户可以在之后的执行动作中调用该输出参数，输出参数说明请参考表6。 表6 数据分片输出参数说明 参数 说明 执行结果 数据分片是否运行成功。 true：表示成功。 false：表示失败。 数据分片结果 数据分片后的结果，返回值为二维数组。

查看更多 →

=20，分片无法完全分配。5个数据节点，需要分配30个分片，每个节点应最少分配6个分片，防止某数据节点故障脱离，那最少应设置每个节点允许分配8个分片。 再执行命令POST _cluster/reroute?retry_failed=true手动进行分片分配，等待索引分片分配完成，集群状态变为可用。

查看更多 →

设置分片策略，目前策略仅有“固定数量”一种。 分片数量 是 获得数组数量的期望值。 输出参数 用户可以在之后的执行动作中调用该输出参数，输出参数说明请参考表6。 表6 数据分片输出参数说明 参数 说明 执行结果 数据分片是否运行成功。 true：表示成功。 false：表示失败。 数据分片结果 数据分片后的结果，返回值为二维数组。

查看更多 →

从纵向来看，每个shard内部有多个副本组成，保证分片数据的高可靠性，以及计算的高可靠性。 数据分布设计 Shard数据分片均匀分布 建议用户的数据均匀分布到集群中的多个shard分片，如图1所示有3个分片。 假如有30 GB数据需要写入到集群中，需要将30 GB数据均匀切分后分别放到shard-1、s

查看更多 →