中软国际数据治理专业服务解决方案实践

创建上传分片文件任务 功能介绍 创建上传分片文件任务 URI POST /v1/{project_id}/sbc/task/multipart/create 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户project_id 最小长度：32

查看更多 →

结束上传分片文件任务 功能介绍 结束上传分片文件任务 URI POST /v1/{project_id}/sbc/task/multipart/notify 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户project_id 最小长度：32

查看更多 →

分片平移到新实例：将逻辑库部分分片（分库）平移到新增的实例上，数据不会进行重分布。 图1 分片平移示意图 分片个数变更：逻辑库对应的物理库分片可以根据用户需要自定义添加，单数据节点上的物理分片数不超过64个。如果因业务需要分片数超过64，请联系DDM技术人员。DDM会尽量将分片均匀分配到数据节点上，只要总分片数有变化，数据都会进行重分布。

查看更多 →

分片节点主备切换 功能介绍 支持用户对单个或多个DN分片做主备切换，同一分组内只能指定一个新的备节点进行升主操作。 调用接口前，您需要了解API 认证鉴权。 调用接口前，您需要提前获取到地区和终端节点，即下文中的Endpoint值。 调试 您可以在 API Explorer 中调试该接口。

查看更多 →

获取本地上传分片上传URL 功能介绍 获取本地上传分片上传URL。 URI URI格式 POST /softcomai/datalake/collection/v1.0/upload/part 参数说明 无 请求 请求样例 { "append": false, "dataPath":

查看更多 →

Proxy集群、Cluster集群实例，每个集群是由多个分片组成，每个分片都是一个双副本架构，您可以通过“节点管理”查看分片信息，还可以根据业务需要，手动切换分片主从节点。 该特性目前在控制台上最新名称为“节点管理”，在部分区域为“分片与副本”，请以控制台实际显示为准。 仅Redis 4

查看更多 →

源库集合复合哈希分片键检查 MongoDB->DDS迁移、同步场景 表1 源库集合复合哈希分片键检查 预检查项 源库集合复合哈希分片键检查。 描述 源库存在复合哈希分片键的集合。 不通过提示及处理建议 不通过原因：已选集合存在复合哈希分片键. 处理建议：请取消选择上述不支持的集合。

查看更多 →

通过HINT指定分片直接执行SQL DDM提供HINT在一个或多个分片上执行SQL语句。 HINT支持以下两种格式： 一个分片上执行SQL：/*+db=<physical_db_name>*/ <your query>; 多个分片上执行SQL：/*+db={<physical_db_name1>

查看更多 →

分片内存超过90%产生告警，如何消减 建议将enableMajorityReadConcern参数的值修改为false，为了不影响业务，重启该节点。 父主题： 数据库性能

查看更多 →

集群实例：集群实例由多个分片组成，每个分片默认是一个双副本的主备实例。例如一个3分片，2副本的集群实例，则每个分片都有2个节点（1个主节点，1个备节点）。 实例类型 分片数 副本数 负载均衡 占用IP数 单机 单分片 单副本，不支持多副本 - 1个 主备 单分片 默认双副本 Redis

查看更多 →

ock就是一个分片，否则就会将一个block文件分隔为多个分片，如果block中剩下的一小段数据量小于splitSize，还是认为它是独立的分片。 - mapreduce.input.fileinputformat.split.minsize 可以设置数据分片的数据最小值。 0

查看更多 →

设置分片策略，目前策略仅有“固定数量”一种。 分片数量 是 获得数组数量的期望值。 输出参数 用户可以在之后的执行动作中调用该输出参数，输出参数说明请参考表6。 表6 数据分片输出参数说明 参数 说明 执行结果 数据分片是否运行成功。 true：表示成功。 false：表示失败。 数据分片结果 数据分片后的结果，返回值为二维数组。

查看更多 →

设置分片策略，目前策略仅有“固定数量”一种。 分片数量 是 获得数组数量的期望值。 输出参数 用户可以在之后的执行动作中调用该输出参数，输出参数说明请参考表6。 表6 数据分片输出参数说明 参数 说明 执行结果 数据分片是否运行成功。 true：表示成功。 false：表示失败。 数据分片结果 数据分片后的结果，返回值为二维数组。

查看更多 →

从纵向来看，每个shard内部有多个副本组成，保证分片数据的高可靠性，以及计算的高可靠性。 数据分布设计 Shard数据分片均匀分布 建议用户的数据均匀分布到集群中的多个shard分片，如图1所示有3个分片。 假如有30 GB数据需要写入到集群中，需要将30 GB数据均匀切分后分别放到shard-1、s

查看更多 →

数据分布 数据分片 Doris表按两层结构进行数据划分，分别是分区和分桶。 每个分桶文件就是一个数据分片（Tablet），Tablet是数据划分的最小逻辑单元。每个Tablet包含若干数据行。各个Tablet之间的数据没有交集，并且在物理上是独立存储的。 一个Tablet只属于一

查看更多 →

ock就是一个分片，否则就会将一个block文件分隔为多个分片，如果block中剩下的一小段数据量小于splitSize，还是认为它是独立的分片。 - mapreduce.input.fileinputformat.split.minsize 可以设置数据分片的数据最小值。 0

查看更多 →

改。所在集合在设计阶段需要充分考虑分片方式。 更多关于设置数据分片的内容请参见设置数据分片以充分利用分片性能。 如果存在集中大批量的插入数据的场景，数据量超过单shard承载能力的话，可能会出现Balance速度赶不上插入速度，导致主shard存储空间占用率过高。 此场景可以使用

查看更多 →

负载均匀，数据分片的个数和范围与源表的数据无关，而是由源表的存储结构（数据块）确定，颗粒度可以达到“每个数据块一个分区”。 性能稳定，完全消除“数据偏斜”和“绑定变量窥探”导致的“索引失效”。 查询速度快，数据分片的查询速度比用索引快。 水平扩展性好，如果数据量越大，产生的分片就越多

查看更多 →

=20，分片无法完全分配。5个数据节点，需要分配30个分片，每个节点应最少分配6个分片，防止某数据节点故障脱离，那最少应设置每个节点允许分配8个分片。 再执行命令POST _cluster/reroute?retry_failed=true手动进行分片分配，等待索引分片分配完成，集群状态变为可用。

查看更多 →

直播录制支持的ts分片大小是多少？ 直播录制支持的ts分片大小为30秒。 父主题： 直播录制

查看更多 →

减少性能损耗。 分片设计规范 对于使用DDS分片集群，建议尽可能的使用分片集合以充分利用性能，详情请参见设置数据分片以充分利用分片性能。 分片集合使用上建议如下： 对于大数据量（数据量过百万），并有较高读写请求的业务场景，数据量随着业务量增大而增大的，建议采用分片。 对于采用ha

查看更多 →