中软国际数据治理专业服务解决方案实践

分片文件上传（API名称：file/uploadBigFile） 功能介绍 该接口用于大文件的分片文件上传。 相关接口 接口名称 调用说明 获取Token 调用该接口获取到Token，再调用其他接口时，需要在请求消息头中添加“Authorization”，其值即为Token。 URL

查看更多 →

count 是 Integer 新增DN分片的数量。 表6 enlarge_volume字段数据结构说明 名称 是否必选 参数类型 说明 size 是 Integer GaussDB 磁盘大小要求（分片数*4GB）的倍数；取值范围：（分片数*40GB）~（分片数*24TB）。 响应参数 表7

查看更多 →

从纵向来看，每个shard内部有多个副本组成，保证分片数据的高可靠性，以及计算的高可靠性。 数据分布设计 Shard数据分片均匀分布 建议用户的数据均匀分布到集群中的多个shard分片，如图1所示有3个分片。 假如有30 GB数据需要写入到集群中，需要将30 GB数据均匀切分后分别放到shard-1、s

查看更多 →

ock就是一个分片，否则就会将一个block文件分隔为多个分片，如果block中剩下的一小段数据量小于splitSize，还是认为它是独立的分片。 - mapreduce.input.fileinputformat.split.minsize 可以设置数据分片的数据最小值。 0

查看更多 →

数据分布 数据分片 Doris表按两层结构进行数据划分，分别是分区和分桶。 每个分桶文件就是一个数据分片（Tablet），Tablet是数据划分的最小逻辑单元。每个Tablet包含若干数据行。各个Tablet之间的数据没有交集，并且在物理上是独立存储的。 一个Tablet只属于一

查看更多 →

减少性能损耗。 分片设计规范 对于使用DDS分片集群，建议尽可能的使用分片集合以充分利用性能，详情请参见设置数据分片以充分利用分片性能。 分片集合使用上建议如下： 对于大数据量（数据量过百万），并有较高读写请求的业务场景，数据量随着业务量增大而增大的，建议采用分片。 对于采用ha

查看更多 →

改。所在集合在设计阶段需要充分考虑分片方式。 更多关于设置数据分片的内容请参见设置数据分片以充分利用分片性能。 如果存在集中大批量的插入数据的场景，数据量超过单shard承载能力的话，可能会出现Balance速度赶不上插入速度，导致主shard存储空间占用率过高。 此场景可以使用

查看更多 →

直播录制支持的ts分片大小是多少？ 直播录制支持的ts分片大小为30秒。 父主题： 直播录制

查看更多 →

负载均匀，数据分片的个数和范围与源表的数据无关，而是由源表的存储结构（数据块）确定，颗粒度可以达到“每个数据块一个分区”。 性能稳定，完全消除“数据偏斜”和“绑定变量窥探”导致的“索引失效”。 查询速度快，数据分片的查询速度比用索引快。 水平扩展性好，如果数据量越大，产生的分片就越多

查看更多 →

有查询条件，也必须创建对应的索引。 对于DDS集群实例，如果某个集合的存储量很高，需要对该集合设置合理的数据分片，详情请参考通过设置数据分片提升性能。 对于数据库和集合的元数据信息（如文档数量、存储大小等），可以使用db.stats()和db.<collection_name>.

查看更多 →

num*replication num）秒。如果创建较多的数据分片，并且其中有分片创建失败，则可能导致等待较长超时后，才会返回错误。 正常情况下，建表语句会在几秒或十几秒内返回。如果超过一分钟，建议直接取消掉这个操作，前往FE或BE的日志查看相关错误。 父主题： 数据分区和分桶

查看更多 →

同时ClickHouse使用了关系模型，所以将构建在传统关系型数据库或数据仓库之上的系统迁移到ClickHouse的成本会变得更低。 数据分片与分布式查询 ClickHouse集群由1到多个分片组成，而每个分片则对应了ClickHouse的1个服务节点。分片的数量上限取决于节点数量（1个分片只能对应1个服务节点）。 ClickHouse提供了本地表

查看更多 →

减少性能损耗。 分片设计规范 对于使用DDS分片集群，建议尽可能的使用分片集合以充分利用性能，详情请参见设置数据分片以充分利用分片性能。 分片集合使用上建议如下： 对于大数据量（数据量过百万），并有较高读写请求的业务场景，数据量随着业务量增大而增大的，建议采用分片。 对于采用ha

查看更多 →

以下对架构类型和适用场景做出介绍： 架构类型 架构说明 架构图 适用场景 Proxy集群版 采用分片集群架构，提供Proxy代理（访问），同时兼容单机、哨兵、Cluster接入方式。 参见图1。 架构优势：简单易用，用户无需关注数据分片，可以像使用单机使用集群。Proxy可以将用户请求分发到对应的Redis节点进行处理。

查看更多 →

DDS在分片节点扩容期间服务是否可用 可用，文档数据库服务的扩容操作是在实例中增加新的分片，原实例中的分片不变，不影响服务的可用性。 父主题： 扩容及规格变更

查看更多 →

在需要规格变更的实例右侧，单击“操作”栏下的“更多 > 变更规格”，进入到变更实例规格页面。 选择“规格选择模式”为“自定义分片”，并选择需要的“单分片容量”。 如果未开启该特性的白名单，默认仅支持选择不大于当前单分片容量的数值。 父主题： 扩容缩容与实例升级

查看更多 →

imary节点的服务端口。 database：鉴权数据库名，即数据库账号所属的数据库。 username：登录数据库的账号。 password：登录数据库的密码。 如果您有多个数据库，您需要重复执行步骤2和步骤3，分别为每个数据库的每个Shard节点清理孤立文档。 父主题： 实时迁移

查看更多 →

如何查看 CSS 集群的分片数以及副本数？ 登录 云搜索 控制台。 在集群管理页面，选择需要查看的集群操作列的Kibana。 登录Kibana界面，选择Dev Tools。 在Dev Tools的Console界面中执行GET _cat/indices?v命令，查询集群分片数和副本数。如图，

查看更多 →

大文件分片上传初始化（API名称：file/initBigFile） 功能介绍 大文件分片上传初始化 相关接口 接口名称 调用说明 获取Token 调用该接口获取到Token，再调用其他接口时，需要在请求消息头中添加“Authorization”，其值即为Token。 URL 请求方式

查看更多 →

采集机相关接口（机机接口） 注册采集机 更新采集机状态 上报采集机采集数据 上传采集机采集数据分片 下载探针包到采集机 上报采集状态 上报采集机升级状态 下载kafka证书到采集机 采集机注册时上传csv文件 上报采集过程 父主题： 数据接入

查看更多 →

性能调优 参数调优 数据库读写性能提升 实例CPU使用率高问题排查 磁盘使用率高问题排查 内存使用率高问题排查 集群实例负载不均衡问题排查 慢请求定位方法 优化数据库语句方法 通过设置数据分片提升性能

查看更多 →