可以通过建立Hive分区方法减少每一次扫描的总数据量，这种做法可以显著地改善性能。 Hive的分区使用HDFS的子目录功能实现，每一个子目录包含了分区对应的列名和每一列的值。当分区很多时，会有很多HDFS子目录，如果不依赖工具，将外部数据加载到Hive表各分区不是一件容易的事情。

查看更多 →

选择连接器类型 选择“云数据库 MySQL”后单击“下一步”，配置云数据库 MySQL连接的参数。 图4 创建MySQL连接 单击“显示高级属性”可查看更多可选参数，具体请参见配置云数据库MySQL/MySQL数据库连接。这里保持默认，必填参数如表1所示。 表1 MySQL连接参数 参数名 说明

查看更多 →

一个DataBase内，只允许有一个正在执行的备份作业。 Doris数据备份支持最小分区（Partition）级别的操作，当表的数据量很大时，建议按分区分别执行，以降低失败重试的代价。 因为备份恢复操作，操作的都是实际的数据文件。所以当一个表的分片过多，或者一个分片有过多的小版本时，可能即使总数据量很小，依然需要备份很长时间。

查看更多 →

、索引或者字段。 存储类型 物理实体的存储类型。 包含如下选项： 单表 分区数：只有HIVE数据源类型的物理实体支持分区。最多支持3个分区。请根据实际情况，设置逻辑实体每列所在的分区。 表名称 物理实体表名称。默认值为实体名称，支持修改。 描述 物理实体描述信息。 属性信息 属性信息

查看更多 →

分片上的表将被清理，广播表分片数量增加。 该方式适用于单个物理表数据量过大，查询性能受到限制，但是整体RDS for MySQL实例可用空间充足的场景。 图2 增加分片数，不增加RDS for MySQL实例数 方式三：增加分片数，也增加数据节点数量 该变更方式既增加分片数，也增

查看更多 →

一个DataBase内，只允许有一个正在执行的恢复作业。 Doris数据恢复支持最小分区（Partition）级别的操作，当表的数据量很大时，建议按分区分别执行，以降低失败重试的代价。 因为备份恢复操作，操作的都是实际的数据文件。所以当一个表的分片过多，或者一个分片有过多的小版本时，可能即使总数据量很小，依然需要恢复很长时间。

查看更多 →

DDM如何进行分片 在 分布式数据库 中，可以通过分片存储方式，轻松解决大数据量单表容量达到单机数据库存储上限的瓶颈，因此创建逻辑库和逻辑表时，需要根据实际情况确定逻辑表是否进行分片以及逻辑表的分片规则。 分片存储后，需要尽量避免跨库JOIN操作带来的性能与资源消耗问题。 逻辑表是否分片

查看更多 →

跨分片复杂SQL调优 本章节主要针对跨分片复杂SQL时的调优操作。 Group by和Order by SQL调优建议 当group by 字段不是表中现有的数据列时，可以使用generated column机制（MySQL5.7版本以上支持，5.6及之前版本可新建普通字段和添加

查看更多 →

分片平移到新实例：将逻辑库部分分片（分库）平移到新增的实例上，数据不会进行重分布。 图1 分片平移示意图 分片个数变更：逻辑库对应的物理库分片可以根据用户需要自定义添加，单数据节点上的物理分片数不超过64个。如果因业务需要分片数超过64，请联系DDM技术人员。DDM会尽量将分片均匀分配到数据节点

查看更多 →

DM实例使用的数据节点（RDS for MySQL实例）。DDM将在选择的数据节点上新建数据库，不会影响数据节点上已有的库表。 逻辑库总分片数 逻辑库总分片数是所选数据节点分片数的总和，为了确保每个数据节点上都能均匀分配到分片，逻辑库总分片数不能小于选择的数据节点数。考虑到业务会

查看更多 →

分区（Partition） 分区用于将数据划分成不同区间，逻辑上可以理解为将原始表划分成了多个子表。可以方便的按分区对数据进行管理。 Partition列可以指定一列或多列，分区列必须为KEY列。多列分区的使用方式在后面多列分区小结介绍。 不论分区列是什么类型，在写分区值时，都需要加双引号。

查看更多 →

创建上传分片文件任务 功能介绍 创建上传分片文件任务 URI POST /v1/{project_id}/sbc/task/multipart/create 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户project_id 最小长度：32

查看更多 →

结束上传分片文件任务 功能介绍 结束上传分片文件任务 URI POST /v1/{project_id}/sbc/task/multipart/notify 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户project_id 最小长度：32

查看更多 →

背景 分片集群中数据的分片以集合为基础单位，集合中的数据通过分片键被分成多个部分。分片键是在集合中选择的一个合适的字段，数据拆分时以该分片键的值为依据均衡地分布到所有分片中。如果您没有选择到合适的的分片键，可能会降低集群的使用性能，出现执行分片语句时执行过程卡住的问题。 分片键一旦设

查看更多 →

一个分片磁盘容量最高24TB，每增加一个分片可以多增加24TB总容量。 因磁盘空间占满而导致实例异常，支持磁盘扩容。 分片扩容需保持所有分片磁盘大小一致。 备份恢复到新实例操作，新实例的磁盘数量会采用当前实例最大分片的磁盘数量*分片数量。 约束限制 账户余额大于等于0元，才可进行扩容。 最大可扩容至24T，扩容次数没有限制。

查看更多 →

如果源端网络不稳定，可以使用分片重试能力多次执行作业，可能需要调整作业配置。 如作业配置了分片数，或者源端为分区表，且作业配置了按表分区抽取，则单击更多-分片重试，重跑失败分片（比如配置了100个分片，上次执行到50个分片报错，则单击失败重试后，仅会执行剩余50个分片）。 如且源端非分区表，作业未

查看更多 →

更新分区 功能介绍 更新分区 调用方法 请参见如何调用API。 URI PUT /api/v3/projects/{project_id}/clusters/{cluster_id}/partitions/{partition_name} 表1 路径参数 参数 是否必选 参数类型

查看更多 →

分区策略 分区策略在使用DDL语句建表语句时通过PARTITION BY语句的语法指定，分区策略描述了在分区表中数据和分区路由映射规则。常见的分区类型有基于条件的Range分区、基于哈希散列函数的Hash分区、基于数据枚举的List列表分区： CREATE TABLE table_name

查看更多 →

范围分区 范围分区（Range Partition）根据为每个分区建立的分区键的值范围将数据映射到分区。范围分区是生产系统中最常见的分区类型，通常在以时间维度（Date、Time Stamp）描述数据场景中使用。范围分区有两种语法格式，示例如下： VALUES LESS THAN的语法格式

查看更多 →

Index 约束 分区表索引分为LOCAL索引与GLOBAL索引：LOCAL索引与某个具体分区绑定，而GLOBAL索引则对应整个分区表。 唯一约束和主键约束的约束键包含所有分区键将为约束创建LOCAL索引，否则创建GLOBAL索引。 当查询语句在查询数据涉及多个分区时，建议使用GL

查看更多 →

删除分区 用户可以使用删除分区的命令来移除不需要的分区。删除分区可以通过指定分区名或者分区值来进行。 删除分区不能作用于HASH分区上。 执行删除分区命令会使得Global索引失效，可以通过UPDATE GLOBAL INDEX子句来同步更新Global索引，或者用户自行重建Global索引。

查看更多 →