tion表。 哈希表（Hash） 表数据通过hash方式散列到集群中的所有DN实例上。 数据量较大的事实表。 在读/写数据时可以利用各个节点的IO资源，大大提升表的读/写速度。 一般情况下大表（1000000条记录以上）定义为Hash表。 轮询表（Roundrobin） 8.1.2及以上版本支持

查看更多 →

分区表 本章节围绕分区表在大数据量场景下如何对保存的数据进行“查询优化”和“运维管理”出发，分六个章节以此对分区表使用上进行系统性说明，包含语义、原理、约束限制等方面。 大容量数据库 分区表介绍 分区表查询优化 分区表运维管理 分区并发控制 分区表系统视图&DFX

查看更多 →

分区表 本章节围绕分区表在大数据量场景下如何对保存的数据进行“查询优化”和“运维管理”出发，分六个章节对分区表使用进行系统性说明，包含语义、原理、约束限制等方面。 大容量数据库 分区表介绍 分区表查询优化 分区自动扩展 分区表运维管理 分区并发控制 分区表系统视图&DFX

查看更多 →

高（毫秒内~毫秒级） 数据量 小，建议1GB以内 大，TB级 中，GB级 存储资源 内存消耗大，单个TM全量存储 外置存储，无存储资源消耗 各TM分散存储，内存+磁盘存储 时效性 周期性数据加载，时效低 相对高 高 关联数据结果 低 中 - 大数据量的维度表建议采用HBase 数据量比较大，而

查看更多 →

r.backup.conf.script.execute.timeout”值为“10000000”（根据当前集群中的DBService数据量调大超时时间）。 以omm用户登录集群备 OMS 节点，重复执行1。 以omm用户登录主OMS节点，执行以下命令查询BackupRecovery

查看更多 →

filtering关键字，实际会扫描全表再做条件过滤，当数据量大时，会出现查询超时。后续内核版本会禁用该关键字。 使用allow filtering关键字出现的查询超时和资源占用过多问题，不在数据库承诺的SLA范围内。 COUNT查询 在数据库大的情况下，请不要使用如下语句进行查询，避免出现查询失败的情况。

查看更多 →

obsutil 主要适用于上传数据量较大（文件大小超过500GB），或者需要执行批量处理、自动化任务的场景。 简单、易用； 无需安装，轻便小巧，即下即用； 同时支持Windows/Linux/macOS三大平台； 配置多元化，性能卓越。 需要用户了解命令行操作。 文件大小超过500GB。

查看更多 →

表分区技术（Table-Partitioning）通过将非常大的表或者索引从逻辑上切分为更小、更易管理的逻辑单元（分区），能够让对用户对表查询、变更等语句操作具备更小的影响范围，能够让用户通过分区键（Partition Key）快速的定位到数据所在的分区，从而避免在数据库中对大表的全量扫描，能够在不同的分区上

查看更多 →

表分区技术（Table-Partitioning）通过将非常大的表或者索引从逻辑上切分为更小、更易管理的逻辑单元（分区），能够让对用户对表查询、变更等语句操作具备更小的影响范围，能够让用户通过分区键（Partition Key）快速定位到数据所在的分区，从而避免在数据库中对大表的全量扫描，能够在不同的分区上

查看更多 →

表分区技术（Table-Partitioning）通过将非常大的表或者索引从逻辑上切分为更小、更易管理的逻辑单元（分区），能够让对用户对表查询、变更等语句操作具备更小的影响范围，能够让用户通过分区键（Partition Key）快速定位到数据所在的分区，从而避免在数据库中对大表的全量扫描，能够在不同的分区上

查看更多 →

求，从而出现上面的问题。 Executor注册shuffle service的超时时间是5秒，最多重试3次，该参数目前不可配。 建议适当调大task retry次数和Executor失败次数。 在客户端的“spark-defaults.conf”配置文件中配置如下参数。“spark

查看更多 →

存储名称 读取、写入速度 成本 容量 适用场景 热数据存储 快 高 固定，有限制 适用于那些数据量有限，需要频繁读取、更新的场景。 冷数据存储 慢 低 大、无限制 适用于一些归档类业务，利用其低成本，大容量的特点，在完整保存数据的同时，还能节省成本，不占用本地空间。 父主题： 集群管理

查看更多 →

两表JOIN时，会将右表数据加载到内存中，再根据右表数据遍历左表做匹配，将小表放在右边，减少匹配查询的次数。根据使用的情况，大表join小表的性能比小表join大表的性能有数量级的提升。 【大表在左小表在右】 SELECT count(a.id) FROM ( SELECT id FROM mytable

查看更多 →

数据模型 fieldlength=100, fieldcount=10 预置数据量 本次性能测试中，针对每种规格的实例，测试了如下预置数据量的性能。 预置数据具体如下表所示： 表3 预置数据量 编号 规格 预置数据量 cluster1 4U16GB 50GB cluster2 8U32GB

查看更多 →

请重新选择”怎么处理？ 主机迁移服务 是否支持目的端使用本地磁盘 为什么阿里云Windows系统的GPT磁盘，迁移到华为云时对应磁盘容量需要大1G？ Linux系统调整磁盘分区时，为什么物理卷是否迁移无法选择？ Linux系统调整磁盘分区时，为什么逻辑卷是否迁移无法选择？ 卷组和磁盘分区大小调整范围

查看更多 →

DevOps的3大核心基础架构 由于近年DevOps概念的火热，加之DevOps的涵盖面非常广，因此有很多文章和技术都在和DevOps强行关联，使很多想要了解学习DevOps的开发者迷惑不解。 其实，DevOps的知识体系如果从顶层上来分解，可大分为2部分：方法论和工具链。 方法

查看更多 →

2 with_replacement 是 是否有放回采样。 True partitions 否 分区数，有放回采样需设置该参数，数据量较大时可将该参数调大。 10 random_seed 否 随机种子。 1234 样例 截取部分样例数据如下，weight为权重列，class列中包括

查看更多 →

计算，例如使用年分区，这种方式相对麻烦些但是多年后表无需重新导入。 方法三：数据老化，按照业务逻辑分析大的维度表是否可以通过数据老化清理无效的维度数据从而降低数据规模。 数据量非常小的事实表 这种可以在预估很长一段时间的数据增长量的前提下使用非分区表预留稍宽裕一些的桶数来提升读写性能。

查看更多 →

表分区技术（Table-Partitioning）通过将非常大的表或者索引从逻辑上切分为更小、更易管理的逻辑单元（分区），能够让对用户对表查询、变更等语句操作具备更小的影响范围，能够让用户通过分区键（Partition Key）快速的定位到数据所在的分区，从而避免在数据库中对大表的全量扫描，能够在不同的分区上

查看更多 →

数据倾斜样例 常见数据倾斜场景 Group By聚合倾斜 在执行Group By聚合操作时，如果某些分组键对应的数据量特别大，而其他分组键对应的数据量很小，在聚合过程中，数据量大的分组会占用更多的计算资源和时间，导致处理速度变慢，出现数据倾斜。 JOIN 操作倾斜 在执行表JOIN操

查看更多 →

如果选择多个分桶列，则数据分布更均匀。如果一个查询条件不包含所有分桶列的等值条件，那么该查询会触发所有分桶同时扫描，这样查询的吞吐会增加，单个查询的延迟随之降低。这个方式适合大吞吐低并发的查询场景。 如果仅选择一个或少数分桶列，则对应的点查询可以仅触发一个分桶扫描。此时，当多个点查询并发时，这些查询有较大的概率分别

查看更多 →