触发因素：未合理使用分区表和分区剪枝功能，导致扫描效率低。 处理方式： 对按照时间特征存储和访问的大表设计成分区表。 分区键一般选离散度高、常用于查询过滤条件中的时间类型的字段。 分区间隔一般参考高频的查询所使用的间隔，需要注意的是针对列存表，分区间隔过小（例如按小时）可能会导致小文件过多的问题，一般建议最小间隔为按天。

查看更多 →

ss_memory的关系，如前者明显小于后者，则说明占用内存大的语句已经跑完或者被杀掉，当前系统已经恢复，若已经大于或比较接近，则说明当前内存使用已经或即将超限，若此时dynamic_used_memory过大，说明动态申请的内存过大，这类问题可能和正在运行的SQL强相关，此时可参考如下步骤进行优化：

查看更多 →

10亿级数据量场景的解决方案有哪些？ 问： 10亿级数据量场景的解决方案有哪些？ 答： 有数据更新、联机事务处理OLTP、复杂分析的场景，建议使用云数据库 GaussDB (for MySQL)。 MRS 的Impala + Kudu也能满足该场景，Impala + Kudu可以在j

查看更多 →

后子问题可以简单的直接求解，原问题的解可看成子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。

查看更多 →

执行大数据量的shuffle过程时Executor注册shuffle service失败 问题 执行超过50T数据的shuffle过程时，出现部分Executor注册shuffle service超时然后丢失从而导致任务失败的问题。错误日志如下所示： 2016-10-19 01:33:34

查看更多 →

后子问题可以简单的直接求解，原问题的解可看成子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。

查看更多 →

数据量很大，如何进行快照备份？ 如果快照数据量极大，快照备份要超过一天时，可参考如下方法进行优化。 快照备份的时候指定索引，比如先分批，默认是*，将会备份所有的索引。 使用自定义快照仓库。 创建自定义仓库。 除了使用 云搜索服务 提供的repo_auto之外，客户也可以自己创建一个仓库，接口见如下：

查看更多 →

源端的元数据同步至迁移中心。 创建N个Delta元数据连接，除了执行机IP和端口不同以外，其余参数配置需要与步骤1.中的第一个元数据连接保持一致。 “N”需要根据您现有的E CS 资源和表的数量来确定。在ECS资源充足且表数量非常多的情况下，增加元数据连接的数量可以提高数据校验的效率。

查看更多 →

c6），可以提供较强的计算能力，由于集群节点数量较多，可以处理集群的高并发请求。这种情况下，只需要保证节点间网速通畅，避免集群性能受限。 大规格三节点： 如果需要处理大量数据、需要高性能计算，但可以承受较高的成本，可以选择大规格三节点集群。 例如，规格为32核256G的大规格集群（dws2.m6.8xlarge.8）

查看更多 →

受技术等多种因素制约，盘古大模型服务存在一些约束限制。 不同模型请求的最大Token数有所不同，具体信息请参见模型能力与规格。 关于模型支持的训练数据量要求，例如NLP大模型，请参考《用户指南》“开发盘古NLP大模型 > 训练NLP大模型 > NLP大模型训练流程与选择建议”。 关于平台接入的数据格

查看更多 →

数据迁移，整表查询且该表数据量大，那么查询时间较长。 查询过程中，其他用户频繁进行commit操作。 Oracel的RBS（rollbackspace 回滚时使用的表空间）较小，造成迁移任务没有完成，源库已更新，回滚超时。 建议与总结 调小每次查询的数据量。 通过修改数据库配置调大Oracle的RBS。

查看更多 →

properties中的配置项log.dirs获得数据存储目录。 其中配置文件路径请根据时间环境的集群版本修改，当磁盘有多块时，该配置项有多个，逗号间隔。 使用cd命令进入使用率较高的磁盘对应的3中获取的数据存储目录下。 使用du -sh *命令打印出当前topic的名称及大小。 由于

查看更多 →

选择“备份”页签，单击“任务状态”处的。 在“备份任务”页签，查看备份任务失败的原因。如图所示。 单击“复制任务”页签，查看复制失败的原因。 单击“恢复任务”页签，查看恢复失败的原因。 可选：单击待删除的任务所在行的“删除”，删除单个失败任务。或单击左上角的“清空失败任务列表”，删除所有失败的任务。 父主题：

查看更多 →

中X-Subject-Token的值）。 响应参数 状态码： 200 表4 响应Body参数 参数 参数类型 描述 total Integer 正在处理的任务总数。 tasks Array of RunningTasks objects 正在处理的任务列表。 表5 RunningTasks

查看更多 →

环境配置：指那些针对当前应用基本上固定的环境配置。 环境数据：指那些需要在部署的同时根据情况调整的数据，如：配置文件，开发、测试、生产环境的地址等。 Automation自动化系统 自动化在DevOps中的作用不言而喻，这部分的主线一般由各种类型的Build系统来实现，如：Jenkins、Team

查看更多 →

查询待处理的申请订单 功能介绍 根据服务标识符，查询待处理的凭证申请订单，仅有服务提供者有权限 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v1/id

查看更多 →

大屏 背景信息 ISDP+开发中心资产货架包含两种大屏资产，数据资产和模板资产。数据资产（应用资产下的“大屏数据处理应用模板”）通过订购部署的方式，部署到开发环境；模板资产（组件资产下的“大屏模板（Demo）”）订购后下载到本地，通过导入的方式上传到“业务大屏”下使用，具体请参见订购资产。

查看更多 →

k在运行，即为数据倾斜的情况。 图1 数据倾斜样例 常见数据倾斜场景 Group By聚合倾斜 在执行Group By聚合操作时，如果某些分组键对应的数据量特别大，而其他分组键对应的数据量很小，在聚合过程中，数据量大的分组会占用更多的计算资源和时间，导致处理速度变慢，出现数据倾斜。

查看更多 →

执行大数据量的shuffle过程时Executor注册shuffle service失败 问题 执行超过50T数据的shuffle过程时，出现部分Executor注册shuffle service超时然后丢失从而导致任务失败的问题。错误日志如下所示： 2016-10-19 01:33:34

查看更多 →

大数据量的维度表建议采用HBase 数据量比较大，而且不要数据高一致的场景，可以采用HBase类的KV库提供维度表点查关联能力。 由于K-V库的数据需由另外的作业写入，与当前的Flink作业会存在一定的时差，容易导致当前Flink作业查询K-V库时不是最新的数据，且由于lookup查询不支持回撤，关联的结果存在一致性问题。

查看更多 →

”怎么处理？ 迁移对磁盘数量、大小是否有限制？ 源端磁盘过大，是否可以迁移到磁盘较小的 服务器 ？ 配置目的端时，提示“您选择目的端的某些磁盘比源端对应要迁移磁盘小，不能满足要求，请重新选择”怎么处理？ 主机迁移服务 是否支持目的端使用本地磁盘 为什么阿里云Windows系统的GPT磁

查看更多 →