内容数据量化 SOW中搬迁资源量以及工作内容描述补充说明内容需数据量化。 父主题： SOW（项目工作说明书）注意事项

查看更多 →

数据增强：在传统机器学习中，可以通过简单的重复上采样方式来扩充数据，但该方法不适用于大模型微调的场景，这将导致模型的过拟合。因此可以通过一些规则来扩充数据，比如：同义词替换、语法结构修改、标点符号替换等，保证数据的多样性。 基于大模型的数据泛化：您可以通过调用大模型（比如盘古提供的任意一个规格的基础功能模型）来获

查看更多 →

迁移完成后，为什么已迁移数据量小于总数据量？ 问题描述 迁移完成后，已迁移数据量小于总数据量。 问题分析 源端总数据量是通过迁移Agent执行df-Th命令搜集得到的，已迁移数据量是通过记录实际已迁移文件的大小累计得到的。 出现已迁移数据量小于总数据量，可能是因为以下几种情况：

查看更多 →

数据增强：您可以通过一些规则来提升数据的多样性，比如：同义词替换、语法结构修改、标点符号替换等，保证数据的多样性。 基于大模型的数据泛化：您可以通过调用大模型（比如盘古提供的任意一个规格的基础功能模型）来获取目标场景的数据，以此提升数据质量。一个比较常见的方法是，将微调数据以及

查看更多 →

Kafka集群节点内多磁盘数据量占用高 用户问题 Kafka流式集群节点内有多块磁盘的使用量很高。当达到100%时就会造成kafka不可用如何处理？ 问题现象 客户购买的 MRS Kafka流式集群节点内有多块磁盘，由于分区不合理及业务原因导致某几个磁盘的使用量很高。当达到100%时就会造成kafka不可用。

查看更多 →

"max_restore_bytes_per_sec": "100mb", //OBS速度，默认是40MB,可以根据实际性能调大 "max_snapshot_bytes_per_sec": "100mb" } } 使用自定义仓库创建快照。 PUT

查看更多 →

Delta 数据量较大时，如何优化校验任务？ 本文介绍当源端Delta数据量较大（如超过10000张表）时，如何使用MgC大数据校验功能进行一致性校验的方法。 操作步骤 参考创建元数据连接，创建第一个Delta元数据连接。 使用步骤1.创建的第一个元数据连接，创建元数据同步任务，将源端的元数据同步至迁移中心。

查看更多 →

选择“大Key诊断”，勾选对应的类型，查看对应类型的大Key信息。 图1 大Key诊断 您可以查看大Key的信息。参数请查看表1。 表1 大Key的参数 参数 描述 类型 大Key的类型。 string hash zset set exhash list stream 大Key名

查看更多 →

Broker Load导入任务的数据量超过阈值 现象描述 使用Broker Load导入数据时报错： Scan bytes per broker scanner exceed limit:xxx 原因分析 BE处理的单个导入任务的最大数据量为3GB，超过该值的待导入文件需要通过调整Broker

查看更多 →

模型训练所需数据量与数据格式要求 盘古大模型套件平台支持NLP大模型的训练。不同模型训练所需的数据量和数据格式有所差异，请基于数据要求提前准备训练数据。 数据量要求 自监督训练 在单次训练任务中，一个自监督训练数据集内，上传的数据文件数量不得超过1000个，单文件大小不得超过1G

查看更多 →

看成子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。 父主题： 大容量数据库

查看更多 →

看成子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。 父主题： 大容量数据库

查看更多 →

约束与限制 受技术等多种因素制约，盘古大模型服务存在一些约束限制。 每个模型请求的最大Token数有所差异，详细请参见模型的基础信息。 模型所支持的训练数据量、数据格式要求请参见《用户指南》“准备盘古大模型训练数据集 > 模型训练所需数据量与数据格式要求”。

查看更多 →

求，从而出现上面的问题。 Executor注册shuffle service的超时时间是5秒，最多重试3次，该参数目前不可配。 建议适当调大task retry次数和Executor失败次数。 在客户端的“spark-defaults.conf”配置文件中配置如下参数。“spark

查看更多 →

threads.per.data.dir 10 在Kafka启动过程中，数据量较大情况下，可调大此参数，可以提升启动速度。 background.threads 10 Broker后台任务处理的线程数目。数据量较大的情况下，可适当调大此参数，以提升Broker处理能力。 num.replica

查看更多 →

threads.per.data.dir 10 在Kafka启动过程中，数据量较大情况下，可调大此参数，可以提升启动速度。 background.threads 10 Broker后台任务处理的线程数目。数据量较大的情况下，可适当调大此参数，以提升Broker处理能力。 num.replica

查看更多 →

数据量满足要求，为什么微调后的效果不好 这种情况可能是由于以下原因导致的，建议您排查： 数据质量：请检查训练数据的质量，若训练样本和目标任务不一致或者分布差异较大、样本中存在异常数据、样本的多样性较差，都将影响模型训练的效果，建议提升您的数据质量。 父主题： 典型训练问题和优化策略

查看更多 →

CDL复制槽Slot积压数据量超过阈值 告警解释 PostgreSQL或Opengauss（适用于MRS 3.3.0及之后版本）积压过多的WAL日志，可能导致PostgreSQL或Opengauss磁盘空间耗尽。系统每5分钟检查CDL任务配置的复制槽Slot积压数据量是否超过阈值，如果

查看更多 →

11版本和增强版，不支持大版本升级。 由于操作系统限制，部分实例暂不支持进行大版本升级，具体可升级版本查看界面可升级列表。 灾备实例不支持大版本升级。 大版本升级前，需要先进行升级检查，如果在有效期内没有检查成功的报告，则不允许进行大版本升级。 升级插件限制说明 在大版本升级检查成功后

查看更多 →

看成子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。 父主题： 大容量数据库

查看更多 →

10亿级数据量场景的解决方案有哪些？ 问： 10亿级数据量场景的解决方案有哪些？ 答： 有数据更新、联机事务处理OLTP、复杂分析的场景，建议使用云数据库 GaussDB (for MySQL)。 MRS的Impala + Kudu也能满足该场景，Impala + Kudu可以在j

查看更多 →