中软国际数据治理专业服务解决方案实践

内容数据量化 SOW中搬迁资源量以及工作内容描述补充说明内容需数据量化。 父主题： SOW（项目工作说明书）注意事项

查看更多 →

数据量足够，为什么盘古大模型微调效果仍然不好 这种情况可能是由于以下原因导致的，建议您排查： 数据质量：请检查训练数据的质量，若训练样本和目标任务不一致或者分布差异较大、样本中存在异常数据、样本的多样性较差，都将影响模型训练的效果，建议提升您的数据质量。 父主题： 大模型微调训练类问题

查看更多 →

情况三：迁移时，源端有数据发生改变 迁移时，迁移Agent通过df -Th命令获取每个分区挂载的根目录，遍历根目录进行迁移。 在迁移时，已迁移的数据不会因为源端数据改变而改变；未迁移的数据如果发生改变，则会迁移改变后的最新数据。 总数据量记录的数值是第一次扫描源端搜集的信息。在迁移时，

查看更多 →

Load的导入参数来实现大文件的导入。 处理步骤 根据当前BE实例的个数和待导入文件的大小修改单个BE的任务的最大扫描量和最大并发数。操作如下： 登录 FusionInsight Manager，选择“集群 > 服务 > Doris”，在概览界面查看“Leader所在的主机”的IP地址，确认主FE所在节点。

查看更多 →

挂载的普通数据盘支持下调至10G。 调整容器运行时和Kubelet组件使用的数据盘大小存在一些风险，根据本文提供的预估方法，建议综合评估后再做实际调整。 过小的数据盘容量可能会频繁出现磁盘空间不足，导致镜像拉取失败的问题。如果节点上需要频繁拉取不同的镜像，不建议将数据盘容量调小。

查看更多 →

如何查看数据集大小 数据管理目前只统计数据集的样本数量，无法查看数据集大小。 父主题： Standard数据管理

查看更多 →

new_size 是 Integer 扩容后的手机数据盘大小，单位为GiB。扩容的大小必须大于等于原有容量且小于最大容量。 最大容量：32768GiB 响应参数 状态码： 200 表5 响应Body参数 参数 参数类型 描述 request_id String 请求的唯一标识ID。 jobs Array

查看更多 →

数据量和质量均满足要求，为什么盘古大模型微调效果不好 这种情况可能是由于以下原因导致的，建议您排查： 训练参数设置：您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题，这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的 “训练轮次”或

查看更多 →

如何查看每个备份的大小？ 暂无法查看每个备份的大小。 但您可以查看每个资源的所有备份的大小。在“备份副本”页签中单击该资源的目标备份名称查看详情，即可获取到信息。如图1所示。 图1 查看该 服务器 所有备份大小 父主题： 备份类

查看更多 →

数据量很大，如何进行快照备份？ 如果快照数据量极大，快照备份要超过一天时，可参考如下方法进行优化。 快照备份的时候指定索引，比如先分批，默认是*，将会备份所有的索引。 使用自定义快照仓库。 创建自定义仓库。 除了使用 云搜索服务 提供的repo_auto之外，客户也可以自己创建一个仓库，接口见如下：

查看更多 →

源端的元数据同步至迁移中心。 创建N个Delta元数据连接，除了执行机IP和端口不同以外，其余参数配置需要与步骤1.中的第一个元数据连接保持一致。 “N”需要根据您现有的E CS 资源和表的数量来确定。在ECS资源充足且表数量非常多的情况下，增加元数据连接的数量可以提高数据校验的效率。

查看更多 →

日志文件的大小达到限制 问题现象 ModelArts训练作业在运行过程中报错，提示日志文件的大小已达到限制： modelarts-pope: log length overflow(max:1073741824; already: 107341771; new:90), process

查看更多 →

10亿级数据量场景的解决方案有哪些？ 问： 10亿级数据量场景的解决方案有哪些？ 答： 有数据更新、联机事务处理OLTP、复杂分析的场景，建议使用云数据库 GaussDB (for MySQL)。 MRS 的Impala + Kudu也能满足该场景，Impala + Kudu可以在j

查看更多 →

properties中的配置项log.dirs获得数据存储目录。 其中配置文件路径请根据时间环境的集群版本修改，当磁盘有多块时，该配置项有多个，逗号间隔。 使用cd命令进入使用率较高的磁盘对应的3中获取的数据存储目录下。 使用du -sh *命令打印出当前topic的名称及大小。 由于Ka

查看更多 →

formance”中的“Settings…”。 再出现的界面中选择“Advanced”，选择“Virtual memory”中的“Change…”。 再出现的界面中的“Custom size”中的“Initial size（MB）”以及“Maximum size（MB）”中填入6

查看更多 →

执行大数据量的shuffle过程时Executor注册shuffle service失败 问题 执行超过50T数据的shuffle过程时，出现部分Executor注册shuffle service超时然后丢失从而导致任务失败的问题。错误日志如下所示： 2016-10-19 01:33:34

查看更多 →

大模型微调需要的数据有要求吗？ AI原生应用引擎用于大模型微调的数据集任务领域为“ 自然语言处理 ”、数据集格式为“对话文本”。 文件内容要求为标准json数组，例如： [{"instruction": "aaa", "input": "aaa", "output": "aaa"},{"instruction":

查看更多 →

如何处理API对应的数据表数据量较大时，获取数据总条数比较耗时的问题？ 问题场景 创建API时，已打开“返回总条数”开关。当API对应的数据表数据量较大时，获取数据总条数比较耗时。 图1 返回总条数 解决方案 在分页查询时，您可以通过参数（参数名use_total_num）控制是否计算并返回数据总条数。

查看更多 →

如何调整训练参数，使盘古大模型效果最优 模型微调参数的选择没有标准答案，不同的场景，有不同的调整策略。一般微调参数的影响会受到以下几个因素的影响： 目标任务的难度：如果目标任务的难度较低，模型能较容易的学习知识，那么少量的训练轮数就能达到较好的效果。反之，若任务较复杂，那么可能就需要更多的训练轮数。

查看更多 →

如何选择购买VPN带宽的大小？ 购买VPN时，选择带宽大小需要考虑以下两个因素： VPN隧道中单位时间的数据传输量（需要冗余一定带宽，防止链路拥塞）。 考虑两端的出口带宽，云上带宽要小于云下出口带宽。 父主题： 产品咨询

查看更多 →

如何修改VPN的带宽大小？ 在VPN网关列表，单击目标VPN网关名称，进入网关详情页面。 单击EIP带宽大小后的“修改”。 配置EIP带宽信息。 按需的VPN可自由修改带宽大小。 包年/包月的VPN只可进行带宽扩容，不可降低带宽大小。 父主题： 带宽与网速

查看更多 →