中软国际数据治理专业服务解决方案实践

步骤4：评估文本类数据集 本样例场景帮助用户利用数据集评估标准评估和优化数据质量。 步骤5：发布文本类数据集 本样例场景实现将处理好的数据集发布为模型训练可用的数据集。 步骤6：训练NLP大模型 本样例场景实现NLP大模型的训练操作。 步骤7：压缩NLP大模型 本样例场景实现NLP大模型的压

查看更多 →

创建NLP大模型训练任务 创建NLP大模型微调任务 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“模型开发 > 模型训练”，单击界面右上角“创建训练任务”。 在“创建训练任务”页面，模型类型选择“NLP大模型”，训

查看更多 →

delete大表数据后，再次查询同一张表时出现慢SQL 场景描述 一次性删除多条宽列数据（每条记录数据长度在1GB左右），再次对同一张表进行增删改查时均执行缓慢，20分钟左右后恢复正常。 场景案例 假定max_allowed_packet参数大小为1073741824。 创建表。

查看更多 →

大模型微调训练类问题 无监督领域知识数据量无法支持增量预训练，如何进行模型学习 如何调整训练参数，使盘古大模型效果最优 如何判断盘古大模型训练状态是否正常 如何评估微调后的盘古大模型是否正常 如何调整推理参数，使盘古大模型效果最优 为什么微调后的盘古大模型总是重复相同的回答 为什么微调后的盘古大模型的回答中会出现乱码

查看更多 →

创建科学计算大模型部署任务 模型训练完成后，可以启动模型的部署操作。 登录ModelArts Studio大模型开发平台，进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”，单击界面右上角“创建部署”。 在“创建部署”页面，模型类型选择“科学计算大模型”，参考表1完成部署参数设置，启动模型部署。

查看更多 →

管理NLP大模型训练任务 在训练任务列表中，任务创建者可以对创建好的任务进行编辑、启动、克隆（复制训练任务）、重试（重新训练任务）和删除操作。 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“模型开发 > 模型训练”，进入模型训练页面，可进行如下操作：

查看更多 →

故障诊断、厂区智能物流、无人智能巡检、生产现场监测十大典型应用场景。 5G全互联工厂网络包括面向中试验证中心和面向分布式用户的网络两部分。中试中心网络连接装备制造区和3C电子制造区工厂内的设备和系统，实现横向、纵向和端对端的数据互联互通，实现从设计/生产/实施运营到测试的全过程解

查看更多 →

系统基于SpringCloud微服务架构，采用SpringBoot开发； 租户数据采用数据库隔离模式。 云服务的应用： 云数据库RDS for MySQL：存储案件、流转报批、机构人员、角色权限等系统数据。 GaussDB for Redis：缓存系统业务数据，保障数据安全和可靠。 语音交互 服务SIS：用户语音识

查看更多 →

delete大表数据后，再查询同一张表时出现慢SQL 场景描述 一次性删除多条宽列数据（每条记录数据长度在1GB左右），再次对同一张表进行增删改查时均执行缓慢，20分钟左右后恢复正常。 场景案例 假定max_allowed_packet参数大小为1073741824。 创建表。 CREATE

查看更多 →

情况。 客户端执行命令的时延变大。 对大Key进行的慢操作会导致后续的命令被阻塞，从而导致一系列慢查询。 导致实例流控。 对大Key高频率的读会使得实例出方向带宽被打满，导致流控，产生大量命令超时或者慢查询，业务受损。 导致主备倒换。 对大Key执行危险的DEL操作可能会导致主节点长时间阻塞，从而导致主备倒换。

查看更多 →

delete大表数据后，再查询同一张表时出现慢SQL 场景描述 一次性删除多条宽列数据（每条记录数据长度在1GB左右），再次对同一张表进行增删改查时均执行缓慢，20分钟左右后恢复正常。 场景案例 假定max_allowed_packet参数大小为1073741824。 创建表。 CREATE

查看更多 →

盘古科学计算大模型能力与规格 盘古科学计算大模型面向气象、医药、水务、机械、航天航空等领域，融合了AI数据建模和AI方程求解方法。该模型从海量数据中提取数理规律，利用神经网络编码微分方程，通过 AI 模型更快速、更精准地解决科学计算问题。 ModelArts Studio大模型开发平

查看更多 →

数据量和质量均满足要求，为什么盘古大模型微调效果不好 这种情况可能是由于以下原因导致的，建议您排查： 训练参数设置：您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题，这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的 “训练轮次”或

查看更多 →

志定位训练失败的原因。典型训练报错和解决方案请参见NLP大模型训练常见报错与解决方案。 训练日志可以按照不同的节点（训练阶段）进行筛选查看。分布式训练时，任务被分配到多个工作节点上进行并行处理，每个工作节点负责处理一部分数据或执行特定的计算任务。日志也可以按照不同的工作节点（如w

查看更多 →

。 训练NLP大模型 压缩NLP大模型 通过模型压缩可以降低推理显存占用，节省推理资源提高推理性能。 压缩NLP大模型 部署NLP大模型 部署后的模型可进行调用操作。 部署NLP大模型 调用NLP大模型 支持“能力调测”功能与API两种方式调用大模型。 调用NLP大模型 盘古NLP大模型应用开发

查看更多 →

NLP大模型训练流程与选择建议 NLP大模型训练流程介绍 NLP大模型专门用于处理和理解人类语言。它能够执行多种任务，如对话问答、文案生成和阅读理解，同时具备逻辑推理、代码生成和插件调用等高级功能。 NLP大模型的训练分为两个关键阶段：预训练和微调。 预训练阶段：在这一阶段，模型

查看更多 →

计算大模型”。模型选择完成后，参考表1、表2完成训练参数设置，启动模型训练。 表1 科学计算大模型（中期天气要素预测）训练参数说明 参数分类 参数名称 参数说明 训练配置 模型来源 选择“盘古大模型”。 模型类型 选择“科学计算大模型”。 场景 选择“中期天气要素预测”。 训练类型

查看更多 →

配置Elasticsearch集群大查询隔离 场景描述 大查询隔离支持对查询请求进行独立管理，将高内存、长耗时的查询请求进行隔离，保证节点内存安全。在节点堆内存使用率过高时，触发中断控制程序，根据选择的中断策略将其中一条大查询请求进行中断，取消其正在运行的查询任务。大查询隔离同时支持全局查询

查看更多 →

索引位置偏移量，表示从查询到的大Key列表偏移offset条数据后查询对应的大Key信息。 取值大于或等于0。不传该参数时，查询偏移量默认为0，表示从第一条大Key开始查询。 limit 否 Integer 查询个数上限值。取值范围：1~100。不传该参数时，默认查询前100条大Key。 key_types

查看更多 →

发现和处理Redis大Key热Key 大Key和热Key的定义 大Key和热Key场景较多，没有非常明确的边界，需要根据实际业务判断。 名词 定义 大Key 大Key可以分为两种情况： Key的Value占用存储空间较大。一般单个String类型的Key大小达到10KB，或者集合

查看更多 →

科学计算大模型训练流程与选择建议 科学计算大模型训练流程介绍 科学计算大模型主要用于。 科学计算大模型的训练主要分为两个阶段：预训练与微调。 预训练阶段：预训练是模型学习基础知识的过程，基于大规模通用数据集进行。例如，在区域海洋要素预测中，可以重新定义深海变量、海表变量，调整深度

查看更多 →