中软国际数据治理专业服务解决方案实践

在下拉列表中选择所属主题。 *数据连接类型 在下拉列表中将显示逆向数据库支持的数据连接类型，请选择所需要的数据连接类型。 *数据连接 选择数据连接。 如需从其他数据源逆向数据库到维度目录中，需要先在 DataArts Studio 管理中心创建一个数据连接，以便连接数据源。创建数据连接的操作，请参见配置DataArts

查看更多 →

对模型参数进行正则化的一种因子，可以缓解模型过拟合现象。 warmup_ratio 学习率热启动比例 学习率热启动参数，一开始以较小的学习率去更新参数，然后再使用预设学习率，有效避免模型震荡。 表3 LoRA参数配置说明 参数英文名 参数中文名 参数说明 lora_rank 秩 LoRA微调中的秩。

查看更多 →

Checkpoint主要要求高吞吐、减少训练中断的时间。 文件接口方式的数据共享访问：由于 AI 架构需要使用到大规模的计算集群（GPU/NPU 服务器 ），集群中的服务器访问的数据来自一个统一的数据源，即一个共享的存储空间。这种共享访问的数据有诸多好处，它可以保证不同服务器上访问数据的一致性，减少不同服务器上分别保留数据带来的数据冗余等。另外以

查看更多 →

，这种情况大概率是由于训练参数设置的不合理而导致了欠拟合，模型没有学到任何知识。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，适当增大“训练轮次”的值，或根据实际情况调整“学习率”的值，帮助模型更好收敛。 数据质量：请检查训练数据的质量，若训练样本和目标任务不一致或者分布差异较大，则会加剧该现象。

查看更多 →

乳腺癌数据集作业结果 本节实验包含了如下三个部分：（1）训练轮数对联邦学习模型分类性能的影响；（2）迭代次数对联邦学习模型分类性能的影响；（3）参与方数据量不同时，本地独立训练对比横向联邦的模型性能。 不同训练参数对模型准确率、训练时长的影响 训练轮数对模型准确率的影响（迭代次数固定为20）

查看更多 →

产品优势 海量训练数据 盘古大模型依托海量且多样化的训练数据，涵盖从日常对话到专业领域的广泛内容，帮助模型更好地理解和生成自然语言文本，适用于多个领域的业务应用。这些数据不仅丰富多样，还为模型提供了深度和广度的语言学习基础，使其能够生成更加自然、准确且符合语境的文本。 通过对海量

查看更多 →

Standard模型训练 ModelArts Standard模型训练提供容器化服务和计算资源管理能力，负责建立和管理机器学习训练工作负载所需的基础设施，减轻用户的负担，为用户提供灵活、稳定、易用和极致性能的深度学习训练环境。通过ModelArts Standard模型训练，用户可以专注于开发、训练和微调模型。

查看更多 →

全链路性能追踪：Web服务、缓存、数据库全栈跟踪，性能瓶颈轻松掌握。 故障智能诊断 业务痛点 海量业务下，出现百种指标监控、KPI数据、调用跟踪数据等丰富但无关联的应用运维数据，如何通过应用、服务、实例、主机和事务等多视角分析关联指标和告警数据，自动完成故障根因分析；如何基于历史数据学习与运维经验库，对异常事务智能分析给出可能原因。

查看更多 →

不同用户查询同表显示数据不同 问题现象 2个用户登录相同数据库human_resource，分别执行的查询语句如下：select count(*) from areas，查询同一张表areas时，查询结果却不一致。 原因分析 请先判断同名的表是否确实是同一张表。在关系型数据库中，

查看更多 →

模型，支持用户进行预训练和解译应用。 图18 部分深度学习模型参数 一键式模型部署和API发布，提供深度学习模型的快速部署功能，支持GPU资源分配、弹性扩容、模型迭代发布、应用监控和统计分析，轻松实现AI能力服务化。 图19 模型部署发布平台 平台基于模型训练结果，面向典型业务场

查看更多 →

预训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中，具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及选择上传的镜像。 代码目录选择：OBS桶路径下的llm_train/AscendSpeed代码目录。

查看更多 →

少具有低秩表示的可训练参数的数量。权重矩阵被分解为经过训练和更新的低秩矩阵。所有预训练的模型参数保持冻结。训练后，低秩矩阵被添加回原始权重。这使得存储和训练LoRA模型更加高效，因为参数明显减少。 超参数设置，基于训练作业配置超参。超参指的是模型训练时原始数据集中实际字段和算法需要字段之间的映射关系。

查看更多 →

LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中，具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及选择上传的镜像。 代码目录选择：OBS桶路径下的llm_train/AscendSpeed代码目录。

查看更多 →

应用需求分析：这部分主要针对数据应用系统所需要的数据范围及指标来确定，因此是先分析数据应用系统的需求，再提炼数据集市的数据接口需求 目标表设计：即数据集市结果表设计，根据数据应用的需求进行数据表设计 数据源分析：主要分析数据仓库的数据如何满足集市的需要，即确定需要数据仓库的那些表数据，如果数据仓库没有，则需要数据仓库进行数据补充

查看更多 →

60xx", "error_msg" : "User authentication failed." } 状态码： 403 { "error_code" : "DS.60xx", "error_msg" : "The user does not have permission

查看更多 →

String 维度英文名称。 dimension_type String 维度类型（更新时只能由普通维度改为层级维度，其余场景都不允许修改）。 枚举值： COMMON: 普通维度 LOOKUP: 码表维度 HIERARCHIES: 层级维度 name_ch String 维度名称。 description

查看更多 →

维度接口 查找维度 新建维度 更新维度 删除维度 查看维度详情 查看维度颗粒度 查看逆向维度表任务 父主题： 数据架构API

查看更多 →

String “代理id1.数据集名1.租户别名1,代理id2.数据集名2.租户别名2”格式的字符串 features 否 Array of DatasetFeatureEntity objects 所选数据集特征 label_dataset 否 String 标签数据集，最大长度100 label

查看更多 →

数据集版本不合格 出现此问题时，表示数据集版本发布成功，但是不满足自动学习训练作业要求，因此出现数据集版本不合格的错误提示。 标注信息不满足训练要求 针对不同类型的自动学习项目，训练作业对数据集的要求如下。 图像分类：用于训练的图片，至少有2种以上的分类（即2种以上的标签），每种分类的图片数不少于5张。

查看更多 →

附录：指令微调训练常见问题 问题1：在训练过程中遇到NPU out of memory 解决方法： 将yaml文件中的per_device_train_batch_size调小，重新训练如未解决则执行下一步。 替换深度学习训练加速的工具或增加zero等级，可参考各个模型深度学习训练加速框

查看更多 →

制作统计报表多维度展示数据 创建统计页面 修改统计页面 删除统计页面 导出统计页面 分享统计页面 克隆统计页面 统计页面组件介绍

查看更多 →