中软国际数据治理专业服务解决方案实践

更新MaaS模型服务的模型权重 场景描述 在使用大型模型进行推理任务时，需定期对模型进行迭代和优化。为适应模型权重的更新和迭代，必须对已部署的服务执行相应的升级操作，以确保服务使用的是最新模型。 ModelArts Studio大模型即服务平台支持滚动升级模型权重，允许模型服务在运行时进

查看更多 →

等。不同的项目对数据的要求，使用的AI开发手段也是不一样的。 准备数据 数据准备主要是指收集和预处理数据的过程。 按照确定的分析目的，有目的性的收集、整合相关数据，数据准备是AI开发的一个基础。此时最重要的是保证获取数据的真实可靠性。而事实上，不能一次性将所有数据都采集全，因此，

查看更多 →

--load-dir：加载转换模型权重路径。 --save-dir : 权重转换完成之后保存路径。 --tokenizer-model : tokenizer路径。 输出转换后权重文件保存路径： 权重转换完成后，在 /home/ma-user/ws/processed_for_

查看更多 →

--load-dir：加载转换模型权重路径。 --save-dir : 权重转换完成之后保存路径。 --tokenizer-model : tokenizer路径。 输出转换后权重文件保存路径： 权重转换完成后，在 /home/ma-user/ws/processed_for_

查看更多 →

--load-dir：加载转换模型权重路径。 --save-dir : 权重转换完成之后保存路径。 --tokenizer-model : tokenizer路径。 输出转换后权重文件保存路径： 权重转换完成后，在 /home/ma-user/ws/processed_for_

查看更多 →

--load-dir：加载转换模型权重路径。 --save-dir : 权重转换完成之后保存路径。 --tokenizer-model : tokenizer路径。 输出转换后权重文件保存路径： 权重转换完成后，在 /home/ma-user/ws/processed_for_

查看更多 →

--load-dir：加载转换模型权重路径。 --save-dir : 权重转换完成之后保存路径。 --tokenizer-model : tokenizer路径。 输出转换后权重文件保存路径： 权重转换完成后，在 /home/ma-user/ws/processed_for_

查看更多 →

json配置文件所属的绝对路径；如使用自定义数据集，yaml配置文件需添加此参数。 是否选择加速深度学习训练框架Deepspeed，可参考表1选择不同的框架。 是，选用ZeRO (Zero Redundancy Optimizer)优化器。 ZeRO-0，配置以下参数 deepspeed:

查看更多 →

创建纵向联邦学习作业 2021年3月 序号 功能名称 功能描述 阶段 相关文档 1 纵向联邦学习 纵向联邦机器学习，适用于参与者训练样本ID重叠较多，而数据特征重叠较少的情况，联合多个参与者的共同样本的不同数据特征进行联邦机器学习，联合建模。 公测 创建纵向联邦学习作业 2 联盟和计算节点支持自助升级

查看更多 →

当前版本使用llm-compressor工具量化仅支持Deepseek-v2系列模型的W8A8量化。 本章节介绍如何在GPU的机器上使用开源量化工具llm-compressor量化模型权重，然后在NPU的机器上实现推理量化。 具体操作如下： 开始之前，请确保安装了以下库： git clone https://github

查看更多 →

的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ (huggingface.co)量化模型权重，然后在NPU的机器上实现推理量化。 具体操作如下： 开始之前，请确保安装了以下库： pip

查看更多 →

的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ (huggingface.co)量化模型权重，然后在NPU的机器上实现推理量化。 具体操作如下： 开始之前，请确保安装了以下库： pip

查看更多 →

low2.0实战 深度学习预备知识 介绍学习算法，机器学习的分类、整体流程、常见算法，超参数和验证集，参数估计、最大似然估计和贝叶斯估计 深度学习概览 介绍神经网络的定义与发展，深度学习的训练法则，神经网络的类型以及深度学习的应用 图像识别、 语音识别 、机器翻译编程实验 与图像识别、语言识别、机器翻译编程相关的实验操作

查看更多 →

GS_OPT_MODEL是启用AiEngine执行计划时间预测功能时的数据表，记录机器学习模型的配置、训练结果、功能、对应系统函数、训练历史等相关信息。 表1 GS_OPT_MODEL字段 名称 类型 描述 template_name name 机器学习模型的模板名，决定训练和预测调用的函数接口，目前只实现了rlstm，方便后续扩展。

查看更多 →

GS_OPT_MODEL是启用AiEngine执行计划时间预测功能时的数据表，记录机器学习模型的配置、训练结果、功能、对应系统函数、训练历史等相关信息。 表1 GS_OPT_MODEL字段 名称 类型 描述 template_name name 机器学习模型的模板名，决定训练和预测调用的函数接口，目前只实现了rlstm，方便后续扩展。

查看更多 →

ine执行计划时间预测功能时的数据表，记录机器学习模型的配置、训练结果、功能、对应系统函数、训练历史等相关信息。 表1 GS_OPT_MODEL字段 名称 类型 描述 oid oid 数据库对象id。 template_name name 机器学习模型的模板名，决定训练和预测调用

查看更多 →

在左侧导航树上依次选择“作业管理 > 可信联邦学习”，打开可信联邦学习作业页面。 在“可信联邦学习”页面，单击“创建”。 图1 创建作业 在弹出的对话框中配置作业名称相关参数，完成后单击“确定”。 图2 新建作业 在弹出的界面，继续配置联邦训练作业的参数，参数配置参考表1。 图3 配置参数 “数据配置文件”的“可选数据列表”：

查看更多 →

状态码： 200 新建联邦学习作业成功 { "job_id" : "c098faeb38384be8932539bb6fbc28d3" } 状态码 状态码 描述 200 新建联邦学习作业成功 401 操作无权限 500 内部 服务器 错误 父主题： 可信联邦学习作业管理

查看更多 →

删除联邦学习作业 功能介绍 删除联邦学习作业 调用方法 请参见如何调用API。 URI DELETE /v1/{project_id}/leagues/{league_id}/fl-jobs/{job_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是

查看更多 →

深度学习模型预测 深度学习已经广泛应用于图像分类、图像识别和语音识别等不同领域， DLI 服务中提供了若干函数实现加载深度学习模型并进行预测的能力。 目前可支持的模型包括DeepLearning4j 模型和Keras模型。由于Keras它能够以 TensorFlow、CNTK或者 Theano

查看更多 →

Llama2-70b为例，多台机器执行训练启动命令如下。进入代码目录 /home/ma-user/ws/llm_train/AscendSpeed 下执行启动脚本。 多机执行命令为：sh scripts/llama2/0_pl_lora_70b.sh <MASTER_ADDR=xx.xx

查看更多 →