Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。 模型权重文件获取地址请参见表1。 若需要部署量化模型，请参考推理模型量化在Notebook中进行权重转换，并将转换后的权重上传至OBS中。

查看更多 →

AB类均匀权重（Average）评分方案 该方案同样分为AB两类指标，其中A类总分为60分，B类总分为40分，A类指标按均匀权重扣分，B类指标同样按均匀权重扣分。 AB类均匀权重评分原则（Principle） A类60分，各A类指标得分权重相同。 B类40分，各B类指标得分权重相同。

查看更多 →

--per-token --per-channel 参数说明: --model-path：原始模型权重路径。 --quantize-model：体现此参数表示会生成量化模型权重。不需要生成量化模型权重时，不体现此参数 --generate-scale：体现此参数表示会生成量化系数，生成后

查看更多 →

C类均匀权重评分（Average）方案 当用户选择该评分方案时，就不需要设置评测指标的重要度，各个指标按均匀权重进行扣分。 C类均匀权重评分原则（Principle） 各指标得分权重相同。 C类均匀权重评测分数计算实现（Equation） 此方案下总分为100分，在计算得分时不考

查看更多 →

推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.906）

查看更多 →

预训练任务 Step1 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。

查看更多 →

预训练任务 Step1 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。

查看更多 →

LoRA微调训练 Step1 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。

查看更多 →

--int8_kv_cache 运行完成后，会在output_dir下生成量化后的权重。量化后的权重包括原始权重和kvcache的scale系数。 Step2 抽取kv-cache量化系数 该步骤的目的是将Step1使用tensorRT量化工具进行模型量化中生成的scale系数提取到单独文件中，供推理时使用。

查看更多 →

模型验证 模型验证服务是什么含义？ 父主题： 常见问题

查看更多 →

模型选择 目前，学件已经集成了几十维到上百维不同种类的特征库，源于历史各类Case和通用KPI异常检测的算法库。通过数据的特征画像，可以实现自动化的特征推荐和算法推荐。 单击“特征画像”左下方的“模型选择”。 新增“模型选择”内容，如图1所示。 图1 模型选择 单击“模型选择”代码框左侧的图标，运行代码。

查看更多 →

模型管理 在模型管理界面，可以将归档的模型，打包成模型包。 在菜单栏中，单击“模型管理”，进入“模型管理”界面。 单击界面右上角的“新建模型包”，弹出“新建模型包”对话框。 请根据实际情况，修改模型名称、模型版本、模型描述等信息，并勾选归档的学件模型“Learnware”。 单击

查看更多 →

模型验证 模型验证界面已经预置了模型验证服务，本次不使用，仅供参考。下面会提供端到端的操作流程，帮助用户快速熟悉模型验证界面操作。 单击菜单栏中的“模型验证”，进入模型验证界面。 可以看到预置的模型验证任务“hardisk-detect”。 单击“创建”，弹出如图1所示的对话框。

查看更多 →

其中“排行榜”展示所有训练出的模型列表，支持对模型进行如下操作： 单击模型所在行对应“操作”列的“详情”，查看模型超参取值和模型评分结果。 单击模型所在行对应“操作”列的“预测”，在新增的“AutoML模型预测”内容中，选择测试数据集test，运行代码框，查看模型预测结果，如图6所示。

查看更多 →

资产模型 创建资产模型 获取资产模型列表 获取资产模型详情 修改资产模型 删除资产模型 父主题： API列表

查看更多 →

模型训练 模型训练新建模型训练工程的时候，选择通用算法有什么作用？ 使用训练模型进行在线推理的推理入口函数在哪里编辑？ 通过数据集导入数据后，在开发代码中如何获取这些数据？ 如何在模型训练时，查看镜像中Python库的版本？ 如何在模型训练时，设置日志级别？ 如何自定义安装python第三方库？

查看更多 →

模型推理 将数据输入模型进行推理，推理结束后将推理结果返回。 接口调用 virtual HiLensEC hilens::Model::Infer(const InferDataVec & inputs, InferDataVec & outputs) 参数说明 表1 参数说明 参数名

查看更多 →

模型训练 模型训练简介 创建模型训练工程 创建联邦学习工程 创建训练服务 创建超参优化服务 创建Tensorboard 打包训练模型 父主题： 用户指南

查看更多 →

终止条件。训练完成后，可以单击查看优化报告，得到运行超参不同取值下的模型评分和试验时长。详情请参见创建超参优化服务。 单击“开始训练”，提交模型训练任务。 如果“训练任务状态”一直处在“RUNNING”中，模型训练服务的前台就会一直给后台发消息，查询当前训练任务的状态。即使平台访

查看更多 →

分词模型 模型名称 res-word-segmentation 功能1 -- 关键词提取（未排序） 将待处理的文本进行分词处理并筛选保留关键词。 URL POST 服务部署成功后返回的预测地址。 请求消息 请求参数请参见表1 请求参数说明。 表1 请求参数说明 参数名称 是否必选

查看更多 →

在首页导航栏，进入“模型训练”页面（选择摄像机型号后，模型训练自动解锁），单击“华为训练云服务”进入ModelArts模型训练平台。如果开发者有自己训练好的模型， 不需要进入该步骤。 其中， ModelArts是面向开发者的一站式 AI开发平台 ，属于华为云解决方案，需要按照华为云市场要求进行注册与使用。

查看更多 →