迁移学习 如果当前数据集的特征数据不够理想，而此数据集的数据类别和一份理想的数据集部分重合或者相差不大的时候，可以使用特征迁移功能，将理想数据集的特征数据迁移到当前数据集中。 进行特征迁移前，请先完成如下操作： 将源数据集和目标数据集导入系统，详细操作请参见数据集。 创建迁移数据

查看更多 →

推理服务测试 推理服务在线测试支持文件、图片、json三种格式。通过部署为在线服务Predictor可以完成在线推理预测。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 场景：部署在线服务Predictor的推理预测

查看更多 →

处理、机器翻译、 语音识别 、智能问答等领域。 向量化模型 向量化模型是将文本数据转换为数值向量的过程。常用于将文本转换为机器可以处理的形式，以便进行各种任务，如文本分类、情感分析、机器翻译等。 多模态模型 多模态模型是指能够处理多种类型数据（如文本、图像、音频等）的机器学习模型。这

查看更多 →

"w")) # 推理脚本入口 if __name__ == '__main__': # 获取数据集路径与推理结果存放路径，用户根据命令行参数获取数据集位置和推理结果存储位置 parser = argparse.ArgumentParser() parser.add

查看更多 →

end Snt9B。 如果使用DevServer资源，请参考DevServer资源开通，购买DevServer资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169

查看更多 →

080/generate。此处的${docker_ip}替换为宿主机实际的IP地址，端口号8080来自前面配置的服务端口。 few_shot：开启少量样本测试后添加示例样本的个数。默认为3，取值范围为0~5整数。 is_devserver： 是否devserver部署方式，Tru

查看更多 →

n上的资源和Ascend Snt9B。 如果使用DevServer资源，请参考DevServer资源开通，购买DevServer资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169

查看更多 →

来进行ppl精度测试。本质上使用transformers进行推理，因为没有框架的优化，执行时间最长。另一方面，由于是使用transformers推理，结果也是最稳定的。对单卡运行的模型比较友好，算力利用率比较高。对多卡运行的推理，缺少负载均衡，利用率低。 在昇腾卡上执行时，需要在

查看更多 →

s Lite的DevServer。推荐使用“西南-贵阳一”Region上的资源和Ascend Snt9B。 如果使用DevServer资源，请参考DevServer资源开通，购买DevServer资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 当容器

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，请在Notebook的JupyterLab中另起一个Terminal，进行推理精度测试。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evaluation目录中，代码目录结构如下。

查看更多 →

在“模型仓库”页面单击导入模型包对应的“”，发布推理服务，如图7所示。 图7 发布推理服务 在“发布推理服务”页面配置“计算节点规格”等信息，单击“确定”，如图8所示。 图8 配置推理服务发布信息 单击推理服务菜单栏的“推理服务”，查看模型包推理服务部署进展，如图9所示。 图9 推理服务部署 待推理服务部署完成，左

查看更多 →

py”中。当学件模型打包发布成在线推理服务时，可以使用推理代码，完成快速在线推理验证。 单击“测试模型”左下方的“开发推理”。 等待推理代码生成完成后，可在左侧目录树中，看到生成的推理文件“learnware_predict.py”。 用户可以根据实际情况，编辑修改推理文件中的代码。 父主题：

查看更多 →

推理部署 AI应用管理 服务部署 服务预测

查看更多 →

多详细参数解释请参见部署在线服务。 图3 部署在线服务 单击“下一步”，再单击“提交”，开始部署服务，待服务状态显示“正常”服务部署完成。 图4 服务部署完成 Step4 调用在线服务 进入在线服务详情页面，选择“预测”，设置请求路径：“/generate”，输入预测代码“{"prompt":

查看更多 →

在推理生产环境中部署推理服务 本章节介绍如何在ModelArts的推理生产环境（ModelArts控制台的在线服务功能）中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。

查看更多 →

发布推理服务 模型训练服务支持一键发布在线推理服务。用户基于成熟的模型包，创建推理服务，直接在线调用服务得到推理结果。操作步骤如下。 单击模型包“操作”列的，弹出“发布推理服务”对话框，如图1所示。 图1 推理服务 配置对话框参数如表1所示。 表1 创建推理服务参数配置 参数名称

查看更多 →

部署推理服务 本章节介绍如何启动推理服务。 前提条件 已准备好DevServer环境。推荐使用“西南-贵阳一”Region上的DevServer和昇腾Snt9b资源。 确保容器可以访问公网。 Step1 检查环境 SSH登录机器后，检查NPU设备检查。运行如下命令，返回NPU设备信息。

查看更多 →

如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 驱动版本要求是23.0.6。如果不符合要求请参考安装固件和驱动章节升级驱动。 检查docker是否安装。 docker -v #检查docker是否安装 如

查看更多 →

部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.909）

查看更多 →

原因分析 该机器在进行过某些Windows功能的启用或关闭后未进行重启。 处理方法 请重启机器。 must log in to complete the current configuration or the configuratio\r\nn in progress must be

查看更多 →

为模型提供了深度和广度的语言学习基础，使其能够生成更加自然、准确且符合语境的文本。 通过对海量数据的深入学习和分析，盘古大模型能够捕捉语言中的细微差别和复杂模式，无论是在词汇使用、语法结构，还是语义理解上，都能达到令人满意的精度。此外，模型具备自我学习和不断进化的能力，随着新数据

查看更多 →