初识ModelArts 父主题： 图解ModelArts

查看更多 →

ModelArts网络 ModelArts网络与VPC介绍 ModelArts网络是承载ModelArts资源池节点的网络连接，基于华为云的VPC进行封装，对用户仅提供网络名称以及CIDR网段的选择项，为了防止在打通VPC的时候有网段的冲突，因此提供了多个CIDR网段的选项，用户可以根据自己的实际情况进行选择。

查看更多 →

模型推理代码文件必选，其文件名必须为“customize_service.py”，“model”文件夹下有且只能有1个推理代码文件，模型推理代码编写请参见模型推理代码编写说明。 使用模板导入的模型包结构如下所示： model/ │ ├── 模型文件 //必

查看更多 →

模型推理代码文件必选，其文件名必须为“customize_service.py”，“model”文件夹下有且只能有1个推理代码文件，模型推理代码编写请参见模型推理代码编写说明。 使用模板导入的模型包结构如下所示： model/ │ ├── 模型文件 //必

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

推理场景介绍 方案概览 本方案介绍了在ModelArts Lite DevServer上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬

查看更多 →

为docker镜像的ID，在宿主机上可通过docker images查询得到。 Step5 进入容器安装推理依赖软件 通过容器名称进入容器中。默认使用ma-user用户执行后续命令。 docker exec -it ${container_name} bash 上传代码和权重到宿

查看更多 →

few_shot：开启少量样本测试后添加示例样本的个数。默认为3，取值范围为0~5整数。 is_devserver： 是否devserver部署方式，True表示DevServer模式。False表示ModelArts Standard模式。 model_name：评测模型名称，llama2。 dep

查看更多 →

为docker镜像的ID，在宿主机上可通过docker images查询得到。 Step5 进入容器安装推理依赖软件 通过容器名称进入容器中。默认使用ma-user用户执行后续命令。 docker exec -it ${container_name} bash 上传代码和权重到宿

查看更多 →

"w")) # 推理脚本入口 if __name__ == '__main__': # 获取数据集路径与推理结果存放路径，用户根据命令行参数获取数据集位置和推理结果存储位置 parser = argparse.ArgumentParser() parser.add

查看更多 →

繁多的AI工具安装配置、数据准备、模型训练慢等是困扰AI工程师的诸多难题。为解决这个难题，将一站式的 AI开发平台 （ModelArts）提供给开发者，从数据准备到算法开发、模型训练，最后把模型部署起来，集成到生产环境。一站式完成所有任务。 图1 功能总览 ModelArts特色功能如下所示：

查看更多 →

阶段 任务 说明 准备工作 准备环境 本教程案例是基于ModelArts Lite DevServer运行的，需要购买并开通DevServer资源。 准备代码 准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据，可以用Alpaca数据集，也可以使用自己准备的数据集。

查看更多 →

阶段 任务 说明 准备工作 准备环境 本教程案例是基于ModelArts Lite DevServer运行的，需要购买并开通DevServer资源。 准备代码 准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据，可以用Alpaca数据集，也可以使用自己准备的数据集。

查看更多 →

闭并行可以减少推理时延，对于词表较大的模型（如qwen系模型），开启并行可以减少显存占用，以提升推理吞吐量。 Step2 部署模型 在ModelArts控制台的AI应用管理模块中，将模型部署为一个AI应用。 登录ModelArts控制台，单击“AI应用管理 > AI应用 > 创建”，开始创建AI应用。

查看更多 →

（可选）安全组，默认为空 transformer = model_instance.deploy_transformer( service_name="service_transformer_name", infer_type="batch",

查看更多 →

模型推理代码文件必选，其文件名必须为“customize_service.py”，“model”文件夹下有且只能有1个推理代码文件，模型推理代码编写请参见模型推理代码编写说明。 使用模板导入的模型包结构如下所示： model/ │ ├── 模型文件 //必

查看更多 →

模型推理代码文件必选，其文件名必须为“customize_service.py”，“model”文件夹下有且只能有1个推理代码文件，模型推理代码编写请参见模型推理代码编写说明。 使用模板导入的模型包结构如下所示： model/ │ ├── 模型文件 //必

查看更多 →

云端推理框架 推理服务 异步推理 模型仓库 模板管理 父主题： 用户指南

查看更多 →

实时推理场景 特征 在实时推理应用场景中，工作负载具有以下一个或多个特征： 低延迟 单次请求的处理时效性要求高，RT（Response Time）延迟要求严格，90%的长尾延时普遍在百毫秒级别。 功能优势 函数计算为实时推理工作负载提供以下功能优势： 预留GPU实例 函数计算平台

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试。 前提条件 确保容器可以访问公网。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-3rdLLM-xxx.zip的llm_tools/llm_evaluation（6.3.905版本）目

查看更多 →

905-xxx.zip代码包已包含数据集。 精度测试使用的是openai接口，部署服务的时候请使用openai-api启动，暂不支持vllm-api接口。 获取精度测试代码。精度测试代码存放在代码包AscendCloud-3rdLLM的/llm_evaluation目录中，代码目录结构如下：

查看更多 →