docker服务未安装 问题现象 日志信息提示“docker: not found”。 日志提示未识别的服务“docker: unrecognized service”。 原因分析 Docker服务未安装导致。 处理方法 通过“安装Docker”步骤安装Docker服务。 父主题：

查看更多 →

推理性能测试 benchmark方法介绍 性能benchmark包括两部分。 静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动

查看更多 →

NPU 服务器 上配置Lite Server资源软件环境 场景描述 本文旨在指导如何在Snt9b 裸金属服务器 上，进行磁盘合并挂载、安装docker等环境配置。在配置前请注意如下事项： 首次装机时需要配置存储、固件、驱动、网络访问等基础内容，这部分配置尽量稳定减少变化。 裸机上的开发形

查看更多 →

docker-logrotate docker-engine 安装docker cd docker && yum install -y *.rpm mkdir -pv /data/docker ln -s /data/docker/ /var/lib/docker 安装docker-compose cd ../docker-compose

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试。 Step1 准备数据集 精度测试需要数据集进行测试。推荐公共数据集mmlu和ceval。下载地址： 表1 精度测试数据集 数据集名称 下载地址 下载说明 mmlu https://huggingface.co/datasets/cais/mmlu

查看更多 →

erd节点，再删除部分Docker节点，直至新的Containerd节点池中节点数量和原Docker节点池中节点数量一致。 若您在原有Docker节点或节点池上部署的负载设置了对应的节点亲和性，则需要将负载的节点亲和性策略配置为的新Containerd节点或节点池。 迁移完成后，删除原有Docker节点池。

查看更多 →

称不能重复。一个组件可以包含多个环境。不能重复，如果要重复，使用instanceName区分。 必填 env 环境名称，代表一个应用在一个地方的部署。一个应用程序根据配置不同可以部署多个环境，比如测试环境，现网环境。每个环境都在一个region部署，具有唯一的region属性。该参数可以为空，代表默认环境。

查看更多 →

执行Docker命令 docker服务未安装 执行Docker命令参数错误 当前用户没有部署权限 镜像不存在 login命令部署失败 build命令部署失败 tag命令部署失败 push命令部署失败 run命令部署失败 start、restart、stop、rm命令部署失败 rmi命令部署失败

查看更多 →

单击，在下列表中选择“编辑”，进入编辑页面。 选择“环境管理”页签，配置主机环境。 单击“新建环境”，配置以下信息，单击“保存”。 表4 新建环境 配置项 值 环境名称 输入“phoenix-env”。 资源类型 选择“主机”。 操作系统 选择“Linux”。 如果无新建环境权限，请联系管理员通过应用的“权限管理”页面添加权限。

查看更多 →

部署应用至E CS 购买并配置ECS 本节使用的是ECS，您也可以使用自己的Linux主机（Ubuntu 16.04操作系统）。 购买 弹性云服务器 。 购买时的必要配置参照下表，表中未列出的配置可根据实际情况选择。 表1 弹性 云服务器 购买配置 配置分类 配置项 配置建议 基础配置 计费模式

查看更多 →

部署到CCI CCI部署前进行Docker相关配置 这里主要配置Docker所在的机器相关信息，Docker相关配置流程： 在IntelliJ IDEA顶部菜单栏中选择File> Setting > Huawei Cloud Toolkit Settings > Docker >

查看更多 →

推理性能测试 benchmark方法介绍 性能benchmark包括两部分。 静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动

查看更多 →

"top_k": -1 "use_beam_search":true "best_of":2 Step5 推理性能和精度测试 推理性能和精度测试操作请参见推理性能测试和推理精度测试。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.906）

查看更多 →

单击，在下列表中选择“编辑”，进入编辑页面。 选择“环境管理”页签，配置主机环境。 单击“新建环境”，配置以下信息，单击“保存”。 表4 新建环境 配置项 值 环境名称 输入“phoenix-env”。 资源类型 选择“主机”。 操作系统 选择“Linux”。 如果无新建环境权限，请联系管理员通过应用的“权限管理”页面添加权限。

查看更多 →

性能测试 性能测试是一种软件测试形式，通过性能测试工具模拟正常、峰值及异常负载等状态下对系统的各项性能指标进行测试的活动，它关注运行系统在特定负载下的性能，可帮助你评估系统负载在各种方案中的功能，涉及系统在负载下的响应时间、吞吐量、资源利用率和稳定性，以帮助确保系统性能满足基线要

查看更多 →

\"crossbow\"], \"type\": \"string\"}}}" }' Step5 推理性能和精度测试 推理性能和精度测试操作请参见推理性能测试和推理精度测试。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.908）

查看更多 →

\"string\"}}}" }' Step5 推理性能和精度测试 推理性能和精度测试操作请参见推理性能测试和推理精度测试。 附录：基于vLLM（v0.3.2）不同模型推理支持的max-model-len长度说明 基于vLLM（v0.5.0）部署推理服务时，不同模型推理支持的max-mod

查看更多 →

如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum install -y docker-engine.aarch64

查看更多 →

sec) ​ 基于TPCH 10 scale的数据，针对上述的查询示例Q1、Q2、Q3。开启与关闭LIMIT OFFSET下推功能的性能对比如下。 图1 性能对比 父主题： LIMIT OFFSET下推

查看更多 →

开发系统和测试系统部署 方案简介 数据规划 准备软件和工具 购买云服务 配置权限和跳转 格式化磁盘 安装SAP HANA 安装SAP应用

查看更多 →

G，请提工单扩容。 Step3 部署在线服务 将Step2 部署模型中创建的AI应用部署为一个在线服务，用于推理调用。 在ModelArts控制台，单击“模型部署 > 在线服务 > 部署”，开始部署在线服务。 设置部署服务名称，选择Step2 部署模型中创建的AI应用。选择专属资

查看更多 →