密码。 “部署超时时间” 用于设置单个模型实例的超时时间，包括部署和启动时间。默认值为20分钟，输入值必须在3到120之间。 “添加模型版本进行灰度发布” 当选择的模型有多个版本时，您可以添加多个模型版本，并配置其分流占比，完成多版本和灵活流量策略的灰度发布，实现模型版本的平滑过渡升级。

查看更多 →

为Notebook中权重路径；若服务部署在生产环境中，该参数为本地模型权重路径。 --served-model-name：仅在以openai接口启动服务时需要该参数。若服务部署在Notebook中，该参数为Notebook中权重路径；若服务部署在生产环境中，该参数为服务启动脚本run_vllm

查看更多 →

静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动，且输入输出长度也在一定范围内变化时，模型的延迟和吞吐。该场景能模拟实际业务下动态的发

查看更多 →

能力。本案例将指导用户完成原生第三方推理框架镜像到ModelArts推理自定义引擎的改造。自定义引擎的镜像制作完成后，即可以通过模型导入对模型版本进行管理，并基于模型进行部署和管理服务。 适配和改造的主要工作项如下： 图1 改造工作项 针对不同框架的镜像，可能还需要做额外的适配工作，具体差异请见对应框架的操作步骤。

查看更多 →

已经上传benchmark验证脚本到推理容器中。如果在Step5 进入容器安装推理依赖软件步骤中已经上传过AscendCloud-LLM-x.x.x.zip并解压，无需重复执行。 进入benchmark_tools目录下，切换一个conda环境，执行如下命令安装性能测试的关依赖。 conda

查看更多 →

已经上传benchmark验证脚本到推理容器中。如果在Step5 进入容器安装推理依赖软件步骤中已经上传过AscendCloud-3rdLLM-x.x.x.zip并解压，无需重复执行。 进入benchmark_tools目录下，执行如下命令安装性能测试的关依赖。 pip install

查看更多 →

下： prefill_latency（首token时延）：请求从到达服务开始到生成首token的耗时 model_prefill_latency（模型计算首token时延）：服务从开始计算首token到生成首token的耗时 avg_decode_latency（平均增量toke

查看更多 →

otebook中权重路径；如果服务部署在生产环境中，该参数为本地模型权重路径。 --served-model-name：仅在以openai接口启动服务时需要该参数。如果服务部署在Notebook中，该参数为Notebook中权重路径；如果服务部署在生产环境中，该参数为服务启动脚本run_vllm

查看更多 →

域名 。 通过Nginx配置URL转发 用户 服务器 上部署了多个网站放置在不同目录下，或者购买了多个服务器部署了不同的网站，访问这些网站时可以配置域名转发到不同目录URL，即配置URL转发。 例如用户部署了博客、新闻、活动、应用商店等多个网站，可以为每个网站配置独立的域名转发到不同的URL进行访问。

查看更多 →

目前性能测试还不支持投机推理能力。 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在Step4 制作推理镜像步骤中已经上传过AscendCloud-LLM-x.x.x.zip并解压，无需重复执行。 进入be

查看更多 →

模型转换失败怎么办？ 如果模型转换失败，可通过查看日志信息来查看模型转换失败的原因，进而针对性地解决问题。 查看模型转换日志：通过查看模型转换日志，定位模型转换失败的原因。 解决模型转换问题：针对模型转换失败的原因解决问题，此处列举常见的问题原因以及解决方法。 查看模型转换日志

查看更多 →

otebook中权重路径；如果服务部署在生产环境中，该参数为本地模型权重路径。 --served-model-name：仅在以openai接口启动服务时需要该参数。如果服务部署在Notebook中，该参数为Notebook中权重路径；如果服务部署在生产环境中，该参数为服务启动脚本run_vllm

查看更多 →

otebook中权重路径；如果服务部署在生产环境中，该参数为本地模型权重路径。 --served-model-name：仅在以openai接口启动服务时需要该参数。如果服务部署在Notebook中，该参数为Notebook中权重路径；如果服务部署在生产环境中，该参数为服务启动脚本run_vllm

查看更多 →

下： prefill_latency（首token时延）：请求从到达服务开始到生成首token的耗时 model_prefill_latency（模型计算首token时延）：服务从开始计算首token到生成首token的耗时 avg_decode_latency（平均增量toke

查看更多 →

otebook中权重路径；如果服务部署在生产环境中，该参数为本地模型权重路径。 --served-model-name：仅在以openai接口启动服务时需要该参数。如果服务部署在Notebook中，该参数为Notebook中权重路径；如果服务部署在生产环境中，该参数为服务启动脚本run_vllm

查看更多 →

999 删除TFJob。 kubectl delete -f tf-mnist.yaml 使用GPU训练 TFJob可在GPU场景下进行，该场景需要集群中包含GPU节点，并安装合适的驱动。 在TFJob中指定GPU资源。 创建tf-gpu.yaml文件，示例如下： 该示例的主要功能是基

查看更多 →

管理NLP大模型部署任务 模型更新、修改部署 成功创建部署任务后，如需修改已部署的模型或配置信息，可以在详情页面单击右上角的“模型更新”或“修改部署”进行调整。更新模型时可以替换模型，但在修改部署时模型不可替换。 在“模型更新”或“修改部署”后进行升级操作时，可选择全量升级或滚动升级两种方式：

查看更多 →

调用MaaS部署的模型服务 在ModelArts Studio大模型即服务平台部署成功的模型服务支持在其他业务环境中调用。 约束限制 只有“状态”是“运行中”的模型服务才支持被调用。 步骤1：获取API Key 在调用MaaS部署的模型服务时，需要填写API Key用于接口的鉴权认证。

查看更多 →

型”，参考表1完成部署参数设置，启动模型部署。 表1 NlP大模型部署参数说明 参数分类 部署参数 参数说明 部署配置 模型来源 选择“盘古大模型”。 模型类型 选择“NLP大模型”。 部署模型 选择需要进行部署的模型。 部署方式 云上部署：算法部署至平台提供的资源池中。 最大TOKEN长度

查看更多 →

下： prefill_latency（首token时延）：请求从到达服务开始到生成首token的耗时 model_prefill_latency（模型计算首token时延）：服务从开始计算首token到生成首token的耗时 avg_decode_latency（平均增量toke

查看更多 →

查询服务事件日志 功能介绍 查询服务事件日志，包含服务的操作记录及部署过程中的关键动作、部署失败原因。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v1

查看更多 →