自定义部署服务

概念解释

• Ascend-vLLM框架：

  Ascend-vLLM是华为云针对NPU优化的大模型推理框架，继承了vLLM的优点，并通过特定优化实现了更高的性能和易用性。它使得在NPU卡上运行大模型变得更加高效和便捷，为用户带来了极大的便利和性能提升。Ascend-vLLM可广泛应用于各种大模型推理任务，特别是在需要高性能和高效率的场景中，如自然语言处理、多模态理解等。

• PD分离

  大模型推理是自回归的过程，有以下两阶段：

  • Prefill阶段（全量推理）

    将用户请求的prompt传入大模型，进行计算，中间结果写入KVCache并推出第1个token，属于计算密集型。

  • Decode阶段（增量推理）

    将请求的前1个token传入大模型，从显存读取前文产生的KVCache再进行计算，属于访存密集型。

  PD分离部署场景下，大模型推理的Prefill阶段（全量推理）和Decode阶段（增量推理）分别部署在不同的实例中同时进行推理，用于提高推理效率。

• 混部

  相对于PD分离来说，混部是将Prefill和Decode阶段都放在一个实例中部署执行。

模板参数

不同的任务模板会有不同的参数。参数类型有预置模板参数和自定义参数，如果是预置参数，不支持删除；如果是自定义参数，支持删除，自定义参数会以环境变量的方式传到业务容器中。

支持添加自定义参数，或者通过JSON编辑自定义参数。预置参数和自定义参数加起来不能超过20条。