推理部署
当前文档页面已日落。
开源大模型端到端的部署和运维解决方案指导,最新文档请参见《DeepSeek基于Lite Server&Cluster推理解决方案指导》。
Ascend-VLLM推理框架相关开发指南,支持的模型列表和推理特性等内容,请参见《主流开源大模型基于Lite Server适配Ascend-vLLM PyTorch NPU推理指导》。
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当前文档页面已日落。
开源大模型端到端的部署和运维解决方案指导,最新文档请参见《DeepSeek基于Lite Server&Cluster推理解决方案指导》。
Ascend-VLLM推理框架相关开发指南,支持的模型列表和推理特性等内容,请参见《主流开源大模型基于Lite Server适配Ascend-vLLM PyTorch NPU推理指导》。