版本说明和要求
版本差异说明
本文档支持ModelArts 6.5.906及以后版本，最新版本是6.5.907。推荐使用最新版本配套的软件包和镜像。
|
版本 |
说明 |
|---|---|
|
6.5.907 |
相对于6.5.906版本，6.5.907有以下变更点： 1. 大语言推理框架：新增Qwen3-Embedding系列/Qwen3-Reranker系列/Qwen3-Coder-480B-A35B。 2. 多模态推理框架：新增InternVL3系列/Qwen2.5 VL对128K长序列支持。 3. 解决6.5.906版本若干稳定性问题。 |
资源规格要求
本文档中的模型运行环境是ModelArts Lite的弹性节点Server。推荐使用Snt9b和Snt9b23资源。
请参考Lite Server资源开通，购买Lite Server资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。
当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。
Ascend-vLLM版本
本方案支持vLLM的v0.9.0版本。
镜像版本
本方案中用到的基础镜像地址和配套版本关系如下表所示，请提前了解。
|
镜像用途 |
镜像地址 |
配套版本 |
|---|---|---|
|
Snt9b基础镜像 |
西南-贵阳一： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_ascend:pytorch_2.5.1-cann_8.2.rc1-py_3.11-hce_2.0.2503-aarch64-snt9b-20250729103313-3a25129 中国-香港： swr.ap-southeast-1.myhuaweicloud.com/atelier/pytorch_ascend:pytorch_2.5.1-cann_8.2.rc1-py_3.11-hce_2.0.2503-aarch64-snt9b-20250729103313-3a25129 |
Cann：CANN 8.2.RC1 PyTorch：pytorch_2.5.1 |
|
Snt9b23基础镜像 |
西南-贵阳一： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_ascend:pytorch_2.5.1-cann_8.2.rc1-py_3.11-hce_2.0.2503-aarch64-snt9b23-20250729103313-3a25129 中国-香港 swr.ap-southeast-1.myhuaweicloud.com/atelier/pytorch_ascend:pytorch_2.5.1-cann_8.2.rc1-py_3.11-hce_2.0.2503-aarch64-snt9b23-20250729103313-3a25129 |
软件配套版本
本方案支持的软件配套版本和依赖包获取地址如表3所示。
|
软件包名称 |
软件包说明 |
获取地址 |
|---|---|---|
|
AscendCloud-6.5.907-20250910155849.zip |
推理框架和算子代码包（适用于Snt9b机型） |
获取路径：Support-E，在此路径中查找下载ModelArts 6.5.907版本。
说明：
如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 |
|
AscendCloud-6.5.907-20250910161027.zip |
推理框架和算子代码包（适用于Snt9b23机型） |
软件包结构说明
|——AscendCloud-LLM
├──llm_inference # 推理代码
├──ascend_vllm
├── ascend_vllm # 推理源码
├── install.sh # 安装脚本
├── version.info # 版本信息
├── Dockerfile # 推理构建镜像dockerfile
├── vllm_list.patch # 基于vllm推理增量补丁
├── vllm_service_profile.patch # 基于vllm推理增量补丁
├── vllm_serving_chat.patch # 基于vllm推理增量补丁
├── vllm-log-rotating.patch # 基于vllm推理增量补丁
├──llm_tools # 推理工具包
├──best_practices # 解决方案最佳实践包
├──launch_server # 一键式启动脚本
├──llm_evaluation # MME精度测评工具
├──PD_separate # PD分离
├──simple_evals # 精度评测工具
├──acs_bench-1.0.1-py3-none-any.whl # benchmark性能测试工具包
├──acs_service_profiler-1.0.1-py3-none-any.whl #service profiling采集工具包
