文档首页/ AI开发平台ModelArts/ 最佳实践/ LLM大语言模型训练推理/ 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.908）/ 准备工作/ 准备代码
更新时间：2024-09-14 GMT+08:00
查看PDF
分享

准备代码

本教程中用到的模型软件包如下表所示，请提前准备好。

软件配套版本

本方案支持的软件配套版本和依赖包获取地址如表1所示。

表1 软件配套版本和获取地址

软件名称

说明

下载地址

AscendCloud-6.3.908-xxx.zip

说明：

软件包名称中的xxx表示时间戳。

包含了本教程中使用到的推理部署代码和推理评测代码、推理依赖的算子包。代码包具体说明请参见模型软件包结构说明。

获取路径：Support-E

说明：

如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。

模型软件包结构说明

本教程需要使用到的AscendCloud-6.3.908中的AscendCloud-LLM-xxx.zip软件包和算子包AscendCloud-OPP，AscendCloud-LLM关键文件介绍如下。 
|——AscendCloud-LLM
 ├──llm_inference  # 推理代码
    ├──ascend_vllm 
          ├── vllm_npu       # 推理源码
          ├── ascend_vllm-0.5.0-py3-none-any.whl   # 推理安装包
          ├── build.sh                 # 推理构建脚本
          ├── vllm_install.patch       # 社区昇腾适配的补丁包
          ├── Dockerfile               # 推理构建镜像dockerfile
          ├── build_image.sh           # 推理构建镜像启动脚本
 ├──llm_tools           # 推理工具包
   ├──AutoSmoothQuant  # W8A8量化工具
          ├── ascend_autosmoothquant_adapter  # 昇腾量化使用的算子模块
          ├── autosmoothquant                 # 量化代码
          ├── build.sh                        # 安装量化模块的脚本
   ├──AutoAWQ              # W4A16量化工具
        ├──convert_awq_to_npu.py   # awq权重转换脚本 
        ├──quantize.py   # 昇腾适配的量化转换脚本
        ├──build.sh      # 安装量化模块的脚本
   ├──llm_evaluation    # 推理评测代码包
      ├──benchmark_tools    #性能评测
          ├── benchmark.py     # 可以基于默认的参数跑完静态benchmark和动态benchmark
          ├── benchmark_parallel.py   # 评测静态性能脚本
          ├── benchmark_serving.py    # 评测动态性能脚本
          ├── benchmark_utils.py      # 抽离的工具集
          ├── generate_datasets.py    # 生成自定义数据集的脚本
          ├── requirements.txt        # 第三方依赖
      ├──benchmark_eval #精度评测
          ├──opencompass.sh       #运行opencompass脚本
          ├──install.sh             #安装opencompass脚本
          ├──vllm_api.py          #启动vllm api服务器
          ├──vllm.py             #构造vllm评测配置脚本名字

父主题： 准备工作

相关文档