更新时间：2024-07-12 GMT+08:00
准备代码
本教程中用到的模型软件包如下表所示，请提前准备好。
模型软件包结构说明
本教程需要使用到的AscendCloud-6.3.906中的AscendCloud-LLM-xxx.zip软件包和算子包AscendCloud-OPP，AscendCloud-LLM关键文件介绍如下。
|——AscendCloud-LLM
├──llm_inference # 推理代码
├──ascend_vllm
├── vllm_npu # 推理源码
├── ascend_vllm-0.4.2-py3-none-any.whl # 推理安装包
├── build.sh # 推理构建脚本
├── vllm_install.patch # 社区昇腾适配的补丁包
├──llm_tools # 推理工具包
├──AutoSmoothQuant # W8A8量化工具
├── ascend_autosmoothquant_adapter # 昇腾量化使用的算子模块
├── autosmoothquant # 量化代码
├── build.sh # 安装量化模块的脚本
├──awq # W4A16量化工具
├──convert_awq_to_npu.py # awq权重转换脚本
├──llm_evaluation # 推理评测代码包
├──benchmark_tools #性能评测
├── benchmark.py # 可以基于默认的参数跑完静态benchmark和动态benchmark
├── benchmark_parallel.py # 评测静态性能脚本
├── benchmark_serving.py # 评测动态性能脚本
├── benchmark_utils.py # 抽离的工具集
├── generate_datasets.py # 生成自定义数据集的脚本
├── requirements.txt # 第三方依赖
├──benchmark_eval #精度评测
├──opencompass.sh #运行opencompass脚本
├──start.sh #安装opencompass脚本
├──vllm_api.py #启动vllm api服务器
├──vllm.py #构造vllm评测配置脚本名字
父主题： 准备工作
