更新时间：2024-06-24 GMT+08:00
准备代码
本教程中用到的模型软件包如下表所示，请提前准备好。
获取配套版本
本方案支持的软件配套版本和依赖包获取地址如表1所示。
模型软件包结构说明
本教程需要使用到的AscendCloud-3rdLLM-xxx.zip软件包中的关键文件介绍如下。
├──llm_tools #推理工具包
├──llm_evaluation #推理评测代码包
├──benchmark_eval # 精度评测
├── config
├── config.json # 请求的参数，根据实际启动的服务来调整
├── mmlu_subject_mapping.json # 数据集配置
├── ...
├── evaluators
├── evaluator.py # 数据集数据预处理方法集
├── model.py # 发送请求的模块，在这里修改请求响应。目前支持vllm.openai，atb的tgi模板
├── ...
├── eval_test.py # 启动脚本，建立线程池发送请求，并汇总结果
├── service_predict.py # 发送请求的服务。支持vllm的openai，atb的tgi模板
├── ...
├──benchmark_tools #性能评测
├── benchmark.py # 可以基于默认的参数跑完静态benchmark和动态benchmark
├── benchmark_parallel.py # 评测静态性能脚本
├── benchmark_serving.py # 评测动态性能脚本
├── benchmark_utils.py # 抽离的工具集
├── generate_datasets.py # 生成自定义数据集的脚本
├── requirements.txt # 第三方依赖
├── ...
├──llm_inference #推理代码
├── ascend_vllm_adapter #昇腾vLLM使用的算子模块
├── ascend.txt #基于开源vLLM适配过NPU的patch脚本
├── autosmoothquant_ascend.txt #基于开源autosmoothquant适配过NPU的patch脚本
├── build.sh #推理构建脚本
├── requirements.txt # 第三方依赖
父主题： 准备工作
