准备代码

├──llm_tools           #推理工具包
   ├──llm_evaluation  #推理评测代码包
     ├──benchmark_eval   # 精度评测
          ├── config  
                ├── config.json  # 请求的参数，根据实际启动的服务来调整
                ├── mmlu_subject_mapping.json  # 数据集配置
                ├── ...
          ├── evaluators
                ├── evaluator.py # 数据集数据预处理方法集
                ├── model.py  # 发送请求的模块，在这里修改请求响应。目前支持vllm.openai，atb的tgi模板
                ├── ...
          ├── eval_test.py  # 启动脚本，建立线程池发送请求，并汇总结果
          ├── service_predict.py  # 发送请求的服务。支持vllm的openai，atb的tgi模板
          ├── ...
     ├──benchmark_tools  #性能评测
          ├── benchmark.py    # 可以基于默认的参数跑完静态benchmark和动态benchmark
          ├── benchmark_parallel.py  # 评测静态性能脚本
          ├── benchmark_serving.py   # 评测动态性能脚本
          ├── benchmark_utils.py     # 抽离的工具集
          ├── generate_datasets.py    # 生成自定义数据集的脚本
          ├── requirements.txt       # 第三方依赖
          ├── ...
├──llm_inference  #推理代码
          ├── ascend_vllm_adapter  #昇腾vLLM使用的算子模块
          ├── ascend.txt   #基于开源vLLM适配过NPU的patch脚本
          ├── autosmoothquant_ascend.txt   #基于开源autosmoothquant适配过NPU的patch脚本
          ├── build.sh     #推理构建脚本
          ├── requirements.txt       # 第三方依赖