附录:大模型推理standard常见问题
- 问题2:在推理预测过程中遇到ValueError:User-specified max_model_len is greater than the drived max_model_len。
解决方法:修改config.json文件中的"seq_length"的值,"seq_length"需要大于等于 --max-model-len的值。
config.json存在模型对应的路径下,例如:/data/nfs/benchmark/tokenizer/chatglm3-6b/config.json
- 问题3:使用离线推理时,性能较差或精度异常。
from vllm import LLM, SamplingParams llm = LLM(model="facebook/opt-125m", block_size=128)
- 问题4:使用llama3.1系模型进行推理时,报错:ValueError: 'rope_scaling' must be a dictionary with two fields, 'type' and 'factor', got {'factor': 8.0, 'low_freq_factor': 1.0, 'high_freq_factor': 4.0, 'original_max_position_embeddings': 8192, 'rope_type': 'llama3'}
解决方法:升级transformers版本到4.43.1:pip install transformers --upgrade
- 问题5:使用SmootQuant进行W8A8进行模型量化时,报错:AttributeError: type object 'LlamaAttention' has no attribute '_init_rope'
解决方法:降低transformers版本到4.42:pip install transformers==4.42 --upgrade
- 问题6:部署在线服务报错starting container process caused "exec: \"/home/mind/model/run_vllm.sh\": permission denied"
解决方法:修改AscendCloud-6.3.907-xxx.zip压缩包中llm_inference/ascend_vllm/build_image.sh内容,将'ENTRYPOINT ["/home/mind/model/run_vllm.sh"]'修改为'ENTRYPOINT sh /home/mind/model/run_vllm.sh',并重新构建镜像。
见如下示例:
图1 修改build_images.sh