文档首页/
AI开发平台ModelArts/
最佳实践/
LLM大语言模型训练推理/
主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.906）/
附录：大模型推理常见问题
更新时间：2024-07-12 GMT+08:00
附录：大模型推理常见问题
问题1：在推理预测过程中遇到NPU out of memory
解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。
问题2：在推理预测过程中遇到ValueError:User-specified max_model_len is greater than the drived max_model_len
解决方法：
修改config.json文件中的"seq_length"的值，"seq_length"需要大于等于 --max-model-len的值。
config.json存在模型对应的路径下，例如：/data/nfs/benchmark/tokenizer/chatglm3-6b/config.json
