Llama 3提示不支持GPTQ量化格式_推理后端未安装导致加载报错的补救
问题核心是vLLM未正确识别GPTQ量化格式，需依次安装gptqmodel==1.12.0、升级vllm==0.8.5、启动时显式指定--quantization gptq参数，并确保模型路径含标准GPTQ文件及PyTorch CUD...
问题核心是vLLM未正确识别GPTQ量化格式，需依次安装gptqmodel==1.12.0、升级vllm==0.8.5、启动时显式指定--quantization gptq参数，并确保模型路径含标准GPTQ文件及PyTorch CUD...