Hugging Face 將 AutoGPTQ 整合至 Transformers，支援大語言模型 GPTQ 量化

Hugging Face 將 AutoGPTQ 整合至 Transformers，支援以 GPTQ 將大語言模型量化至 8、4、3 或 2-bit。4-bit 量化的精度下降可忽略，小批次推理速度與 fp16 基準相若；整合支援 NVIDIA GPU 和 ROCm 驅動的 AMD GPU。