TGI 在 Intel Gaudi 上加速大語言模型推理

Hugging Face 將 Intel Gaudi 硬件支援原生整合至 Text Generation Inference（TGI）主線程式碼，令大語言模型推理服務可直接部署於 Gaudi。整合支援 Gaudi1、Gaudi2、Gaudi3、多卡推理、視覺語言模型及 FP8 量化，並提供版本為 3.2.1-gaudi 的官方 Docker 映像。