跳到正文
原文
Hugging Face Blog·· 2024-06-04AI 評分43

Intel Gaudi 支援更快速的輔助生成

Faster assisted generation support for Intel Gaudi

AI 導讀

Hugging Face 為 Intel Gaudi 適配並優化輔助生成,並將支援納入 Optimum Habana。該方法先由草稿模型生成 K 個 tokens,再交由目標模型評估;大型 Transformer 模型通常可提速約 2x,並維持與自回歸採樣相同的採樣品質。

來源:Hugging Face Blog · huggingface.co