跳到正文
原文
Hugging Face Blog·· 2024-08-19AI 評分59

如何在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B

Deploy Meta Llama 3.1 405B on Google Cloud Vertex AI

AI 導讀

Hugging Face Blog 提供了在 Google Cloud Vertex AI 部署 Meta Llama 3.1 405B Instruct FP8 的操作教程,並示範如何以 Text Generation Inference(TGI)執行線上推理。

來源:Hugging Face Blog · huggingface.co