Hugging Face Blog·· 2024-08-19AI 評分59
如何在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B
Deploy Meta Llama 3.1 405B on Google Cloud Vertex AI
AI 導讀
Hugging Face Blog 提供了在 Google Cloud Vertex AI 部署 Meta Llama 3.1 405B Instruct FP8 的操作教程,並示範如何以 Text Generation Inference(TGI)執行線上推理。
來源:Hugging Face Blog · huggingface.co