跳到正文
原文
Cerebras:Blog·· 6 小時前AI 評分63

Cerebras 如何讓 GPT-5.6 Sol 達到每秒最高輸出 750 個 tokens

How Cerebras serves GPT-5.6 Sol at up to 750 tokens per second

AI 導讀

Cerebras 為 OpenAI 正在預覽的 GPT-5.6 Sol Ultrafast 提供服務,最高可達每秒 750 個輸出 tokens。它與標準 OpenAI endpoint 使用相同的模型架構、權重、精度、上下文設定及推理設定;Cerebras WSE-3 配備 44 GB SRAM,分佈在 900,000 個核心旁,讓權重接近計算單元。

來源:Cerebras:Blog · cerebras.ai