Prime Intellect·· 5 小時前AI 評分53
Prime Intellect 預覽面向公共互聯網的分散式推理堆疊，並開源三個研究程式碼庫
AnnouncementsAPR 28TH, 2025Planetary-Scale Inference: Building a Distributed Inference Engine for the Public Internet
AI 導讀
Prime Intellect 預覽面向消費級 GPU、為公共互聯網 100ms 延遲設計的分散式推理堆疊，並開源三個研究程式碼庫。PRIME-IROH 是管線並行通訊後端，PRIME-VLLM 是可在公共網絡運行的 vLLM 管線並行整合，PRIME-PIPELINE 是快速驗證研究構想的精簡研究沙盒；用戶現已可連接私人硬件，透過公共網絡執行推理。
來源：Prime Intellect · primeintellect.ai