跳到正文
IT之家·· 2 天前AI 評分44

高通攜手 Cirrascale,啟動 AI200 推理加速器客戶評估

高通携手 Cirrascale,启动自家推理加速器 AI200 客户评估

AI 導讀

高通攜手 AI 私有雲企業 Cirrascale,向部分客戶開放 Dragonfly AI200 推理加速器評估,讓客戶透過雲端環境測試 AI 工作負載在該晶片上的表現。AI200 是高通首款機架級人工智能解決方案,單卡配備 768GB LPDDR5X 記憶體。每個 140kW 液冷 ORv3 機架由 56 卡組成,總記憶體達 43TB,可在單一機架中推理 10T 級超大模型。

正文

IT之家 11 月 20 日消息,Qualcomm(高通)当地时间本月 17 日宣布,其携手 AI 私有云企业 Cirrascale,向部分客户开放 Dragonfly(飞龙)AI200 推理加速器的评估。客户可通过云环境探索其 AI 工作负载在该芯片上的表现。

Dragonfly AI200 是高通的第一款机架级人工智能解决方案,单卡配备 768GB LPDDR5X 内存,支持 PCIe Gen6 纵向扩展、RoCE 横向扩展。

其每个 140kW 液冷 ORv3 机架由 56 卡组成,总内存达 43TB,提供 0.414 PB/s 内存带宽,可在单一机架中运行 10T 级超大模型的推理,提供更低的总持有成本。

來源:IT之家 · ithome.com