ACCESS 的高能源效益 AI 晶片研究項目獲 RAISe+ 資助
ACCESS 主導的「High Energy-Efficient Edge Chip & System for Large AI Models」研究項目獲創新科技署 RAISe+ 計劃資助,項目由香港科技大學教授兼 ACCESS 副中心主任 C.Y. TSUI 領導。該項目是香港科技大學在 RAISe+ 第二輪獲選的七個項目之一。
ACCESS 主導的「High Energy-Efficient Edge Chip & System for Large AI Models」研究項目獲創新科技署 RAISe+ 計劃資助,項目由香港科技大學教授兼 ACCESS 副中心主任 C.Y. TSUI 領導。該項目是香港科技大學在 RAISe+ 第二輪獲選的七個項目之一。
ACCESS 在日內瓦第 50 屆國際發明展奪得兩項金獎,獲獎作品涵蓋便攜式基因組分析原型及便攜式醫療裝置用 AI 加速器。基因組分析原型較現成 AI 晶片產品吞吐量高 5.61×、能源效率高 301.6×;醫療 AI 加速器較傳統數碼晶片能源效率高 10×。
Hugging Face Blog 的教程示範以 React Native 建立手機應用,在裝置本地執行 LLM 聊天。應用從 Hugging Face Hub 下載 GGUF 模型,並以 llama.rn(llama.cpp 的 binding)載入,教程涵蓋 Android 和 iOS。文章亦介紹 GGUF 量化格式、手機選模取捨,以及逐 token 生成與推理速度追蹤等功能。
推薦理由:文章按模型選擇、GGUF 下載與載入、聊天介面逐步拆解 React Native 實作,並説明量化格式與設備能力的取捨,可作為端側 LLM 應用的開發參考。
Mistral AI 發佈 Ministral 3B 和 Ministral 8B,面向裝置端運算及邊緣場景。兩款模型支援最高 128k 上下文長度(vLLM 目前為 32k),Ministral 8B 採用交錯式滑動窗口注意力模式。
推薦理由:文章以多個評測類別對照 Ministral 3B、8B 與 Gemma 2、Llama 3.2、Llama 3.1、Mistral 7B 等模型,涵蓋預訓練及 Instruct 版本,便於參照各模型表現。
Meta 發佈 Llama 3.2,共有 10 個開放權重模型,包括 5 個多模態模型和 5 個純文字模型,涵蓋 11B、90B 視覺模型及面向裝置端的 1B、3B 純文字模型。
推薦理由:Llama 3.2 涵蓋 11B、90B 視覺模型與 1B、3B 裝置端純文字模型,並列出 Transformers、llama.cpp 等運行示例,可作為選擇部署路徑的參考。
ACCESS 在日內瓦第 49 屆國際發明展憑 AC-Transformer 和 AC-Copilot 兩項研發項目獲得銀獎。團隊亦在 InnoEX 展示 NiM、AC-Transformer 及 AC-Copilot,並於 HKUST Unicorn Day 展示 AC-Transformer 和 AC-CVXPY。
ACCESS 作為聯合主辦方,於 2024 年 7 月 10 日的「HKUST Industry Engagement Day Plus」展示兩項研究成果。成果包括以軟硬件協同設計支援大型 AI 模型邊緣運算的晶片與系統,以及金融計算硬件加速器 AC-CVXPY。ACCESS 首席研究員 Mark MOK 在活動上演講,探討技術轉移、AI 邊緣運算的挑戰及 Edge AI 2.0。
ASTRI 與 Intel 合作推進 5G SA 核心網絡及 C-V2X 路側邊緣 AI,推動 5G、C-V2X 與 AI 融合應用。ASTRI 的 5G UPF 在單一伺服器上可處理超過 200Gbps 流量而不會遺失封包。其 C-V2X Edge Software 透過路側即時物件識別偵測道路即將發生的危險,並經 C-V2X 通訊向相關司機發出即時提示。