Exowatt 透過 Amazon SageMaker AI serverless model customization,微調模型準確度超越前沿模型
Exowatt 以 Amazon SageMaker AI serverless model customization 微調 Qwen3-1.7B 和 Qwen3-14B,應用於端側告警分流和雲端能源市場分析,兩者在各自測試中均勝過前沿模型。
Exowatt 以 Amazon SageMaker AI serverless model customization 微調 Qwen3-1.7B 和 Qwen3-14B,應用於端側告警分流和雲端能源市場分析,兩者在各自測試中均勝過前沿模型。
Google DeepMind 與新加坡政府合作開發端側 Gemma 詐騙偵測模型,針對本地詐騙對話微調,並在智能手機上分析訊息以保護私隱。系統先以低耗電分類器篩查新訊息,再由微調後的 Gemma 評估較大的對話片段,偵測操控模式時會在裝置上即時發出警告。微調在 GovTech 管理的 GCP 環境內進行,訓練排除私人及可識別個人資料,並使用源自詐騙報告和情報資料的匿名化數據集。
Liquid AI 發佈兩款開放權重端側決策模型 d1-3B 和實驗版 d1-omni-600M。d1-3B 支援文字與圖像輸入,在 Decision Index 0.2.1 得分 48.57,並在七個公開數據集取得 82.9 的平均分;d1-omni-600M 支援文字與圖像或文字與音訊輸入。
推薦理由:文章把 d1-3B 的公開基準成績與多款邊緣設備的延遲數據並列,讓讀者瞭解其決策表現及端側推理速度。
Hugging Face 宣佈,oMLX 創作者兼維護者 Jun Kim 加入團隊,並會繼續領導 oMLX。oMLX 維持 Apache 2.0 授權,項目將轉為獲資助並持續維護;Hugging Face 預期這有助提升穩定性,並希望加快開發。Hugging Face 亦希望以 oMLX 作為新想法的試驗場,並加快將 transformers 模型定義轉成不同引擎可使用的 MLX 參考實作。
HKU 研究團隊開發出基於二維 MoS2 flash memories 的類比 CAM,以每個儲存單元 2 個電晶體直接在資料儲存位置進行搜尋。晶片每次搜尋每個單元的能耗低於 0.1 femtojoules,延遲為 36 picoseconds;用於機器學習分類的類比 Hamming distance 計算,速度約為標準 CPU 的 108 倍。
InnoHK AI Chip Center for Emerging Smart Systems(ACCESS)在 LEAP East 2026 展示最新研究成果,重點包括面向 LLM 邊緣運算的硬件加速技術及 AC-Transformer accelerator series。
Google Research 已將 Multi-Token Prediction(MTP)架構部署至 Pixel 9 和 10 系列的 Gemini Nano v3,透過凍結主模型權重加快裝置端文字生成。
推薦理由:文章對照整合式 MTP head 與獨立草稿模型,説明直接利用主模型狀態如何提升候選 token 準確度,並改善 Pixel 端的速度與記憶體效率。
Google Research 在 Nature 發表 PHRM 研究系統,透過智能手機前置鏡頭在面部解鎖後擷取 8 秒影片,於日常使用中被動估算心率(HR)及每日靜息心率(RHR)。
推薦理由:研究結合實驗室測試與八日自由生活驗證,按膚色報告 HR 誤差,並呈現 RHR 估算覆蓋率及穿戴裝置對照,讓讀者掌握日常使用中的證據範圍。
ACCESS 於 HKUST Unicorn Day 2026 展示四家衍生公司的技術,涵蓋晶片設計、AI 運算、金融科技及機械人。OCTOP 的 OctopOS 可將處理速度提升至 50x,延遲低於 10 毫秒,並將部署時間由數星期縮短至數小時。QuantaEdge 的系統處理金融數學模型時,延遲低於一微秒。
Google DeepMind 發佈 Gemma 4 開放模型家族,提供 E2B、E4B、26B MoE 和 31B Dense 四種尺寸,並採用 Apache 2.0 授權。
推薦理由:Gemma 4 提供從手機端到工作站的多種尺寸,並列出排行榜名次與上下文窗口,便於比較本地部署時的硬件需求和能力差異。
文章探討智能眼鏡能否在五年內取代智能手機,並比較兩者作為個人數碼互動平台的優勢與限制。AI 和 AR 令智能眼鏡可即時識別物件、翻譯文字或語音,並把虛擬資訊疊加於現實場景;手機則具備成熟的硬件和應用程式生態。
Mistral AI 發佈 Voxtral Transcribe 2,包含用於批次轉寫的 Voxtral Mini Transcribe V2,以及面向即時應用的 Voxtral Realtime。
推薦理由:批次版與即時版的定位和能力差異清晰,文章亦列出即時轉寫的延遲設定、開放權重授權及兩款模型的 API 價格,便於比較部署選項。
Google Research提出分解式流程,令小型多模態 LLM 從網頁及手機互動軌跡提取意圖,表現勝過 CoT 提示和端到端微調。流程先逐屏摘要,再從摘要序列抽取整體意圖;測試涵蓋手機、網頁軌跡及 Gemini、Qwen2 基礎模型。Gemini 1.5 Flash 8B 配合此法,效果可媲美 Gemini 1.5 Pro,展示裝置端意圖理解的應用潛力。
ACCESS 在香港首屆 SIIAS 峯會展示便攜式 AI 視網膜篩查系統,以及採用數碼存算一體(DCIM)技術的便攜式基因分析原型;其 AutoDCIM 是業界首款專用 DCIM 電路設計 EDA 工具。
ACCESS 在 ICCAD Expo 2025 展示三項 AI 晶片技術成果,涵蓋便攜式視網膜篩查系統、DCIM 技術及健身姿勢分析。AutoDCIM 是專用於 DCIM 電路設計的 EDA 工具;搭載 DCIM 的便攜式基因分析儀獲日內瓦國際發明展「評審團祝賀金獎」。健身分析系統在本機處理數據,延遲低於 50 毫秒。
Hugging Face 的 Swift 函式庫 swift-transformers 發佈 1.0,標誌套件進入穩定階段,並為後續功能迭代奠定基礎。Tokenizers 和 Hub 現已成為頂層模組,套件亦採用支援有狀態模型的 Modern Core ML API,並完整支援 Swift 6。團隊表示,後續將聚焦 MLX 與智能體應用。
Gemma 3n 已接入多個主流開源工具庫,並推出 E2B、E4B 兩種尺寸的 base 與 instruct 版本。支援工具包括 Transformers、timm、MLX、llama.cpp、Transformers.js 和 Ollama;兩款模型實際參數量為 5B 和 8B,GPU 記憶體佔用約相當於 2B 和 4B 模型。
推薦理由:文章並列模型的實際參數量、GPU 記憶體需求和多個工具庫的接入方式,方便衡量 Gemma 3n 本地多模態部署時的硬件門檻與工具選擇。
ACCESS 主導的「High Energy-Efficient Edge Chip & System for Large AI Models」研究項目獲創新科技署 RAISe+ 計劃資助,項目由香港科技大學教授兼 ACCESS 副中心主任 C.Y. TSUI 領導。該項目是香港科技大學在 RAISe+ 第二輪獲選的七個項目之一。
ACCESS 在日內瓦第 50 屆國際發明展奪得兩項金獎,獲獎作品涵蓋便攜式基因組分析原型及便攜式醫療裝置用 AI 加速器。基因組分析原型較現成 AI 晶片產品吞吐量高 5.61×、能源效率高 301.6×;醫療 AI 加速器較傳統數碼晶片能源效率高 10×。
Hugging Face Blog 的教程示範以 React Native 建立手機應用,在裝置本地執行 LLM 聊天。應用從 Hugging Face Hub 下載 GGUF 模型,並以 llama.rn(llama.cpp 的 binding)載入,教程涵蓋 Android 和 iOS。文章亦介紹 GGUF 量化格式、手機選模取捨,以及逐 token 生成與推理速度追蹤等功能。
推薦理由:文章按模型選擇、GGUF 下載與載入、聊天介面逐步拆解 React Native 實作,並説明量化格式與設備能力的取捨,可作為端側 LLM 應用的開發參考。
Mistral AI 發佈 Ministral 3B 和 Ministral 8B,面向裝置端運算及邊緣場景。兩款模型支援最高 128k 上下文長度(vLLM 目前為 32k),Ministral 8B 採用交錯式滑動窗口注意力模式。
推薦理由:文章以多個評測類別對照 Ministral 3B、8B 與 Gemma 2、Llama 3.2、Llama 3.1、Mistral 7B 等模型,涵蓋預訓練及 Instruct 版本,便於參照各模型表現。
Meta 發佈 Llama 3.2,共有 10 個開放權重模型,包括 5 個多模態模型和 5 個純文字模型,涵蓋 11B、90B 視覺模型及面向裝置端的 1B、3B 純文字模型。
推薦理由:Llama 3.2 涵蓋 11B、90B 視覺模型與 1B、3B 裝置端純文字模型,並列出 Transformers、llama.cpp 等運行示例,可作為選擇部署路徑的參考。
ACCESS 在日內瓦第 49 屆國際發明展憑 AC-Transformer 和 AC-Copilot 兩項研發項目獲得銀獎。團隊亦在 InnoEX 展示 NiM、AC-Transformer 及 AC-Copilot,並於 HKUST Unicorn Day 展示 AC-Transformer 和 AC-CVXPY。
ACCESS 作為聯合主辦方,於 2024 年 7 月 10 日的「HKUST Industry Engagement Day Plus」展示兩項研究成果。成果包括以軟硬件協同設計支援大型 AI 模型邊緣運算的晶片與系統,以及金融計算硬件加速器 AC-CVXPY。ACCESS 首席研究員 Mark MOK 在活動上演講,探討技術轉移、AI 邊緣運算的挑戰及 Edge AI 2.0。
ASTRI 與 Intel 合作推進 5G SA 核心網絡及 C-V2X 路側邊緣 AI,推動 5G、C-V2X 與 AI 融合應用。ASTRI 的 5G UPF 在單一伺服器上可處理超過 200Gbps 流量而不會遺失封包。其 C-V2X Edge Software 透過路側即時物件識別偵測道路即將發生的危險,並經 C-V2X 通訊向相關司機發出即時提示。