跳到正文

端側 AI

跑在手機、電腦與邊緣設備上的 AI:小模型、本地推理與端側芯片的進展。

最新精選

第 1–13 條 · 共 13 條
11月13日週五
  1. Hacker News 熱門(buzzing.cc 中文翻譯)76

    Edge0-145B、Edge0-120B 及推理框架開源,支援個人電腦本地部署

    Edge0 開源 Edge0-145B、Edge0-120B,以及統一推理框架和部署工具,供開發者在個人電腦本地執行、評測或微調模型。Edge0-145B 有 145B 參數,文章報告其峯值記憶體為 29GB、解碼速度超過 80 tokens/s,並列出編碼、推理及指令遵循等基準成績。本地推理不產生相應的雲端模型 token 或 API 費用,資料可留在電腦,核心模型能力亦可離線使用。

    推薦理由:文章拆解模型架構、訓練、載入與 CPU/GPU 排程如何配合推理框架,呈現大規模模型在個人電腦本地執行的設計方法。

10月31日週六
  1. 創業邦81

    蘋果首款全螢幕觸控 MacBook Pro 登場,頂配售價112,624元並恢復發光 Logo

    蘋果推出首款全螢幕多點觸控 MacBook Pro,採用 M5 Pro 或 M5 Max、雙層串聯 OLED 顯示屏及靈動島,頂配價格為112,624元。文中以 LM Studio 載入14B參數模型並輸入8K提示詞,稱 M5 Max 的首 Token 響應速度達 M1 Max 的12倍。M5 Max 最高配備128GB統一記憶體,文章亦介紹觸控手勢、離線生圖及小模型微調等用途。

    推薦理由:文章交代觸控 OLED 版與普通 Mini-LED 版的價差,並列出重量及本地模型測試數據,提供比較形態升級與端側 AI 配置的依據。

10月23日週五
  1. IT Square · AI78

    NVIDIA RTX Spark 筆電開賣,最高提供 1 petaflop FP4 效能及 128GB 統一記憶體

    NVIDIA 開賣 RTX Spark 筆電,最高提供 1 petaflop FP4 AI 效能及 128GB 統一記憶體。產品以 Blackwell RTX GPU 和 Grace CPU 組成單一超級晶片,支援在本機執行 AI 模型及代理。RTX Spark 筆電全球起售價為 2,599 美元,香港定價及上市安排尚未公佈。

    推薦理由:RTX Spark 把最高 128GB 統一記憶體、1 petaflop FP4 效能與本地代理帶入 Windows 筆電,呈現其兼顧創作與 AI 工作流的定位。

10月8日週四
  1. Hugging Face Blog61

    Liquid AI 發佈端側決策模型 d1-3B 與實驗版 d1-omni-600M

    Liquid AI 發佈兩款開放權重端側決策模型 d1-3B 和實驗版 d1-omni-600M。d1-3B 支援文字與圖像輸入,在 Decision Index 0.2.1 得分 48.57,並在七個公開數據集取得 82.9 的平均分;d1-omni-600M 支援文字與圖像或文字與音訊輸入。

    推薦理由:文章把 d1-3B 的公開基準成績與多款邊緣設備的延遲數據並列,讓讀者瞭解其決策表現及端側推理速度。

6月27日週六
  1. Google Research61

    Google Research 為凍結權重的 Gemini Nano v3 加入 Multi-Token Prediction,加速 Pixel 端生成

    Google Research 已將 Multi-Token Prediction(MTP)架構部署至 Pixel 9 和 10 系列的 Gemini Nano v3,透過凍結主模型權重加快裝置端文字生成。

    推薦理由:文章對照整合式 MTP head 與獨立草稿模型,説明直接利用主模型狀態如何提升候選 token 準確度,並改善 Pixel 端的速度與記憶體效率。

6月5日週五
  1. Google Research65

    Google Research 發表 PHRM 研究,探索智能手機被動監測心率與靜息心率

    Google Research 在 Nature 發表 PHRM 研究系統,透過智能手機前置鏡頭在面部解鎖後擷取 8 秒影片,於日常使用中被動估算心率(HR)及每日靜息心率(RHR)。

    推薦理由:研究結合實驗室測試與八日自由生活驗證,按膚色報告 HR 誤差,並呈現 RHR 估算覆蓋率及穿戴裝置對照,讓讀者掌握日常使用中的證據範圍。

4月3日週五
2月5日週四
2025年6月26日週四
  1. Hugging Face Blog74

    Gemma 3n 全面接入主流開源工具庫,推出 E2B、E4B 尺寸模型

    Gemma 3n 已接入多個主流開源工具庫,並推出 E2B、E4B 兩種尺寸的 base 與 instruct 版本。支援工具包括 Transformers、timm、MLX、llama.cpp、Transformers.js 和 Ollama;兩款模型實際參數量為 5B 和 8B,GPU 記憶體佔用約相當於 2B 和 4B 模型。

    推薦理由:文章並列模型的實際參數量、GPU 記憶體需求和多個工具庫的接入方式,方便衡量 Gemma 3n 本地多模態部署時的硬件門檻與工具選擇。

2025年3月7日週五
  1. Hugging Face Blog61

    用 React Native 在手機上本地執行 LLM 的入門指南

    Hugging Face Blog 的教程示範以 React Native 建立手機應用,在裝置本地執行 LLM 聊天。應用從 Hugging Face Hub 下載 GGUF 模型,並以 llama.rn(llama.cpp 的 binding)載入,教程涵蓋 Android 和 iOS。文章亦介紹 GGUF 量化格式、手機選模取捨,以及逐 token 生成與推理速度追蹤等功能。

    推薦理由:文章按模型選擇、GGUF 下載與載入、聊天介面逐步拆解 React Native 實作,並説明量化格式與設備能力的取捨,可作為端側 LLM 應用的開發參考。

2024年10月16日週三
  1. Mistral AI65

    Mistral AI 發佈 Ministral 3B 和 Ministral 8B 邊緣模型

    Mistral AI 發佈 Ministral 3B 和 Ministral 8B,面向裝置端運算及邊緣場景。兩款模型支援最高 128k 上下文長度(vLLM 目前為 32k),Ministral 8B 採用交錯式滑動窗口注意力模式。

    推薦理由:文章以多個評測類別對照 Ministral 3B、8B 與 Gemma 2、Llama 3.2、Llama 3.1、Mistral 7B 等模型,涵蓋預訓練及 Instruct 版本,便於參照各模型表現。

2024年9月25日週三
  1. Hugging Face Blog79

    Meta 發佈 Llama 3.2,涵蓋視覺模型與裝置端小型模型

    Meta 發佈 Llama 3.2,共有 10 個開放權重模型,包括 5 個多模態模型和 5 個純文字模型,涵蓋 11B、90B 視覺模型及面向裝置端的 1B、3B 純文字模型。

    推薦理由:Llama 3.2 涵蓋 11B、90B 視覺模型與 1B、3B 裝置端純文字模型,並列出 Transformers、llama.cpp 等運行示例,可作為選擇部署路徑的參考。