跳到正文
目前篩選:模型
  1. Hacker News 熱門(buzzing.cc 中文翻譯)76

    Edge0-145B、Edge0-120B 及推理框架開源,支援個人電腦本地部署

    Edge0 開源 Edge0-145B、Edge0-120B,以及統一推理框架和部署工具,供開發者在個人電腦本地執行、評測或微調模型。Edge0-145B 有 145B 參數,文章報告其峯值記憶體為 29GB、解碼速度超過 80 tokens/s,並列出編碼、推理及指令遵循等基準成績。本地推理不產生相應的雲端模型 token 或 API 費用,資料可留在電腦,核心模型能力亦可離線使用。

    推薦理由:文章拆解模型架構、訓練、載入與 CPU/GPU 排程如何配合推理框架,呈現大規模模型在個人電腦本地執行的設計方法。

  1. Hugging Face Blog61

    Liquid AI 發佈端側決策模型 d1-3B 與實驗版 d1-omni-600M

    Liquid AI 發佈兩款開放權重端側決策模型 d1-3B 和實驗版 d1-omni-600M。d1-3B 支援文字與圖像輸入,在 Decision Index 0.2.1 得分 48.57,並在七個公開數據集取得 82.9 的平均分;d1-omni-600M 支援文字與圖像或文字與音訊輸入。

    推薦理由:文章把 d1-3B 的公開基準成績與多款邊緣設備的延遲數據並列,讓讀者瞭解其決策表現及端側推理速度。

  1. gihyo.jp78

    Google 以 Apache 2.0 授權發布 Gemma 4 開放模型,提供四種規模

    Google 於 2026年4月2日以 Apache 2.0 授權發布 Gemma 4 開放模型,提供 E2B、E4B、26B MoE 和 31B Dense 四種規模。

    推薦理由:Gemma 4 提供四種規模,並以較小版本支援離線多模態處理、較大版本支援長上下文推理,呈現本地部署在不同硬件場景的配置方式。

  2. Google DeepMind82

    Gemma 4 成為 Google DeepMind 迄今能力最強的開放模型家族

    Google DeepMind 發佈 Gemma 4 開放模型家族,提供 E2B、E4B、26B MoE 和 31B Dense 四種尺寸,並採用 Apache 2.0 授權。

    推薦理由:Gemma 4 提供從手機端到工作站的多種尺寸,並列出排行榜名次與上下文窗口,便於比較本地部署時的硬件需求和能力差異。

  1. Mistral AI65

    Mistral AI 發佈 Voxtral Transcribe 2,涵蓋批次與即時語音轉文字

    Mistral AI 發佈 Voxtral Transcribe 2,包含用於批次轉寫的 Voxtral Mini Transcribe V2,以及面向即時應用的 Voxtral Realtime。

    推薦理由:批次版與即時版的定位和能力差異清晰,文章亦列出即時轉寫的延遲設定、開放權重授權及兩款模型的 API 價格,便於比較部署選項。

  1. Hugging Face Blog74

    Gemma 3n 全面接入主流開源工具庫,推出 E2B、E4B 尺寸模型

    Gemma 3n 已接入多個主流開源工具庫,並推出 E2B、E4B 兩種尺寸的 base 與 instruct 版本。支援工具包括 Transformers、timm、MLX、llama.cpp、Transformers.js 和 Ollama;兩款模型實際參數量為 5B 和 8B,GPU 記憶體佔用約相當於 2B 和 4B 模型。

    推薦理由:文章並列模型的實際參數量、GPU 記憶體需求和多個工具庫的接入方式,方便衡量 Gemma 3n 本地多模態部署時的硬件門檻與工具選擇。

  1. Mistral AI65

    Mistral AI 發佈 Ministral 3B 和 Ministral 8B 邊緣模型

    Mistral AI 發佈 Ministral 3B 和 Ministral 8B,面向裝置端運算及邊緣場景。兩款模型支援最高 128k 上下文長度(vLLM 目前為 32k),Ministral 8B 採用交錯式滑動窗口注意力模式。

    推薦理由:文章以多個評測類別對照 Ministral 3B、8B 與 Gemma 2、Llama 3.2、Llama 3.1、Mistral 7B 等模型,涵蓋預訓練及 Instruct 版本,便於參照各模型表現。

  1. Hugging Face Blog79

    Meta 發佈 Llama 3.2,涵蓋視覺模型與裝置端小型模型

    Meta 發佈 Llama 3.2,共有 10 個開放權重模型,包括 5 個多模態模型和 5 個純文字模型,涵蓋 11B、90B 視覺模型及面向裝置端的 1B、3B 純文字模型。

    推薦理由:Llama 3.2 涵蓋 11B、90B 視覺模型與 1B、3B 裝置端純文字模型,並列出 Transformers、llama.cpp 等運行示例,可作為選擇部署路徑的參考。

已經到底了