在 Flutter 應用程式中整合裝置端本地 LLM
Flutter 應用程式可透過 Dart FFI 或 Platform Channels,整合 llama.cpp 等原生推理引擎,在裝置端離線執行量化 LLM,避免將用戶資料傳送至雲端 API。文章建議選用適合流動裝置的 4-bit GGUF 模型,並以 Riverpod 或 BLoC 管理逐 token 推理串流,讓聊天介面即時更新。
Flutter 應用程式可透過 Dart FFI 或 Platform Channels,整合 llama.cpp 等原生推理引擎,在裝置端離線執行量化 LLM,避免將用戶資料傳送至雲端 API。文章建議選用適合流動裝置的 4-bit GGUF 模型,並以 Riverpod 或 BLoC 管理逐 token 推理串流,讓聊天介面即時更新。
研究提出端點側智能檢測方案,在用戶輸入憑證前識別仿冒站點並即時告警。方案以域名仿冒、混淆基礎設施及欺騙性請求作為結構指標,並以零知識架構在設備本地處理頁面資訊,避免上傳瀏覽記錄或憑證資料。
Martin Espericueta 開發 Sloth Roll,以 iPhone 本機運行的開放權重視覺模型讀取截圖,並整理成日曆事件、地點或支出卡片。用戶可左右滑動處理卡片,亦可先編輯內容;完成一次模型下載後,掃描和卡片處理可離線進行,資料不會離開手機。在 19 張人工核對圖片中,類型判斷有 18 張正確(95%);事件日期和時間同時判斷正確的有 6/10 個事件。
作者指出,Windows 沒有供不同 AI 應用程式共用本機模型的正式儲存位置或系統服務,令各應用程式無法存取其他應用程式已下載的模型。用戶若想在多個應用程式使用同一模型,便要重複下載;本機模型體積增加,亦會令電腦儲存空間日漸被佔用。
研究提出 C0-C4 連線狀態框架及推理時信任機制分類,並在 Raspberry Pi 5 上評估本地檢索增強生成,測試三種 Qwen2.5 模型規模。檢索分數閘門識別知識缺口的 AUROC 為 0.97,但對主題內無法回答的問題表現較差,AUROC 為 0.68。有效簽署的污染知識包仍可通過所有檢查,令 30 條原本答對的問題全數答錯,當中 14 條返回注入答案;所測機制均不能確立證據真偽。
開發者打造 Slothreader,一款離線優先的電子報整理工具,可在本機處理郵件,並跨來源合併重複報道。它透過 Ollama 在本機執行 Google Gemma 2(gemma2:2b),生成一頁式 Markdown 和 HTML 摘要,模型約需 2.2 GB VRAM。
開發者製作了一款由 Gemma 2B 驅動的 Chrome 擴充功能,在用戶於社交媒體連續瀏覽 30 秒後,提示關閉分頁或休息 5 分鐘。工具以 Ollama 在本機運行開放權重模型,離線運作,並會動態生成提醒及彈出視窗。
LazyFlow AI 使用 Ollama 和開放權重模型 Qwen2.5 3B,在本地整理雜亂筆記、生成摘要並擷取可執行任務。應用程式採用 React、TypeScript、Python、FastAPI 和 SQLite,目前只在作者的電腦本地運行,沒有公開部署的示範版本。作者仍在改進任務優先級分類和使用體驗,尚未測量可靠的節省時間數據。
Recursive 發佈面向筆電使用的編碼模型 Flint,並表示 AI 在打造模型的過程中發揮了重要作用。Flint 的定位是本機編碼工具,但實際效能取決於硬件、設定及工作流程整合。開發者使用前應評估模型在自身項目上的表現,並查看硬件需求、私隱設定及使用條款。
TidyMind AI 是一款以私隱為重點的開源生產力助理,利用本地 AI 協助整理待辦事項、摘要筆記及預覽檔案整理建議。應用以 Ollama 執行 Gemma 模型推理,並提供示範模式,讓用戶無須安裝 AI 模型也可探索介面。屬於 Hacktoberfest 開源 AI 挑戰第 3 週的參賽作品。
Asset Review 是一款在瀏覽器本機執行的工具,使用 MiniLM 按文字描述為遊戲素材排序,並以確定性檢查清單標示重複檔案、缺漏資料及路徑問題。它不會上載所選素材,亦不會修改原檔;原型尚未測試手機使用情況,也不宣稱已量度節省時間或在實際項目中獲採用。
InboxSloth AI 是一款以 Gemma 3 1B 和 Ollama 本機推理的應用程式,將冗長對話整理成摘要,並提取待辦事項、期限及重要更新。項目亦旨在支援英語、馬拉地語及兩者混用的對話,避免每次請求都依賴付費推理 API;目前的省時效益仍有待測試驗證。
科大訊飛發佈基於全國產算力訓練的端雲一體訊飛星火X2.6,並推出SparkAudio 1.0、具身多模交互技術、訊飛星帆WinWork數字員工平台及AIPC系列產品。
Google Research 於2026年10月20日公開 Coral NPU 的完整32位設計,包括矩陣運算單元,並發布開源 Coral Compiler v1.0。
SlothOS AI 以 Ollama 在本地運行 Gemma 3 (1B),把檔案分類、PDF 摘要、任務規劃和 Sloth Mode 整合到同一個儀錶板,協助用戶處理日常重複工作。用戶可預覽 AI 提議的檔案分類,並從 PDF 取得摘要、行動項目和建議優先次序;系統無須依賴付費雲端 AI API。
微博宣佈完成 iPhone Duo 適配,成為首批適配該設備的社交應用。適配涵蓋大屏模式、Book 模式和 Laptop 模式,並採用 Liquid Glass 設計語言,按不同設備使用姿態呈現界面與互動體驗。
移遠通信2026年前三季度歸母淨利潤達12.12億元,同比增長65.21%,通信模組主業保持穩健,並加快佈局車載與端側AI。公司9月發佈智能算力板卡QSC600XA-AP,採用M.2封裝,提供24TOPS算力。機構預計公司2026—2028年淨利潤分別為13.03億、18.76億、24.15億元,並維持“買入”評級。
華為向 MatePad Pro 等平板推送 HarmonyOS 7 花粉 Beta 升級,部分舊款機型可直升「111」版本。更新新增遙距分享、3D 空間壁紙、詞典筆及直連供電等功能,並帶來親密圈、智能錄音和性能優化。
Dell XPS 16 Creator Edition 已在全球多個市場上市,最高配置可選 20 核 RTX Spark N1X 和 128GB 記憶體。N1X 採用統一記憶體架構,CPU 與 GPU 共用最高 128GB LPDDR5X-9400 記憶體,帶寬約 300GB/s,GPU 可直接調用系統記憶體中的模型權重,支援本地運行大型模型。
聯想小新 10.1 彩墨柔光版已開啟全網預約,並將於10月30日20:00正式開售。新品採用AG防眩光屏,提供原色、彩紙、墨紙三種顯示模式,並通過德國萊茵TÜV多項護眼測試。產品詳細配置與價格將於10月29日公佈。
聯想集團董事長兼 CEO 楊元慶預測,未來 80% Token 將在終端及邊緣側生成,推動端、邊、雲協同演進。大模型邁入萬億參數時代,提升 AI 計算效率及降低 Token 成本將是規模化普及的關鍵;他亦預測,個人 AI 普及將帶動「家用 AI 伺服器」需求,智能體(Agent)將直接調用設備。聯想本財季 AI PC 全球市場份額達 25.1%。
聯想集團董事長兼 CEO 楊元慶預測,未來 80% 的 Token 將在終端和邊緣側生成,AI 推理任務亦有望更多在這些位置完成。他認為,個人 AI 普及後,每個人都需要一台家用伺服器或自己的 AI 中心。未來很多設備將不再由人直接使用,而是由 Agent 使用。
Slow & Steady AI 是一款輕量級 AI 任務助手,可把大型任務拆成四個較易處理的步驟,協助用戶開始行動。用戶輸入任務並選擇可用時間和精力水平,即可獲得簡單行動計劃。項目使用 Transformers.js 在瀏覽器執行開放權重模型,計劃採用 FLAN-T5 Small,無需付費 AI API 或專用後端。
恩智浦攜手合作夥伴推出「Designing with NXP|FRDM Lab」系列活動,透過技術課程、現場實操和應用交流,協助開發者探索從實時控制到邊緣 AI 的開發實踐。活動將在杭州、深圳、合肥、蘇州等城市舉行,涵蓋 MCX MCU、實時作業系統、eIQ 工具鏈及嵌入式圖形介面。符合要求並通過報名審核、完成現場培訓的參與者,有機會獲得活動使用的 FRDM 開發板。
2026 年,裝置端推理引擎的選擇不再限於 llama.cpp;運行視覺語言模型或處理長上下文時,啟用激活量化的引擎可降低預填充耗時。M5 Pro 上以 Cider 執行 4B VLM、處理 4516 tokens 上下文,W8A8 預填充需時 2.519s,較 W8A16 基準快約 12.7%,解碼速度則相近。短文本推理仍可使用 MLX 或 llama.cpp,選擇亦取決於目標硬件世代。
2027款極狐阿爾法S5開啟預售,共有三款配置,預售價為12.18萬至14.48萬元。新車搭載192線激光雷達及北汽元境智駕系統,CLTC續航提供650km和750km兩個版本,並支援5C超快充,15分鐘可補能560公里。
聯想集團董事長兼 CEO 楊元慶預測,未來 80% Token 將在終端和邊緣側生成,AI 計算架構將由雲端集中式計算轉向端邊雲協同。聯想正以 Token Hub 分配不同工作負載至不同模型,並推進由 AI PC 延伸至各種智能終端的個人 AI 戰略。原文稱,聯想內部每月消耗的 Token 已達一萬億個。
CEIC2026 消費電子創新大會近日在深圳舉行,逾千名產學研人士出席,聚焦智能體時代的終端演進、跨品牌互通及 AI 走進物理世界。大會推出由 8 家產業組織聯合發起的 (PI)²物理智能夥伴計劃,面向全行業開放招募。與會者亦指出,端側大模型的功耗、散熱和存儲,以及跨品牌標準落地,仍是產業面對的挑戰。
Hush 是一款在本機裝置運行的通知管理系統,使用 Gemma 2B 分類通知,並以確定性模型評估緊急程度;作者在 10 宗模擬緊急事件中找出全部 10 宗。系統每三小時只呈現四行摘要,只有評分達到 0.55 的事件才會打斷用戶,通知內容不會離開裝置。
科大訊飛董事長劉慶峯表示,全棧自主可控的端雲一體大模型是兼顧 AI 安全與性價比的必然選擇,端側處理與雲端協同可降低資料外洩風險和使用成本。訊飛星火 X2.6 經端雲一體訓練後,智能體任務覆蓋度達 41.9%;長程任務動態並行訓練技術可令超長上下文訓練效率提升約 4 倍。
NatureBuddy AI 是一款面向學生及初學者的戶外網頁應用,結合 AI 自然觀察指引、每日任務、15 分鐘離屏計時器和自然日誌。它預設透過 Ollama 在本機執行 gemma2:2b,根據文字描述提供 2 至 3 個可能的物種配對;觀察記錄儲存在瀏覽器的 localStorage。
拿鐵熊貓團隊推出 Sigma 2 單板計算機,搭載英特爾酷睿 Ultra X7 358H 處理器與 64GB LPDDR5X-8533 內存。設備尺寸為 146×202mm,預售價為 2599 美元(約合 17383 元人民幣),面向邊緣 AI 與嵌入式場景。
拿鐵熊貓推出面向邊緣 AI 計算和嵌入式 AI 應用的 Sigma 2 單板計算機,搭載英特爾酷睿 Ultra X7 處理器 358H,並配備 64GB LPDDR5X-8533 內存。該機提供 4 個 M.2 插槽及多個高速擴展接口,包含 1TB SSD 存儲的配置預售價為 2,599 美元。
拿鐵熊貓團隊推出 Sigma 2 單板計算機,搭載英特爾酷睿 Ultra X7 處理器 358H 和 64GB LPDDR5X-8533 內存,面向邊緣 AI 計算及嵌入式 AI 應用。其尺寸為 146×202 (mm),提供 4 個 M.2 插槽;包含 1TB SSD 存儲的配置預售價為 2,599 美元。
美股隔夜漲跌互見,納指跌2.6%、標普跌1.21%,大型科技股多數下跌;倫敦現貨黃金跌超2%,白銀跌超5%,布倫特原油升至每桶113美元上方。PHP兩項嚴重安全漏洞的修復補丁已發布,漏洞由研究人員藉助人工智能工具發現。科大訊飛發布訊飛星火X2.6,雲端及端側能力同步提升。
PyTorch Conference North America 2026 於 10 月 20 至 21 日在 San Jose 舉行,吸引 3,500+ 名參加者,聚焦加速開放智能及 PyTorch Foundation 生態項目。
NVIDIA 開賣 RTX Spark 筆電,最高提供 1 petaflop FP4 AI 效能及 128GB 統一記憶體。產品以 Blackwell RTX GPU 和 Grace CPU 組成單一超級晶片,支援在本機執行 AI 模型及代理。RTX Spark 筆電全球起售價為 2,599 美元,香港定價及上市安排尚未公佈。
推薦理由:RTX Spark 把最高 128GB 統一記憶體、1 petaflop FP4 效能與本地代理帶入 Windows 筆電,呈現其兼顧創作與 AI 工作流的定位。
Dovli 開發者打造了一款可離線使用的 Notion 替代方案,整合筆記、文件、待辦事項和白板,並支援在重新連線後同步修改。開發者正徵求用戶對同步衝突的處理方式建議:以最後一次修改為準、合併內容,或詢問用戶。
SlothSort AI 是一款以本機運行為主的檔案整理助手,使用 Ollama 執行 Qwen 2.5 3B,按副檔名分類檔案,並提供 AI 整理建議。用戶可預覽及調整分類;整理時,程式會複製檔案而非移動或刪除原件,並為避免覆寫而另設檔名。
The Lazy Jukebox 是一款完全離線的 CLI 應用,利用本地 AI 持續生成並播放趣味口述歌曲和 rap。它以 Ollama 運行 Llama 3.2 (1B) 撰寫歌詞,並用 Piper TTS 合成聲音、pydub 混音及 pygame 播放歌曲。應用以可在 8GB RAM、整合式顯示卡上運行為目標,無須雲端 API,作者稱營運成本為 $0。