Sunmughan Swamy 談如何打造可在手機上運行的 AI 智能體
Sunmughan Swamy 打造開源工具 Conzyx,讓 AI 智能體可在 Android 裝置上離線建置和運行。現行版本 v3.5.17 已恢復 PHP 8.4,並完成離線套件驗證;裝置端支援 Python、C、C++ 和 PHP 執行環境。
Sunmughan Swamy 打造開源工具 Conzyx,讓 AI 智能體可在 Android 裝置上離線建置和運行。現行版本 v3.5.17 已恢復 PHP 8.4,並完成離線套件驗證;裝置端支援 Python、C、C++ 和 PHP 執行環境。
Phantom Logs 會把伺服器錯誤、Git 提交紀錄及智能家居感應器日誌轉化為三部分的靈異事件報告,並將精確時間戳記、檔案路徑和裝置觸發記錄編織成鬼故事。這個開源工具透過 OpenRouter 呼叫開放權重模型,採用不設資料庫的 Node.js 後端,並提供一鍵遮蔽敏感 IP 和金鑰的選項。
Ghost in the Ledger 以確定性程式分析銀行月結單或交易提示,找出訂閲、手續費、深夜支出及薪金快速用盡等模式,再由模型改寫成故事;模型不負責判定交易或數字。它支援 Ollama 本機運行、Groq 雲端模型及無模型離線模式,並會核對模型生成內容中的數字,未通過檢查便改用範本。
Tanay 打造 Ouija Blame,從 GitHub 程式碼行的提交、PR、審查留言、相關議題及 Entire 儲存的 Agent 提示詞中整理用途與存在原因,並為引用提供來源連結;免登入展示版網址為 https://ouija-blame.onrender.com。
Kernflux 發佈 OpenDsec,一套供智能體強化學習訓練及程式碼執行智能體使用、可在自有機器運行的自託管沙盒平台。OpenDsec 以 AGPL 發佈,提供 Firecracker microVM、容器和 QEMU 虛擬機,並支援連同記憶體複製環境及按訓練任務暫停沙盒。
作者介紹開源 keras-model-scan 工具中的 coreml_model_scan.py,供 CI 在 App 打包外部 Core ML 模型前檢查自訂類別、連結模型及權重與 Manifest 路徑。
Wake 是一款本機優先的開源網頁應用程式,可追蹤 Git 儲存庫中的已刪除檔案、以 gemma3:1b 撰寫有依據的訃告,並找出仍引用已刪除內容的檔案。在 25 個歷史刪除案例中,gemma3:1b 的引用有效率為 80.0%、原因判斷準確率為 28.0%,平均延遲為 1,964ms,回退率為 20%。SHA 驗證器攔截了 5 個虛構的提交引用,並改用確定性範本,避免輸出未經核實的引用。
一名電腦科學一年級學生為 Hacktoberfest 開源 AI 挑戰賽第四週構建了 PhantomCode,一款以 Python 和 Streamlit 開發的 AI 程式碼助手。它透過 Groq API 使用開放權重 GPT-OSS 模型,提供 Python 程式碼解釋與檢視、錯誤分析、安全掃描及 AI 對話功能。
Shezhire 以開放權重 Gemma 4 讀取家族故事錄音的轉錄文字,生成哈薩克族譜,並由程式逐條核對關係連結是否有錄音中的引句、人物和親屬詞支持。在 60 個合成測試家庭中,Gemma 4 12B 的連結準確率為 85.5%;程式攔截全部 118 條錯誤連結,最終顯示的連結均有材料支持,但也丟棄了部分真實連結。
Séance 是一款在終端機運行的程式,可召喚 COBOL、FORTRAN、Pascal、BASIC 或 Lisp 的「幽靈」,並把 Python 程式改寫成相應方言。它會將生成的程式碼交由該語言的真實編譯器檢查,編譯器拒絕時最多重試三次。Séance 使用 Ollama 在本機離線運行 Gemma 3 4B。
Clearport 為 Android 本地 AI 模型提供 Flutter 聊天程式及 Termux CLI,透過 llama.cpp 在手機上推理,並可在飛行模式下示範使用。它支援 Gemma 3 1B Q4_K_M(806 MB)及 Gemma 3 270M Q8_0(292 MB),應用程式和 CLI 均不需帳戶,也不會附帶模型權重。
Did It Move? 以混合設計打造智能電視上的氛圍式鬧鬼體驗,把即時生成影片限制在異象出現的短暫時段,避免閒置時持續計費。即時使用 Reactor 的 xmax-x2-1 每小時需 $6.12;約 2% 的運行佔比下,一晚成本只需幾美仙。公開示範則重播預先錄製的片段,每位訪客無需付費。
Floci 是開源 AWS 模擬器,可在本機以單一容器提供服務端點;官方文件列出 137 個服務項目,但仍未涵蓋 AWS 全部服務。官方 README 稱啟動時間約 24 毫秒,第三方測試則量得約 129 毫秒至 3 秒;Docker Hub 上的主映像為 86.8 MB,使用部分服務仍會額外下載映像。
Pardeep Gir 建立 Marigold Archive,讓家庭錄音可在本機離線轉錄並接受內容提問。它以 faster-whisper 轉錄,再用 multilingual MiniLM、ChromaDB 和 Gemma(透過 Ollama)檢索及生成答案;每個答案附故事、時間戳和錄音原文引句,找不到相關內容時則返回固定句子。
阿里通義千問 Qwen3.8 系列於 2026年8月正式開源,涵蓋 Qwen3.8-Max、Qwen3.8-27B、Qwen3.8-Flash 及 Qwen3.8-Flash-Next 預覽版。
Nex 是一種以 MPL-2.0 開源、運行於 JVM 的程式語言,會在程式執行時檢查例程的前置條件、後置條件及類別不變條件。實作會自動繼承規格中的合約,即使程式碼由模型生成,違反承諾時也會觸發錯誤。Nex 目前版本為 0.6.7。
作者以本地 Gemma 3 4B IT 建構並審計一套 EEG 腦訊號解讀系統,發現生成內容主要來自模型先驗。ridge probe 從 200 個概念中以單次 EEG 試次命中率 4.5%(機會水平為 0.5%),平均 16 次呈現後升至 39.5%。
作者以 Gemma 3 1B 製作可重播的 AI 日記實驗,每晚使用相同提示詞和隨機種子逐步關閉神經元,記錄模型文字由完整英文退化至空白的過程。網站以實測數據呈現 179,712 個 MLP 神經元及 104 個注意力頭的變化,並提供心跳、16 項知識探測和死亡證書。六次死亡記錄均可重播;模型使用開放權重,在本地 CPU 運行,一次完整死亡與復活約需 3 至 4 分鐘。
FinePrint Phantom 以 GPT-OSS 120B 分析服務條款或私隱政策,找出並逐字引用令人擔憂的條款,提供白話解釋及個別評分,並以 0–100 分計算整體 Haunt Score。分析採用 Mastra 三步工作流程,評分由確定性算術計算;文件在記憶體中處理後即丟棄,不會儲存。
Afterlink 是一款 AI 文件調查工具,可搜尋失效或變更的文件連結的歷史版本、擷取 Internet Archive 的封存內容,並根據證據提供調查建議。
Memory Lantern 是一款以 AI 搜尋已儲存回憶的應用程式,讓用戶記不起原文用詞時,仍可按記憶內容找出相關段落。語意搜尋使用 all-MiniLM-L6-v2,透過 Transformers.js 3.8.1 在用戶裝置上運行。無需帳戶或 API key,筆記和搜尋內容不會上傳至推理伺服器。
Tommy Bergstrand 製作了萬聖節文字 MUD Hallow Mud,讓 Gemma 每局生成一名作者未編寫的陌生幽靈。遊戲以 1870 年聖保羅的 Swede Hollow 為背景,NPC 由 Gemma 扮演,會以自然語言互動、記住玩家並彼此回應;房間描述則於伺服器啟動時生成一次,供所有玩家共用。
作者以 CloneProof 靜態檢查 100 個最常被依賴的 npm 套件所屬 GitHub 倉庫,修正誤報後,v0.2.4 的 3 項失敗判定均屬實。預先登記的 v0.2.0 測試中,6 個會令 CI 失敗的倉庫有 5 個只因誤報而失敗;修正版的 63 項警告中,60 項判斷正確。檢查不會安裝依賴或執行倉庫程式碼,另有 7 個倉庫因 CloneProof 的 clone 安全限制未能檢查。
Haunted Stack Trace 是一個 Spring Boot 錯誤處理器,透過 Ollama 在本機運行 Gemma 4,解釋 Java 堆疊追蹤中的錯誤原因及修正方法。它使用 Gemma 4 (12B),不需要 API key,堆疊追蹤不會離開用戶的電腦。
InfoMind AI Enterprise 是一個根據文件內容回答問題的檔案庫,每個答案均附有來源段落,證據不足時會拒答。使用 llama3.2:3b 時,一個可回答的問題在 5 次測試中均遭錯誤拒答;改用 llama3.1:8b 後,同一問題 10 次均獲正確回答。系統可在本機離線運行;使用託管示範時,問題相關段落會傳送至 Ollama 伺服器。
Séance 是一款以開放權重模型為程式語言設定人格的網頁應用程式,讓用戶與 COBOL、LISP、BASIC、FORTRAN 和 ALGOL 的「幽靈」對話,亦可讓幽靈評論程式碼。應用程式透過 OpenAI 相容的聊天完成 API 連接模型,預設使用 Ollama 的 llama3.2:3b;以本機模型運行時,問題和程式碼片段會留在用戶裝置上。
Daniel Ferraz 介紹其開源專案 knowledge-database,讓 AI 編碼智能體在處理任務前讀取知識庫、完成後回寫,並以可測試規則減少跨工作階段的解法漂移。
Edy Cu 開發了 macOS 命令列掃描工具 hantu,在自己的 Mac 掃描 58 個 launchd plist,找到 5 個仍設為以 root 身份執行、但所屬應用程式已移除的輔助程式。
開放權重 AI 模型會公開訓練完成的模型權重,讓用戶下載並在自己的電腦上執行。權重公開不代表訓練程式碼和資料也公開,授權亦可能限制商業用途;本地執行則可讓提示詞和檔案不經 AI 服務供應商的伺服器。模型仍可能產生幻覺或帶有偏見,運行速度和處理長文件的能力亦取決於模型與電腦硬件。
Hacktoberfest DEV 挑戰公佈「Slow and Steady」第 3 週得獎作品,參賽者以開放權重模型或開源 AI 打造便利自動化工具。其中一個作品令小型模型讀取物業契據的準確率由 10% 升至 99.6%,成本為 $1.15;另有作品以 Gemma 4 配合 Arduino UNO Q 讀取電郵。
Ghost in the Machine 是為 Hacktoberfest 開源 AI 挑戰製作的離線應用,透過 Ollama 運行開放權重模型,結合數碼降神會、虛擬亡靈祭壇和互動恐怖故事等體驗。應用支援 gemma3:4b、llama3.1:latest 和 qwen2.5-coder:7b,並以串流方式即時生成回應。推理完全在本機進行,無需連接互聯網,讓用戶可離線使用並保護祭壇中的家庭回憶。
Ofrenda 將墨西哥亡靈節傳統與本機開放權重 AI 結合,打造以 Gemma 2 驅動的離線數碼紀念祭壇及先人對話體驗。專案設有三層祭壇、先人對話室、語音合成及仿舊終端,並支援建立可列印的紀念卡。程式碼以 MIT License 開源,架構採用本機推理,並提供瀏覽器內備用知識庫。
LastWords 是一款本機優先的 AI 工具,讓用戶向已不活躍的程式碼貢獻者詢問程式碼背後的設計理由。它透過 Git blame 和提交記錄檢索證據,再以 Ollama 本機執行的 Gemma 2B 生成可追溯至提交記錄的回答。專案有 68 項測試通過,推理所用的程式碼庫內容留在開發者的裝置上。
Jiya Jain 開發 GHOST.EXE,一款以 Gemma 3 1B 驅動角色對話的本機心理恐怖調查遊戲;玩家重新開始調查後,HELPER 會提及上一局作出的選擇。完成依賴項和模型權重下載後,遊戲可透過 Ollama 在本機離線運行。Python 確定性控制器管理線索、證據和結局,SQLite 保存離散遊戲事件及分類後的互動資料,不保存原始聊天訊息。
Ofrenda Viva AI 以 Google Gemma 2 (2B) 打造 100% 本機運行的亡靈節紀念祭壇及「機器幽靈」終端降靈會。應用使用指令微調、4-bit 量化模型,讓用戶離線與逝者或計算先驅進行終端對話。專案以 MIT License 開源。
作者整理了 2026 年 10 月在 GitHub 快速累積星數的 5 個開源專案,涵蓋 Android TV 清理、DeepSeek 推理框架、智能體生成説明圖、文書處理及 3D CAD。
TrailEcho 擴展為夜間音訊伴侶和超自然異常調查工具,以即時音訊頻譜分析偵測異常頻率,並用開源權重 AI 將聲音模式轉化為哥德式敍事。它透過 Ollama 在本機執行 Gemma 2B 或 Llama 3.2 1B,並支援離線運作,不會把個人音訊傳送至雲端伺服器。
ForestKeeperIO 製作的 git séance 是一款 CLI,使用本機 Gemma 3 根據 Git 歷史與已刪除檔案對話,並為儲存庫生成塔羅解讀。
SpookyCode 是一款開源自主 AI 編碼智能體,可在隔離工作區調查程式碼、規劃及執行修改,並自動測試和檢查差異;用戶審核前,工作樹不會受到修改。它亦可將檔案存入經 SHA-256 驗證的保險庫,並以 Google Gemma 和 Pydantic AI 生成悼詞,支援查詢及逐位元組還原程式碼。
SchemaGhost 是一款開源工具,協助開發者在 API 回應結構變更後,為舊應用程式建立相容層,毋須重寫整個應用程式。它結合確定性啟發式方法與透過 Ollama 本機執行的 Qwen3 0.6B,建議新舊 JSON 欄位的對應方式。開發者可審核及核准建議、驗證映射,並生成 C# 配接器和其他相容檔案。