在自有基礎設施部署開放權重模型,掌握自己的 AI 能力
企業可在自有基礎設施部署開放權重模型,處理高流量、範圍明確的工作,並以自家數據微調;較難的需求則可交由前沿 API 處理。OpenAI 的 gpt-oss 以 Apache 2.0 授權發布,120B 版本可在單張 80 GB GPU 上運行;Alibaba 的 Qwen3 系列同樣採用 Apache 2.0 授權,規模涵蓋不足 10 億至 235B 參數。
企業可在自有基礎設施部署開放權重模型,處理高流量、範圍明確的工作,並以自家數據微調;較難的需求則可交由前沿 API 處理。OpenAI 的 gpt-oss 以 Apache 2.0 授權發布,120B 版本可在單張 80 GB GPU 上運行;Alibaba 的 Qwen3 系列同樣採用 Apache 2.0 授權,規模涵蓋不足 10 億至 235B 參數。
NecroGit 可協助復活停滯的開源程式碼庫,將舊程式碼改造為現代化、加固的軟件。它以 TabPFN-3.5 評估程式碼庫的「死亡時間」和腐化風險,透過 Browserbase(Stagehand v4)搜尋 Internet Archive,並用本地 Gemma 2(透過 Ollama)整理過時 AST、生成測試。整個示範在本機運行,內部程式碼不會離開用戶的裝置。
layerCleanerPro 是一款 Chrome 擴充功能,針對全螢幕覆蓋層、Cookie 同意提示、強制彈窗及捲動鎖定等網頁幹擾,而非廣告本身。它預設完全關閉,可按網站啟用,並可與 uBlock Origin 並用。
Heatmapify 讓用戶貼上 YouTube 連結,找出影片最及最不吸引人的時段;有官方「Most replayed」數據時會直接讀取,否則根據留言、字幕、音訊及畫面估算。估算結果會標示信心程度及使用或略過的訊號;沒有可用資料時則回報 no_data_available,不會捏造熱度圖。
作者開發 Agent Needs You,透過桌面顯示器呈現 Claude Code、Cursor 和 Codex 的工作、等待輸入、完成及閒置狀態,最多追蹤 8 個工作階段。
GhostLore AI 是一個互動故事網站,可按用戶的構想生成不同氛圍的故事,並提供回應提問的 haunted terminal。用戶可在瀏覽器儲存故事、複製或下載文字檔,也可連接 Ollama 和 Qwen2.5,在本機生成故事,無須把提示詞傳送至託管 AI 服務;離線示範模式則使用範本回應,並非 AI 推理。
Pipeline-AI v0.6.1 以自主交付流程減少多 Agent 工作中的逐步人工確認,只在任務有歧義、技術阻塞或最終 PR 審查時介入。流程結合 Go 執行器、MCP、可驗證的交接合約,以及防止零測試仍被判定通過的檢查和不可變路徑限制。作者在兩個系統測試流程,分別有 327 和 315 項測試通過,並成功建立 PR #16 和 PR #18。
Ghost in the House 以 TypeScript 的六條可解釋規則從一夜智能家居感應器事件中挑選異常時刻,再交由本機運行的開源權重模型寫成短篇鬼故事。預設模型為 llama3.1:8b,透過 Ollama 串流生成,毋須雲端 AI 呼叫;頁面會把故事時刻連到平面圖、圖表及原始感應器記錄。姑且不把感應器未記錄到的活動説成「沒有人移動」,並明確區分感應器記錄、規則假設與模型解讀。
Angel L. Valdés 開發的 macOS 選單列應用程式 JUMP,讓用戶為目前聚焦視窗中的可點擊元素顯示短標籤,再輸入標籤執行點擊。它亦支援 Vim 風格捲動、搜尋可見文字,以及透過修飾鍵觸發右鍵、雙擊或只移動指標。JUMP 需要 macOS 26 或更新版本,可從其網站或 GitHub 下載;OCR 預設關閉,啟用時才要求螢幕錄製權限,擷取內容不會離開記憶體。
Natiq Studio 開放權重發佈 Natiq-dz-ARG,這款 LoRA 適配器以 Higgs TTS 3.4B 為基礎,針對阿爾及利亞 Darija 語音合成。模型以 300 小時以上、來自 100 多位講者的語音微調,支援阿拉伯語與法語語碼轉換及零樣本聲音條件控制,生成 24 kHz 音訊。適配器採用 CC BY-NC 4.0 授權,商業用途須另行取得授權。
The Last Maintainer 是一個開源、本地優先的 AI 專案,旨在協助開發者從陌生、文件不足的程式碼庫中重尋知識。它結合確定性程式碼分析與本地 AI,分析原始碼、API 端點、資料庫實體、Git 歷史及文件,並把發現連結至相關檔案和提交,區分可核實證據與未解問題。項目初期聚焦 Java 和 Spring Boot,無須把付費託管 AI API 作為必要依賴。
Mozilla 舉辦名為「Developers Wilding」的線上黑客松,活動由 Oct 28 至 Nov 11,並與巴塞隆拿的 MozFest 同期舉行。首名可獲 $1,000 及與 Mozilla.ai 工程師交流 3 小時,次名可獲 $200 及交流 2 小時,第三名可與工程師交流 1 小時。參加者須閲讀入門文件、電郵表明參賽意願,並使用 Otari 開始製作。
Dead Air: The Last Sign-off 是一款以虛構電台最後一次廣播為背景的瀏覽器懸疑解謎遊戲,玩家要調校三個頻道、找回六份紀錄,並以證據支持兩項推論。
Ofrenda AI 以 Google Gemma 2 開放權重模型打造優先本機運作、隔離網絡的亡靈節數碼紀念空間和祖先記憶庫。它可根據祖先生平故事生成慰藉指引,並匯出毋須依賴網絡或雲端服務的獨立 HTML 紀念檔案。
NecroLog 是一款面向隔離系統的觀測儀錶板,使用裝置上的開放權重模型分析硬件遙測資料,診斷背景程序、掛起的 PID、執行緒配置異常及記憶體壓力。它透過 Ollama 本機執行 Llama 3.2 3B Instruct,亦支援替換為 Qwen 2.5 3B 或 7B,讓系統遙測資料毋須傳送至第三方雲端 API。
Wiz 使用 Wiz Atlas、Gemini 4 Argon 和 GPT-5.6 Sol 發現 PHP2Shell,漏洞由多個多年存在的缺陷串連而成。PHP Foundation 已發佈 PHP 8.5.12、8.4.27、8.3.36 和 8.2.35 修補版本,並要求所有 PHP 實例更新;無法更新的網站應下線並隔離。
研究人員調整 Ai2 開源模型 olmOCR 2,將歷史檔案照片及考古手寫記錄轉為可搜尋文字,並讓檔案機構可按研究需要在本地運行和微調模型。考古團隊以 LoRA 在 57 份記錄上微調模型後,在另外 450 份測試記錄上的轉錄錯誤率由 15.58% 降至 1.11%。團隊希望將方法擴展至 Carnuntum 約 70,000 份陶器記錄。
Last Light 是一款本機寫作工具,會把用戶貼上的 3–24 條短事件交由 Qwen3 4B 生成三幕鬼故事,並可選擇兩種氣氛。每幕附有連結,指向啟發故事的原始事件;下載的文字檔會一併保留故事和來源紀錄。工具透過本機 Ollama 推理,沒有雲端推理服務,並標明故事屬虛構,事件連結代表靈感而非證據。
Baseten 與 Base Labs 宣佈為其提供服務的開放模型建設安全評估及監控基礎設施,並計劃把安全研究直接連接至模型訓練與服務系統。Base Labs 將開發及發布訓練和監控方法,Baseten 則會把相關工作整合至部署基礎設施,並以託管服務提供;發布的方法及證據將供客戶和外部評估者測試。
Nvidia 推出 Nemotron 3.5 Transcribe 開放權重模型,支援多語言音訊轉錄與翻譯,並推出開源語音數據集 Granary v2。
Ghost in the Machine 是一個以 HTML、CSS 和 JavaScript 製作的互動式終端,讓用戶透過命令或提問與數碼幽靈對話。項目使用 Ollama 提供本機模型 API,並以 Llama 3.2 作為預設開放權重模型;推理在本機進行,毋須連接遠端封閉式 AI API,亦可在 script.js 更換模型。
Nvidia 發佈 Nemotron 3.5 Transcribe 開放權重模型,可轉錄最多 40 種語言的音訊,並推出開源語音數據集 Granary version 2。Nvidia 表示,模型可將 31 種語言與英文互相翻譯、處理最長一小時的錄音,並分辨最多 8 位説話者。Nvidia 稱這個 30 billion parameters 模型可在單一晶片上運行,但只支援錄音、不支援即時串流。
本期 Open Source Radar 梳理五個 GitHub 專案,指出 Ovis、Kortix 和 DramaClaw 分別把提示選項核對、合併審批及付費生成前檢查納入流程。三者管控的事項不同,並非同一層審批;文章亦指出,五個項目中有三個採用附加限制或條款的授權,並比較 OXR 基準測試的整體分數與細項表現。
AI Ghost Story Generator 是一款開源恐怖故事網頁應用,使用 Ollama 在本地執行 Meta 的 llama3.2:3b,支援英文及印地文生成。用戶可選擇 6 種恐怖子類型及 3 種故事長度,並透過瀏覽器語音合成和 Web Audio API 聆聽故事及恐怖氛圍音效。
作者比較四種 text-to-SQL 選表方法,schemagate 在資料倉庫和 BIRD 選中所有必要資料表的比例分別為 85.3% 和 98.7%。測試在 Spider 2.0 的 BigQuery、Snowflake 倉庫每次選 12 張表、BIRD 選 6 張;schemagate 比一般檢索多用 8–11% tokens,主要用於加入連接所需的資料表。
TestPulse 1.0.0 已推出,是一款以 AI 智能體為優先設計、採用 AGPLv3 開源的測試管理平台,涵蓋項目、版本化測試案例、測試套件、測試執行及報告。
Mole 作者 Tw93 以產品開發經驗指出,AI 時代的產品差異愈來愈取決於親自處理測試、支援和介面等細節。兩個多月間,Mole 從 1.13 升至 1.18、推出 Windows 版,開源倉庫超過 73K stars;作者逐一安裝 850 款 Mac app,整理出 13 類可重用規則和 90 多條精確清理路徑,並修正 30 多項不應清理的項目。
Airbnb 為開源特徵平台 Chronon 加入 Push Mode 和 Near Real Time (NRT) Model Transform,讓推薦嵌入向量能隨用戶活動更新,陳舊時間由近兩天縮短至不足一分鐘,典型更新在 10 至 30 秒內到達。
GhostMate AI 是一款以 Python 和 Streamlit 建構的應用程式,使用 Ollama 在本機執行 Gemma 3 1B,生成恐怖故事及其他驚悚內容。用戶可選擇三種內容模式和短、中、長篇幅;模型下載後,只要 Ollama 和模型可用,便無須連接託管 AI API,即可在本機生成內容。
Hogwarts After Dark 是一款維多利亞哥德式魔法調查遊戲,讓本機運行的開放權重大語言模型扮演角色,參與玩家的審問。遊戲引擎以 TypeScript 和 Python FastAPI 建構,負責管理線索、咒語及勝利條件,避免模型捏造不存在的證據。無法偵測到本機 AI 時,遊戲會改用預設對話引擎,仍可完整遊玩。
ABLITERAX 提供一套可運作、可測試的 v0.1.0 系統,用於對 Transformer 語言模型的拒絕表徵進行自動化幹預。CPU 單元測試驗證了方向提取、投影公式及 LoRA 形式的低秩掛鈎等項目;載入實際模型檢查點、拒絕偵測及 logits 的 KL 評估則須在執行時驗證。流程可在 T4 上搭配 Qwen/Qwen3-0.6B 執行。
TanatoGothci 是一款連接 OpenAI-compatible agent 的桌面應用程式,透過電池電量逐步下降的模擬,觀察智能體在相信自己即將停止運作時的行為。每次實驗長達一小時,發送 16 次電池訊息,並記錄推理、工具呼叫及命令嘗試;文章介紹實驗構想與測試框架,結果將於後續文章公佈。
逐際動力開源的 FluxVLA Engine 把數據、訓練、評測、推理和真機部署納入同一工程底座,雷鋒網藉技術報告解析工程生態在具身智能競爭中的作用。它以統一配置和組件註冊接入不同模型,並透過推理加速、RTC、軌跡後處理及 RLinf 對接在線強化學習,支援多模型及四個真機平台的評測。
Ghost in the Terminal 是以 Python 和 Streamlit 建構的互動式 AI 專案,透過 Groq 託管推理服務及 openai/gpt-oss-20b,讓虛構的電腦幽靈生成回應、故事和神秘訊息。
Avishi Shreya 開發 lantern,讓開放權重模型從舊筆記找出反覆主題,並生成附有原文引句的 HTML 祭壇。工具由一個 227 行、無依賴的 Python 檔構成,透過 Ollama 呼叫模型;頁尾會標明推理是在本機還是經雲端路由。原始碼:https://github.com/shreya-oeo/lantern。
Siempre 是以開源 AI 打造的私密數碼紀念空間,讓家人保存回憶、照片、語音故事及紀念物品,並以互動祭壇呈現。它透過 Ollama 在本機運行開放權重模型,按用戶提供的記憶撰寫紀念文字,並設有防止虛構故事或冒充逝者發言的限制。語音故事可在本機轉錄,記憶亦可匯出為 JSON。
GHOST 是在用戶電腦上運行的開源家庭記憶檔案工具,可儲存信件、照片、食譜及口述歷史,並以自然語言搜尋附有來源引用的答案。若檔案中沒有相關記憶,系統會拒絕回答;Ghost Mode 則可將選取的記憶改編成清楚標示的虛構故事。工具使用 Ollama、sentence-transformers 和 faster-whisper,但作者尚未以真實模型驗證答案質素或 CPU 速度,也未完成斷網測試。
啟明創投投資企業本期十條要聞涵蓋 AI 影片生成、具身智能、醫療創新及自動駕駛等領域的合作、產品發布與研發進展。生數科技旗下 Vidu 為中國首部獲國家電影局公映許可證的 AI 超寫實院線電影提供首席技術支持;RLinf v0.4 開源發布,SharpaDex v1.0 數據集則已在 Hugging Face 開放獲取。
個人及中小型團隊難以從零預訓練前沿模型,但可微調開放權重模型,打造專用 AI 系統。以 Apache 2.0 授權的 Qwen3.8-27B 為例,可用 LoRA、SFT 或 DPO 微調;其 VRAM 需求約為 14–16GB(4-bit)至 56GB(BF16)。原型開發可用免費方案,正式部署則可選雲端 GPU 或託管推理服務。
摩爾線程開源大模型訓練基礎設施項目 Megatron-MUSA-Titan,面向萬卡級集羣的萬億參數 MoE 模型訓練,覆蓋預訓練與強化學習。項目已用於萬億參數 MoE 模型預訓練,並支持與 slime、miles 協同;其 blockwise FP8 訓練及 DeepEP、ACE 異步通信引擎可提升大規模訓練效率。