EmotionLens: Exploring AI-Powered Facial Expression Analysis with Open-Source AI
EmotionLens 團隊以 AI Emotions Detection 作為起點,探索將 AI 面部表情分析發展成協助創作者、演講教練和培訓師檢視錄影的工具。現階段的開發方向包括改善預測可靠性、探索錄影時間軸及摘要,並明確交代本機處理和資料保留方式;這些仍是開發目標,並非已實作功能。團隊提醒,表情預測並不能可靠確定他人的實際情緒。
EmotionLens 團隊以 AI Emotions Detection 作為起點,探索將 AI 面部表情分析發展成協助創作者、演講教練和培訓師檢視錄影的工具。現階段的開發方向包括改善預測可靠性、探索錄影時間軸及摘要,並明確交代本機處理和資料保留方式;這些仍是開發目標,並非已實作功能。團隊提醒,表情預測並不能可靠確定他人的實際情緒。
KhataLens 使用 Gemma 4 E2B 經 Ollama 在店主電腦本機讀取手寫賒帳簿,轉成可編輯帳目並計算各客戶欠款。模型約有 4.6B 參數;在 3 張共 24 行手寫頁的測試中,修正讀取規則後,3 次測試均正確識別姓名、金額、日期及賒帳/還款類別。產品亦可草擬付款提醒,但目前尚未有店主使用。
情感陪伴機械人已在日本、韓國、美國及中國的養老服務場景試點,亦有產品進入消費市場,但行業仍處於早期發展階段。bibo公司數據顯示,截至2026年9月1日,活躍用戶日均多模態互動超過60次。日韓美的案例多由政府或公共養老機構承擔採購或訂閲成本,消費市場則仍面對智能化、私隱安全、持續使用和成本等門檻。
Christian Anderson 開發 listwright,以 Gemma 4 根據商品照片和用戶提供的事實生成 Etsy 商品標題、13 個標籤及描述。
PocketLedger 是一款為自由工作者設計的私隱優先本機開支記錄工具,透過 Ollama 運行 Qwen2.5-VL 3B,從收據圖片或文字提取商戶、日期、金額等資料。用戶可檢查和修改欄位後才儲存至本機 SQLite;收據圖像在提取後即丟棄,工具亦支援搜尋、每月支出摘要、多貨幣記錄及 CSV 匯出。
文章以掌紋占卜網頁 App 為例,説明如何提供免註冊的圖像轉文字 AI 免費預覽,以及這種設計帶來的工程問題。文章建議以 IP 加短效簽署工作階段 cookie 限流,並先低成本檢查圖片是否為手、過暗或模糊,再呼叫生成文字的模型。展示掌紋線條圖可讓用戶發現不理想的輸入;免費結果應完整呈現,並清楚標示內容屬娛樂與自我反思,而非預測或專業建議。
ShilpiList Desk 使用開放權重多模態模型 Gemma 4,根據手工藝賣家上載的產品照片及提供資料,生成英文、印地語和奧迪亞語商品標題與描述草稿。工具支援最多 10 件產品批次輸入,並設有提示詞層級的準確度規則、啟發式警告,以及提醒用戶讓奧迪亞語草稿先經母語人士審閲的提示。測試中 6 個樣本全部生成有效刊登資料,中位生成延遲為 3.7 秒;作者尚未確認有付費客戶。
Voxel51 發佈 Voxel51 3.0,將多模態數據的搜尋、整理、標註和評估整合至同一平台,面向以機械人、車輛及工廠感測器數據訓練模型的團隊。新版加入 Voxel51 Agent(45+ MCP 工具、80+ operators 和 18 個開源技能)及數據溯源功能。
MIT 研究人員研發多模態 AI 模型,結合晶體的 3D 原子結構與自然語言描述,提升模型識別材料及預測功能的能力。模型透過對比學習對齊結構與文字;在識別具指定特性的晶體材料時,表現優於基線,而以 AI 生成描述訓練的版本亦較只用論文文字訓練的模型更善於預測功能。
作者用 5.5 小時打造 TrustIntern,供用戶輸入公司、招聘人員、網站及訊息內容,並上載聘書 PDF 或截圖,以調查實習邀約風險。Gemma 4 負責安排調查智能體及讀取文件,分數則由固定規則計算並逐項連結證據,報告亦註明分數不是詐騙概率。
PlantLens Pro 將本地 AI 植物診斷打造成面向獨立苗圃和精品園藝店的離線 B2B 桌面應用,並以 $50 終身授權銷售。應用透過 Ollama 本機運行 LLaVA 1.5 7B,診斷植物病況並生成附有店舖品牌的「Care Recipe」PDF,亦會推薦店內產品。應用不需 API 費用,並可完全離線運作,資料留在店舖硬碟。
演員吳越表示,有帳號利用 AI 仿冒她帶貨,並要求相關帳號退還騙取的款項;截至發稿,涉事視頻號帳號已更名為「小劉打工日記」。報道提及,部分換臉影片報價僅數十元至數百元,温崢嶸團隊曾在一天內舉報50個假冒帳號,部分帳號下架後又換形式重現。文中引述律師指出,維權面對侵權成本低、平台責任虛化及流程漫長等困境,並建議引入懲罰性賠償及把平台責任前移至事前審核。
DeepSeek 發佈 DeepSeek-V4.1-Flash-1017,官方稱新版本相較 V4.1 Flash 在多項基準測試中表現提升,並縮短任務時間、減少輸出長度及 token 費用。
作者展示以 C# 和 WebGPU 在瀏覽器內執行 TRELLIS.2 的文字轉 3D 流程,模型在本機 GPU 生成並輸出帶貼圖的 GLB。Chrome 中以 RTX 4070 測得,權重已快取時,Prompt-to-GLB 為 180 s;Photo-to-GLB 首次 148 s,下一次 134 s。
Kyutai 與 Inria、École des Ponts 發佈 REKI,這款 2.4B 視覺語言動作模型只以公開資料預訓練,並在動作專家中加入近期記憶。REKI 在 LIBERO-Plus 得分 90.4%,為 Kyutai 比較中的最高分;在 RoboTwin,加入記憶後姿態振盪片段比例由 18.6% 降至 4.1%,讀取快取每個動作區塊增加 0.1 ms。
作者以 ESP32-S3、AirPlay 和 Ollama 上的 qwen2.5vl:7b 重建 iPhone 操控方案,透過 USB HID 模擬滑鼠和鍵盤,毋須 Xcode 自動化。
Holo4D 以重建的 3D 軌跡構成整體式 4D 支架,引導影片擴散模型生成新視角影片,同時保留場景幾何結構與動態。實驗展示以軌跡作為條件對鏡頭控制和新視角合成的價值;框架可配合不同的 4D 重建器,無須重新訓練影片生成器。
ShopSnap 將 WhatsApp 訂單截圖轉成每日銷售報告,用戶逐筆檢查後才儲存,客戶資料全程留在本機。它透過 Ollama 本機運行 gemma3:4b 和 qwen2.5:3b;以 10 張虛構截圖測試 11 筆訂單,欄位正確率為 84.1%,每張截圖平均約需 26 s,應用程式目前免費並採用 MIT 授權。
Focus67Dumby 是一款透過 Ollama 本機開放權重模型辨識編程教學與離題娛樂的 100% 離線桌面便利貼。它支援 gemma4:e2b、gemma4:e4b、qwen3-vl:2b 等模型,並以 512x288 記憶體內截圖輔助判斷,資料不會傳送至雲端。產品提供免費自行構建的開源版本,Pro Desktop Edition 售 $19 一次性終身授權。
FreelanceFlow 是供自由工作者使用的本機 AI 簿記工具,以 Gemma 3 4B 經 Ollama 讀取收據,並提供資料校驗及 CSV 匯出。在 7 張真實收據測試中,金額辨識正確 6/7;有日期的收據日期辨識為 4/4,有店名的收據店名辨識為 3/3,每張平均需時 179.5 秒(手提電腦 CPU)。文件在用戶電腦處理,不會傳到伺服器,亦沒有逐份文件的 API 費用。
開發者 Phantom842 建成 Déjà,一款在手提電腦本機記錄螢幕並可透過對話搜尋過往畫面的工具。Déjà 每隔數秒檢查畫面變化,RapidOCR 約 5 秒在 CPU 上辨識訂房頁面;faster-whisper 不到 1 秒將語音轉成文字,再由搜尋選出匹配畫面,交 Gemma 3 1B(透過 Ollama)閲讀前五項並圈出答案所據截圖。
Trify3D 的 API 層將請求路由至 Tripo3D、Meshy 和 Rodin,讓用戶比較多個引擎生成的 3D 網格。架構以 Trigger.dev 管理非同步任務,並透過冪等處理保障點數不會重複扣除,同時支援 Webhook 通知。
原生音訊模型直接處理或生成聲學表徵,保留文字轉錄會丟失的時間、語氣及説話者線索。這與先將語音轉成文字、再合成語音的流程不同,兩者的因果流程及評估成效所需證據亦有別。指南以五項可觀察操作梳理其運作,並指出表現亦會受周邊數據、介面、硬件、權限及人員影響。
Receipt Sorter 是一款以 Qwen2.5-VL 7B 驅動的開源命令列工具,可在本機整理收據和發票,產生會計所需的 CSV 及分類摘要。它透過 Ollama 本機處理文件,並將不確定或可能重複的項目標記供人工覆核;原始文件只會複製,不會移動或修改。
Rhuturaj Takle 撰寫 .NET 電腦視覺整合指南,涵蓋影像分類、物件偵測、OCR、臉部辨識及圖像嵌入向量等任務。內容示範以 ML.NET、ONNX Runtime、Azure AI Vision 和 OpenCV 等技術實作,並比較雲端 API、自行部署模型與多模態 LLM 的適用情境。指南亦討論評估方式、個人資料私隱,以及臉部辨識的法律和倫理限制。
Vision Assistant v1.0.0 是面向自由工作者、小型企業主及代理公司團隊的桌面 AI 助手,可透過 Ctrl + Shift + Space 啟動,並支援多螢幕擷取、本機記憶及視覺分析。它在本機儲存用戶偏好及項目工作階段,協助自動處理審核工作、記錄客戶備註及簡化工作流程,並提供 Windows 可執行套件。
DeepSeek 透過 OpenRouter 提供 DeepSeek V4.1 Flash 1017,這是 DeepSeek V4.1 Flash 於 2026 年 10 月 17 日的模型快照。
Seven Sports 參考 NASA CRS-35 任務研究,為 Meta Quest 設計 Amblyotube,一款第一人稱 VR 視力訓練應用程式。其核心引擎以模糊着色器處理主導眼畫面、用 AI 鋭化弱視眼中的人物,並以洋紅色焦點提示協助雙眼融合。應用程式支援 YouTube 影片,相關着色器開源。
Invosorter 透過 Ollama 在本機運行 Gemma 4 E2B,擷取印度發票及收據資料,並支援欄位檢查、人工修正及匯出 CSV 或 Excel。測試涵蓋 4 張合成發票,首 3 張在已評分欄位均無差異,第 4 張有 11 項中的 10 項相符,GSTIN 中 I 與 1 混淆的錯誤亦被標示。原型目前只處理 PDF 首頁,在 CPU-only 筆電上每張發票推理約需 1 至 2 分鐘。
StepFun 以開放權重形式發佈 Step 5 Preview,FP8 和 BF16 checkpoints 已上架 Hugging Face 及 ModelScope;模型總參數為 600B,每個 token 啟用 27B 參數,上下文窗口最高達 1M tokens。
Receipt Box 是供自由工作者使用的收據及發票分類工具,透過 Ollama 在本機運行 Gemma 3 4B 視覺模型,整理出費用儀錶板。收據和發票不會上載至任何地方,並可編輯分類結果、標示重複文件及按季度查看 VAT。工具支援多種貨幣,並可匯出 CSV 或 Excel 檔案交給會計師。
Autotrust 維護的 JEV-27B-VL 是 27B 參數視覺語言模型,System 1 可直接為指定選項輸出概率。System 1 支援是非、2–256 個選項的選擇及 0–5 評分,提示詞最多 256K tokens;System 2 基於未修改的 Qwen3.8-27B,可接收圖像並生成文字或逐步推理。
Florence-2-Large 是一款視覺基礎模型,可透過文字提示在單一架構中執行圖像描述、物件偵測、定位及分割。它以 FLD-5B 訓練,數據集包含 5.4 billion 項視覺標註及 126 million 張圖片。指南指出它在小物件和細粒度視覺任務上有所限制;較小的 florence-2-base 推理快 15-20%,但複雜場景的準確度較低。
BillSnap 是為自由工作者設計的本地發票、收據及銀行結單擷取工具,使用本機運行的開放權重視覺模型處理財務資料,避免將資料傳送至第三方 AI 伺服器。作者的朋友投入 42 份 PDF 收據及實體收據照片,工具在本機不到 45 秒完成交易解析和分類,期間沒有雲端呼叫。交易可匯出為 CSV、JSON 及 QuickBooks 相容格式。
MomentSort 以 AI 協助婚禮攝影師搜尋及整理相片,結合 SigLIP 圖像嵌入向量、相似度搜尋、模糊檢測和相片分組。託管版本目前以示範模式運行,提供示範搜尋功能;完整資料夾分析則預計在本機執行,因為需要存取用戶的相片資料夾及較大型的 AI 模型。
這個開源 BGMI 研究原型以 PaddleOCR 和微調的 YOLOv11,從擊殺提示畫面辨識事件,探索低延遲賽事記分板更新。5 分鐘、60 FPS 影片經兩階段篩選後,送入 ML 流程的影格由 18,000 幅減至 132 幅,整體減少約 99.3%。目前名單初始化、記分表輸出及介面整合仍待完成,尚非已部署的完整計分服務。
HumanSkill-4D 是一個無需訓練的框架,透過共享多模態推理和幾何運算子,根據語言查詢選取可動態 Gaussian 化身的區域與動作區間。研究引入三個由人手標註的基準,評估結果顯示,HumanSkill-4D 在部件分割及 3D、4D 指代分割方面優於基線方法。每個化身只需數分鐘設定,並使用精簡記憶。
UniAVC提出統一音訊與影片創作模型,先以大量單模態數據訓練音訊和影片分支,再以稀缺配對數據進行對齊,支援聯合合成、跨模態生成及指令引導編輯。模型採用各自獨立的噪聲排程和非對稱監督,可用同一組權重執行多種創作任務,無需任務專用 adapter。
論文提出 Muse Glimmer 30B,一款開源因果語言模型,可經約 4-bit 量化在消費級硬件本地進行多步推理及工具使用。模型配備感知編碼器,接受文字和圖像輸入、輸出文字,訓練資料涵蓋逾百種語言。論文稱其在工具使用、多步規劃及智能體任務完成基準上的表現優於 Gemma4-31B 和 Qwen3.6-27B。
這份選舉實務指南説明如何識別和應對 deepfake,並保護選舉宣傳及資訊渠道。指南比較 Microsoft Video Authenticator、Sensity AI、Deepware Scanner 和 Detectron,並建議交叉比對兩種工具的結果。另附批次檢查影片的 Python 腳本,需使用 Python 3.10+ 和配備 CUDA 的 GPU。