跳到正文
目前篩選:一手

#多模態

今日 0 條
11月21日週六
  1. Hugging Face Blog71

    Inkling 2 Mini 發佈,面向本地部署的多模態 MoE 模型

    Thinking Machines Lab 與 Hugging Face 發佈 Inkling 2 Mini,一款支援 1M-token 上下文及圖像、文字輸入的本地多模態 MoE 模型。

    推薦理由:文章拆解 Inkling 2 Mini 如何重用中間層權重、透過跨輪訊息逐步修正計算,讓 24 個實體層執行相當於 48 個邏輯層的計算,呈現循環式架構的設計。

11月20日週五
  1. HKGAI 香港生成式人工智能研發中心43

    HKGAI 團隊奪 ACM MM 2026 最佳論文獎

    HKGAI 雪巍教授團隊聯同 Dolby Laboratories 發表的空間音訊研究論文,獲 ACM MM 2026 最佳論文獎。論文提出 StereoCodec、StereoGen 及 StereoCLAP,讓模型按文字生成具左右方位及動態軌跡的立體聲音訊。這項技術可降低 AI 影視、動畫及遊戲的後期製作門檻,並為多模態世界模型提供技術支點。

11月19日週四
  1. Google DeepMind74

    Google DeepMind 向 Google AI Ultra 訂戶推出 Genie 4 及新版 Project Genie

    Google DeepMind 向符合資格的 Google AI Ultra 訂戶推出新版 Project Genie,提供 Genie 4、Project Genie 智能體及社羣作品廊。

    推薦理由:新版體驗把 Genie 4 的即時世界編輯與原生音訊、Genie 3 的延長生成,以及智能體創作和作品分享整合起來,呈現互動世界的創作與探索流程。

11月10日週二
  1. The HKU Lead 港大新聞 · AI 研究及應用44

    港大研究人員結合 AI、電腦圖像學與波動光學,推進更逼真的全像 VR/AR 顯示技術

    香港大學研究人員結合電腦圖像學、波動光學及 AI 校準,開發兩種全像顯示技術,以呈現更自然的焦點、視角和材質變化。一種以多邊形網格保留場景幾何結構和深度,另一種 HoloPathTracer 模擬光線與場景幾何及材質的互動。兩項研究仍處於研究原型階段,實際消費應用仍需提升運算速度及改進空間光調制器和光學系統。

11月6日週五
  1. Hugging Face Blog61

    NVIDIA 發佈 Cosmos 3 四個開放權重模型,支援互動式世界模擬

    NVIDIA 為 Cosmos 3 模型系列新增四個開放權重 checkpoint,用於互動式世界模擬及多感測器、多視角駕駛場景生成。四個模型均以 Cosmos 3 Nano 為基礎進行後訓練,各有 16B 可訓練參數,並按 OpenMDW1.1 條款供商業及非商業用途。

    推薦理由:四個 checkpoint 涵蓋多視角駕駛資料、同步攝影機與 LiDAR 串流、模擬器控制轉影片及雙臂機械人互動,並分別交代用途與後訓練流程。

  2. Google Research62

    Google Research 發表以智能手錶感測器檢測高血壓徵兆的研究

    Google Research 在《Nature》發表研究,提出 AI-PPG-ACC-HTN 系統,利用消費級智能手錶被動檢測高血壓徵兆,無需袖帶校準,並以 24 小時動態血壓監測(ABPM)作為臨牀基準。

    推薦理由:研究以 24 小時動態血壓監測作臨牀基準,分別檢視手錶系統在初篩及確認測試中的表現,並交代多日生理訊號聚合的做法。

  3. CAIR 中科院香港人工智能與機器人創新中心35

    聆音EchoCare超聲大模型亮相TVB,CAIR聯同香港中文大學及威爾斯親王醫院開展臨牀研究

    聆音EchoCare超聲大模型亮相TVB《AI智有計》第四集,展示CAIR與香港中文大學及威爾斯親王醫院合作測試超聲切面識別和尺寸測量功能。相關算法已能識別不同心臟超聲切面,團隊正評估其在檢查中的表現及減少手動操作的潛力。

11月5日週四
11月4日週三
  1. AWS Machine Learning Blog52

    Amazon Bedrock 為 Kimi K3 支援印度境內推理

    Amazon Bedrock 現已支援 Kimi K3 在印度境內推理,透過 in.moonshotai.kimi-k3 inference profile,推理處理會留在 Mumbai 和 Hyderabad 區域內,以符合嚴格的資料駐留要求。文章提供 Python 範例,示範讀取印地語電費單、抽取結構化資料,並以 Hinglish 回答後續問題;亦説明跨區推理選項、權限設定及提示詞快取。

11月3日週二
  1. 香港科技大學 · AI 研究及應用41

    度小滿與香港科技大學發佈軒轅4.5金融大語言模型

    度小滿與香港科技大學及香港生成式人工智慧研發中心(HKGAI)聯合發佈軒轅4.5金融增強大模型,涵蓋大語言模型及多模態模型。在獲客、風控及客戶經營等金融場景中,模型效果提升30%,推理成本僅為通用模型的10%。其自進化RSI技術用於模型訓練及智能體場景目標適配,並以超過1000億Token的場景增強資料支援金融任務。

11月1日週日
10月31日週六
10月30日週五
  1. CAIR 中科院香港人工智能與機器人創新中心31

    CAIR 經顱多普勒多模態大模型亮相「顱影・數智爭鋒」實戰活動,探索腦血管超聲診斷新範式

    CAIR 與深圳德力凱電子股份有限公司自研的經顱多普勒多模態大模型,在「顱影・數智爭鋒」實戰活動中正式亮相。模型覆蓋 98% 以上臨牀場景,超聲提示準確率達 93.8%,超聲所見準確率達 97.52%,可解析超聲頻譜信號、測算血流動力學參數及標註異常徵象,輔助醫師研判。

  2. AWS Machine Learning Blog61

    如何在 Amazon EKS 和 SageMaker HyperPod EKS 上以 NVIDIA Nemotron 模型加速智能體 AI

    AWS Machine Learning Blog 介紹如何在 Amazon EKS、EKS Auto Mode 和 SageMaker HyperPod EKS 上部署 NVIDIA Nemotron 模型,以支援智能體 AI 工作流程。

    推薦理由:文章以並行度測試比較聚合與分離式部署,並示範如何根據 TTFT、ITL 和吞吐量規劃容量及判斷擴展方向。

10月29日週四
  1. Hugging Face Blog80

    Mistral Large 4(Le Chonk)登陸 Hugging Face,提供模型權重與部署指南

    Mistral Large 4(Le Chonk)以開放權重形式登上 Hugging Face,提供 FP8 和 NVFP4 兩個官方版本。模型是多模態、多語言 MoE,約有 1T 總參數、49B 活躍參數及 1M tokens 上下文窗口,支援文字和圖片輸入並生成文字。

    推薦理由:文章整理 Mistral Large 4 在 Transformers、vLLM 和 llama.cpp 的部署方式,並附上不同硬件配置與上下文長度下的實測速度,提供實際部署參考。

  2. Mistral AI76

    Mistral Large 4(Le Chonk)發佈改進版開放權重

    Mistral AI 發佈改進版 Mistral Large 4(Le Chonk)的開放權重;這款 1-trillion-parameter 原生多模態模型提升了編碼、防禦性網絡安全及推理效率。

    推薦理由:文章把編碼基準成績與 tokens 使用效率並列,並交代開放權重模型的自託管及企業託管服務選項,呈現能力比較與部署方式。

  3. viAct · 視覺 AI 及工地安全28

    哥倫比亞建築安全:AI 如何改善防墮保護及風險監測

    AI 影片分析可利用哥倫比亞工地現有 CCTV,即時監察高空作業區,改善防墮保護及風險監測。系統可標示高空作業時未佩戴安全帶、邊緣開口、缺少護欄及未按有效許可證作業等情況,並即時通知安全團隊。這有助支援《2021 年第 4272 號決議》要求的持續監察。

10月28日週三
  1. Hugging Face Blog66

    用 LFM3 構建專用多模態模型

    Liquid AI 發佈 LFM3 新一代模型系列,以共享骨幹涵蓋文字、視覺、音訊、全模態及決策模型。LFM3-1.7B 以少 35% 參數超越 LFM2.5-2.6B;文字模型的上下文窗口為 256K,所有模型均可在單張 GPU 微調。LFM3 全系列採開放權重,現已在 Hugging Face 提供。

    推薦理由:LFM3 將文字、視覺、音訊與決策模型建基於同一骨幹,並支援單張 GPU 微調及端側部署,呈現小型模型按任務專門化的實作路徑。

  2. AWS Machine Learning Blog67

    Property Finder 如何修正 Amazon Bedrock 評測偏差並降低模型成本

    Property Finder 評估將視覺 AI 工作負載遷移至 Amazon Bedrock 時,發現 96.8% 的評測標籤直接沿用單一模型預測,因而重新建立專家標註的評測集。

    推薦理由:文章以房地產影像分類案例,説明專家標註、多標籤設計和逐輪提示詞優化如何減少評測偏差,並讓不同模型的比較更貼近實際正確性。

10月27日週二
10月26日週一
  1. The HKU Lead 港大新聞 · AI 研究及應用46

    港大商學院發佈生成式 AI 影片生成能力報告

    港大商學院人工智能評估實驗室發佈 AI 影片生成模型評測報告,評估超過十款模型的影片生成能力,以及識別和防範錯誤資訊等高風險內容的能力。Seedance 2.0 Pro 生成表現總排名第一,並在六個評估維度均居首;Hailuo-2.3 安全與責任評分最高,但生成能力總排名第九。

10月24日週六
  1. Google Research69

    Google Research 推動基礎模型應用於結核病篩查

    Google Research 介紹其結核病篩查工作,從胸部 X 光 AI 工具的臨牀部署,延伸至 MedGemma、MedSigLIP 等開放模型。合作方 Nexus AI 的工具已在六個國家約 40 間醫療機構運作,超過 90 名臨牀人員評估逾 25,000 張胸部 X 光影像,將處理時間由數週縮短至不足 45 秒。

    推薦理由:文章串連臨牀驗證、監管認證與多國部署案例,呈現胸部 X 光篩查工具從研究成果走向醫療現場所需的合作與落地環節。

10月21日週三
  1. Hugging Face Blog62

    NVIDIA 擴展 Nemotron Retriever 系列,推出 Nemotron 3.5 Embed、Nemotron 3.5 Rerank 及 Nemotron 3.5 Parse

    NVIDIA 擴展 Nemotron Retriever 系列,推出可商用的開放模型 Nemotron 3.5 Embed、Nemotron 3.5 Rerank 及 Nemotron 3.5 Parse,涵蓋多模態檢索、重排及文件抽取。

    推薦理由:這次更新把多模態嵌入、重排與文件解析納入同一檢索系列,並列出多項基準與吞吐數據,呈現準確度和部署效率的取捨。

  2. AWS Machine Learning Blog62

    Octave 如何在 Amazon Bedrock 上打造安全的多租戶 AI 基礎平台

    Octave 為 Reliance 在 Amazon Bedrock 上建立三層多租戶 AI 基礎平台,以支援受監管產業的文件搜尋與 AI 工作流程。平台採用 Cohere Embed v4,並以每租戶向量儲存、AgentCore 隔離執行環境及 Amazon Bedrock Guardrails 分層控制資料存取與內容風險。

    推薦理由:文章拆解多租戶合規場景中的隔離、身份與內容安全取捨,並呈現如何把共用基礎設施轉化為可重用的 AI 功能底座。

10月20日週二
  1. Hugging Face Blog74

    PyTorch 2.15 為 Mac MPS 加入 FP8 支援並加快模型解碼

    PyTorch 2.15 為 Mac 的 MPS 後端加入 FP8 支援,並加快 LLM 解碼及多項 Metal 運算。在 M3 Ultra 使用 torch.compile 時,Qwen3.6-35B-A3B 的 MoE 解碼速度由 9.4 升至 61.3 tokens/s;Wan2.2 影片 VAE 解碼的峯值驅動程式記憶體由約 270 GiB 降至約 8 GiB。

    推薦理由:文章列出 Mac MPS 上的模型解碼提速和 Wan2.2 影片 VAE 記憶體降幅,具體呈現 PyTorch 2.15 後端更新對本機推理工作負載的變化。

10月16日週五
  1. Hugging Face Blog81

    Meta 發佈開放權重多模態混合專家模型 Muse Spark Open

    Meta 推出 Muse Spark Open,一款約 816B 參數、每個 token 約啟用 42B 參數的開放權重多模態混合專家模型,支援文字、圖像、音訊和影片輸入,並生成文字。模型的上下文窗口最高為 1M tokens。文章列出 Transformers、llama.cpp、SGLang 和 vLLM 等推理部署方式,以及使用 TRL 進行 LoRA 微調的示例。

    推薦理由:文章把模型規模、長上下文與多模態輸入能力,連同多種部署和微調方案放在同一份技術指南中,可用來瞭解模型的運行配置與使用方式。

10月15日週四
  1. Hugging Face Blog68

    Apertus 1.5 發佈説明:新增圖像與音訊理解,上下文窗口擴至 262,144 tokens

    Apertus 1.5 更新 8B 和 70B 模型,加入圖像與音訊理解及可選思考模式,並將上下文窗口擴至 262,144 tokens。持續預訓練分別為 8B 和 70B 模型加入 4 trillion tokens 和 2 trillion tokens 的文字及多模態訓練資料,總訓練量分別達 19T 和 17T。

    推薦理由:文章同時公開訓練資料、各階段檢查點與可重跑的評測記錄,讀者可據此瞭解 Apertus 1.5 的訓練流程及比較評測結果。

  2. Google Research54

    Google Research 在 Research@ 2026 展示 10 種放大人類創造力的方式

    Google Research 在 Research@ 2026 展示 10 項研究進展與工具,涵蓋地理空間分析、科研、醫療、災害預測及教育。Google Earth AI 擴大早期使用範圍,Deep Review 開放予公眾;Groundsource 整理出逾 2.6 million 宗洪災事件的數據集,協助訓練可提前最多 24 小時預測城市山洪機率的模型。

10月14日週三
  1. Google DeepMind84

    Gemini 4 Argon:為解決最棘手的問題而打造

    Google DeepMind 發佈 Gemini 4 Argon,今日起按用戶類別透過 Gemini API、AI Studio、Google Antigravity、Gemini app 及 Search 的 AI Mode 提供使用。

    推薦理由:文章並列 Argon 的跨領域基準表現、使用入口、定價與工程及科研案例,讀者可據此瞭解其能力定位和實際應用範圍。

10月9日週五
  1. viAct · 視覺 AI 及工地安全43

    日本建築安全:主要風險及電腦視覺如何提供協助

    日本建築工地面對高空墮下、機械事故及熱疾病等安全風險,電腦視覺可透過現場影像進行持續、即時監察。2025 年日本有 214 名建築工人因工死亡,約佔全行業 700 宗死亡事故的 31%;高空墮下是建築事故的首要成因。日本自 2025 年 6 月 1 日起規定僱主採取預防熱疾病措施。

10月8日週四
  1. Hugging Face Blog61

    Liquid AI 發佈端側決策模型 d1-3B 與實驗版 d1-omni-600M

    Liquid AI 發佈兩款開放權重端側決策模型 d1-3B 和實驗版 d1-omni-600M。d1-3B 支援文字與圖像輸入,在 Decision Index 0.2.1 得分 48.57,並在七個公開數據集取得 82.9 的平均分;d1-omni-600M 支援文字與圖像或文字與音訊輸入。

    推薦理由:文章把 d1-3B 的公開基準成績與多款邊緣設備的延遲數據並列,讓讀者瞭解其決策表現及端側推理速度。

10月7日週三
  1. Google DeepMind70

    Google DeepMind 發佈開放、輕量級多模態嵌入模型 EmbeddingGemma 2

    Google DeepMind 發佈 EmbeddingGemma 2,將文字、程式碼、圖像、影片及音訊映射至同一嵌入空間,供裝置端推理使用。

    推薦理由:EmbeddingGemma 2 將文字、程式碼、圖像、影片及音訊映射至同一嵌入空間,並列出裝置端記憶體與向量儲存數據,方便評估跨模態搜尋的本地部署。

  2. Mistral AI75

    Mistral AI 推出 Mistral Large 4 公開預覽版,權重預計月底釋出

    Mistral AI 推出 Mistral Large 4 公開預覽版,權重預計月底釋出。模型具原生多模態能力,總參數量為 1 trillion、活躍參數量為 49 billion,並可透過 Mistral Studio API 試用。在 Artificial Analysis Cyber Index 名列全球前五,漏洞重現及修補測試得分 82%,Cybench 則解決 93% 的挑戰。

    推薦理由:文章以 Cyber Index、漏洞重現與修補測試及 Cybench 結果,呈現 Mistral Large 4 在網絡安全基準中的相對表現。

10月1日週四
  1. CAIR 中科院香港人工智能與機器人創新中心34

    獲香港特區政府人工智能資助計劃支持|CAIR醫療AI成果亮相專案分享會

    CAIR 在香港特區政府人工智能資助計劃專案分享會上,展示醫療 AI 研發成果及在香港醫院的合作進展。中心已形成涵蓋 CARES 4.0、EchoCare 和 SurgMotion 的全棧醫療 AI 技術體系,並與香港 3 家醫院合作開展科研及臨牀驗證。相關系統已在內地 30 餘家醫院部署。