跳到正文
HKGAI 香港生成式人工智能研發中心·· 2 天前AI 評分43

HKGAI 團隊奪 ACM MM 2026 最佳論文獎

權威認證|HKGAI團隊奪國際頂級學術會議ACM MM 2026「最佳論文獎」

AI 導讀

HKGAI 雪巍教授團隊聯同 Dolby Laboratories 發表的空間音訊研究論文,獲 ACM MM 2026 最佳論文獎。論文提出 StereoCodec、StereoGen 及 StereoCLAP,讓模型按文字生成具左右方位及動態軌跡的立體聲音訊。這項技術可降低 AI 影視、動畫及遊戲的後期製作門檻,並為多模態世界模型提供技術支點。

正文

Image 1: HKGAIHKG AI

首頁新聞產品關於我們商務聯絡

Image 2: 權威認證|HKGAI團隊奪國際頂級學術會議ACM MM 2026「最佳論文獎」

返回最新新聞

2026-11-20

權威認證|HKGAI團隊奪國際頂級學術會議ACM MM 2026「最佳論文獎」

香港生成式人工智能研發中心(HKGAI)雪巍教授團隊,早前聯同國際音響巨頭杜比實驗室(Dolby Laboratories)發表的最新空間音訊研究論文,近日於巴西里約熱內盧舉行的國際多媒體頂級學術會議ACM International Conference on Multimedia 2026(ACM MM 2026)上,勇奪最高榮譽「最佳論文獎」(Best Paper Award)。

Image 3

Image 4: 權威認證|HKGAI團隊奪國際頂級學術會議ACM MM 2026「最佳論文獎」

香港生成式人工智能研發中心(HKGAI)雪巍教授團隊,早前聯同國際音響巨頭杜比實驗室(Dolby Laboratories)發表的最新空間音訊研究論文,近日於巴西里約熱內盧舉行的國際多媒體頂級學術會議ACM International Conference on Multimedia 2026(ACM MM 2026)上,勇奪最高榮譽「最佳論文獎」(Best Paper Award)。

ACM Multimedia 是全球多媒體領域最具影響力的旗艦級國際學術會議,今年會議於本月 10 至14 日圓滿舉行,是次獲獎印證 HKGAI 在多模態基礎模型的科研實力已穩居世界頂尖行列,標誌著「空間音訊生成」技術取得重大突破。

Image 5: 图片 圖一及二:HKGAI雪巍教授(右)團隊聯同杜比實驗室(Dolby Laboratories),憑藉空間立體聲生成論文榮獲 ACM Multimedia 2026「最佳論文獎」

告別「平面聲音」 讓AI懂得「聽聲辨位」

是次發表的論文題為《Discrete Coding and Masked Modeling for Text-to-Stereo Audio Generation》(面向文字生成立體聲音訊的離散編碼與掩碼建模),深入探討如何讓AI僅憑一段文字描述,便能精準合成具備真實方位感與動態軌跡的空間立體聲音訊,徹底解決傳統AI音效平面化及聲場失真的技術難題。 現時市面上大部分文字生成聲音的AI工具,生成的往往是平面的單聲道音訊──就像一個收音機喇叭,所有聲音擠在一起,分不清遠近和方向。即使強行輸出雙聲道,亦容易出現聲場塌陷或方向模糊的問題,難以應用於講求臨場感的電影或遊戲製作。

而人類之所以能夠聽聲辨位,是因為左右耳接收聲音時存在極微細的時間和音量差異。HKGAI團隊便從這個原理出發,研發出一套全新的空間立體聲生成系統,包含三大核心技術組件:

StereoCodec(立體聲離散編解碼器):針對雙聲道訊號特點設計,引入符合人類心理聲學(Psychoacoustics)的重建目標,將雙聲道音訊壓縮為高保真離散 token,精準保留左右聲道之間的微妙空間關係。

StereoGen(掩碼生成式立體聲模型):採用結合多模態與單模態的混合 Transformer 架構及掩碼生成建模(Masked Generative Modeling)技術。創作者只需輸入包含空間動態的文字指令(例如:「電單車由右向左高速駛過」),模型即可高效生成具備真實空間移動軌跡的立體聲音訊。

StereoCLAP(語義空間一致性評測框架):首創引入方向性「困難負樣本挖掘」(Hard Negative Mining),有效衡量生成音訊與文字描述在語義及空間方位上的精準匹配度(例如準確區分聲源在左側抑或右側)。

圖三:StereoGen模型架構示意圖-系統能理解「電單車由右向左高速駛過」等空間移動指令,快速生成具備左右方位變化的立體聲音訊

賦能AI影視與遊戲開發 奠定音訊世界模型基石

這項突破將大幅降低AI影視作品、動畫及遊戲開發的後期製作門檻,能根據劇本或玩家位置自動配對具方向感的3D環境音效。同時,團隊建立的空間音訊基礎組件,亦為未來構建「聲畫合一」的多模態世界模型(World Models)提供了關鍵技術支點。

返回查看全部最新新聞

Image 6: HKGAIHKG AI 香港生成式人工智能研發中心

快速導覽

相關資源

聯絡我們

© 2026 HKGAI 香港生成式人工智能研發中心. All rights reserved.

來源:HKGAI 香港生成式人工智能研發中心 · hkgai.info