Google DeepMind 發佈 SL2T 手語轉文字模型,接入 Gboard 和 Live Transcribe
Putting sign language AI into users’ hands
Google DeepMind 發佈 SL2T 多語言手語轉文字模型,為 Gboard 和 Live Transcribe 帶來手語轉文字功能,首階段支援 ASL 至英文。
SL2T 以簽署者的身體姿態座標直接翻譯成文字,原始影片會即時丟棄,呈現其輸入處理方式與私隱保護設計。
2026 年 8 月 12 日 模型
Google DeepMind 手語團隊
隆重介紹手語轉文字(SL2T)模型,這款突破性模型將為聾人及聽障用戶帶來全新的手語功能。
過去數十年,AI 處理口語的能力迅速進步,讓聽力正常的用戶能輕鬆使用自動翻譯、聽寫和對話介面。然而,這場科技革命尚未惠及全球 200 多種手語,以及估計有 7,000 萬名使用手語的聾人及聽障人士。
今天,我們推出一款支援大量語言的手語轉文字(SL2T)翻譯模型,在質素和通用性方面均取得突破。藉着這款模型,我們首次把手語 AI 從實驗室帶到消費產品:SL2T 將為 Pixel 11 上的 Gboard 和 Live Transcribe 提供手語轉文字聽寫功能,初期支援美國手語(ASL)轉英文。更多裝置即將推出,亦會陸續支援其他語言。
聽力正常的用戶可以透過聽寫説話,毋須打字;同樣地,這項功能讓聾人用戶可在平常打字的任何地方,直接用手語與手機互動。你可以用手語搜尋網頁、撰寫訊息或文件,亦可以要求 Gemini 解答查詢或執行任務。在 Live Transcribe 中,你可以在對話時用手語回應,不必來回打字。測試者表示,以 ASL 簽述比用英文打字更快、更自然,體驗亦更愉快。
由 SL2T 驅動的手語轉文字功能,讓用戶可在平常打字的任何地方,直接用手語與手機互動。
手語為何重要
手語是全球聾人社羣的主要語言,也是聾人文化身份的基石。聾人在手語、口語、閲讀和寫作方面的熟練程度各有不同,因此支援各種溝通方式十分重要。聾人可像聽力正常人士受惠於口語處理技術一樣,受惠於手語處理技術;此外,這項科技亦帶來新機會,縮窄聾人與聽力正常社羣之間的溝通差距。儘管手語 AI 有望帶來正面社會影響,其發展一直緩慢,原因包括手語 AI 開發面對複雜挑戰,以及社會普遍誤解手語本身的運作方式。
與口語轉錄相比,手語翻譯有兩項核心挑戰。第一,語音轉錄是把聲音按順序轉換成同一語言的文字;手語則是獨立的自然語言,各自擁有獨特文法和詞彙。因此,手語翻譯需要真正的機器翻譯,而非依序把手勢轉成詞語。第二,模型必須學會「看見」並理解身體動作。手語透過雙手、手臂、軀幹、頭部和臉部的同步動作傳達意思。要以高影格率準確追蹤這些動作,是一項困難且耗費運算資源的電腦視覺任務。
瞭解這些背景後,不難明白為何早期一些手語科技嘗試(例如手語手套)從根本上有所限制:手語並非只是在手上「説英文」。手語需要對全身精細動作進行複雜的視覺感知,並具備完整的語言翻譯能力。SL2T 正是為此而設。
SL2T 將手語輸入表示為簽述者身體上的座標點,再轉換成串流文字輸出。例子取自 FLEURS-ASL 基準測試。
SL2T 的運作方式
我們以用戶為本、尊重文化脈絡的方式,配合大規模擴展資料,打造 SL2T。模型使用超過 100,000 小時、涵蓋 50 多種手語的資料訓練,其中約四分之一是 ASL。透過不同語言、方言和熟練程度的資料共同訓練,模型能學會共通的底層結構;在我們的實驗中,其表現勝過只支援單一語言的模型。
為保障用戶私隱,SL2T 會將手語轉換為一連串姿勢地標位置,而非處理原始攝影機影像。裝置端模型(MediaPipe Holistic)會追蹤簽述者身上的各個點,伺服器只會收到這些幾何座標以進行翻譯,原始影片則可即時丟棄。
SL2T 會直接把這串座標轉換成文字,略過以往手語翻譯研究常用、稱為「手語詞素」(glosses)的中間標註。手語詞素無法捕捉手語豐富而非線性的特徵,例如非手部標記和空間結構。直接根據地標進行翻譯,既消除了人為設定的詞彙限制,亦能讓翻譯質素隨資料增加而持續提升。
根據 FLEURS-ASL(sd-test)等主要基準測試的結果,SL2T 是迄今能力最強的手語翻譯模型;該測試評估 ASL 轉英文的翻譯質素。SL2T 的 zero-shot BLEURT 分數高達 70,遠高於以往任何已公佈的分數。不過,單是最佳化學術基準測試,並不代表模型在真實應用中易用,因此我們亦努力處理實際問題,例如減低串流延遲、避免模型在沒有簽述的輸入上產生幻覺、確保對 10% 左撇子簽述者公平,以及改善單手簽述的表現;用戶手持智能手機時,往往會用到單手簽述。
| 英文原文 | SL2T 的 ASL → 英文輸出 |
|---|---|
| 庫克羣島沒有城市,由 15 個不同島嶼組成。主要島嶼是拉羅湯加和艾圖塔基。 | 庫克羣島沒有城市,由 15 個島嶼組成。兩個主要島嶼是拉羅湯加和艾圖塔基。 |
| 賽事在天氣晴朗的上午 10:00 開始,除了上午中段一陣很快散去的毛毛雨外,當天十分適合舉行七人欖球賽。 | 賽事在天氣晴朗的上午 10 時開始。早上曾下過一陣小雨,之後很快停了。這是舉行七人制欖球賽的完美日子。 |
| 在美國和加拿大等聯邦制國家,所得税會由聯邦和地方兩級政府徵收,因此税率和級距可能因地區而異。 | 在美國和加拿大等聯邦制國家,聯邦和地方兩級政府都會徵收所得税。因此,税率和級距會因應你所在的地區而異。 |
| 這種全身長滿羽毛、温血的猛禽,相信曾用雙腳直立行走,爪子則像迅猛龍一樣。 | 這種生物是温血動物,吃灰色物質,全身覆蓋羽毛。據信牠會像迅猛龍一樣用雙腳行走。 |
| 也許有一天,你的曾孫會站在外星世界上,思索他們的遠古祖先? | 也許有一天,你的曾孫會站在外星世界上,回想自己的祖先。 |
FLEURS-ASL 基準測試的例子。SL2T 能準確地把複雜 ASL 翻譯成流暢英文,但少見手勢、快速指拼(「prey」→「grey」)、被動句、分類詞手勢(漏掉「claws」),以及缺乏上下文的時態(「kicked off」→「start」)仍偶有錯誤。
與社羣攜手建設
我們相信要與聾人社羣一同打造,而不只是為他們打造。聾人觀點影響了本項目的每個階段:由聾人 Google 員工 Sam Sepah 提出概念,到與聾人夥伴收集資料、在聾人用戶研究中進行評估,以及與聾人專家評估這項技術的影響。
為指導這項技術在真實世界負責任地部署,我們成立了 AI 手語諮詢委員會(AISLAC),匯聚多個全球聾人組織及相關領域專家。透過這種參與式管治模式,受技術影響最大的社羣能直接影響我們的開發優先次序。配合 SL2T 1.0 在 Gboard 和 Live Transcribe 推出,我們共同撰寫了聯合影響報告,公開詳述技術的能力和目前限制;我們計劃在所有主要手語版本中延續這種合作方式。
展望未來
SL2T 建基於學術界和業界數十年的基礎研究,但把 ASL 輸入功能帶到用戶手機上只是第一步。Google 的使命是整理全球資訊,令人人都能使用並從中受益。要實現普及無障礙,就必須讓手語全面追上口語和書面語。我們團隊正努力把這項技術擴展至更多手語、手語生成,以及前沿 AI 能力。我們期待負責任地分享進展,讓數碼世界各處都能普及透過手語溝通。
你可率先在 Pixel 11 上體驗 Gboard 和 Live Transcribe 的 SL2T,更多裝置即將推出,而且全部毋須額外付費。
鳴謝
這項工作由 Google DeepMind 和 Android 團隊共同完成。開發 SL2T 模型的核心團隊成員包括:Garrett Tanzer、Benoit Brard、Elizabeth Clark、Tim Dozat、Sebastian Ebert、Dan Garrette、Manfred Georg、Vicky Holgate、Shankar Kumar、Mohammad Saboorian、Miloš Stanojević、Megh Umekar、John Wieting、Andy Zhang 和 Chris Dyer。
把模型整合至 Gboard 和 Live Transcribe 的 Android 團隊成員包括:Ausmus Chang、Sai Aditya Chitturu、Dayle Chiu、Anna Chou、Ajay Dudani、Angana Ghosh、Alex Huang、Joanne Kim、Ed Lee、Thomas Lin、James Su、Yanchao Su 和 Sharlene Yuan。
我們亦感謝以下人士提供額外支援:Anelia Angelova、Abhishek Bapna、Sara Basson、Glenn Cameron、Scott Crowell、Trevor Cohn、Noah Fiedel、Zoubin Ghahramani、Raia Hadsell、Tom Hudson、Alexander Hauerslev Jensen、Kazuya Kawakami、Phoebe Kirk、Peike Li、Liam McCafferty、Caroline Pantofaru、Abhinav Parashar、Christopher Patnoe、Laura Rimell、Sagar Savla、Sam Sepah、Thad Starner、Dave Uthus 和 Biao Zhang。
我們亦要鳴謝 MediaPipe Holistic(Google AI Edge)團隊:Ivan Grishchenko、Artsiom Ablavatski、Valentin Bazarevsky、Esha Uboweja、George Sung、Jonathan Baccash、Gregory Karpiak、Sebastian Schmidt、Suril Shah、Raman Sarokin 和 Juhyun Lee。
也衷心感謝參與模型早期測試的各位。
來源:Google DeepMind · deepmind.google