Google Research 介紹生成式 UI:為各類提示生成客製化視覺互動體驗
Generative UI: A rich, custom, visual interactive user experience for any prompt
Google Research 介紹生成式 UI 實作,Gemini app 今日起推出 dynamic view 和 visual layout 兩項實驗,Google Search 的 AI Mode 亦加入生成式互動介面。
文章對照生成式 UI 與標準 LLM 輸出及專家設計網站的偏好結果,並交代生成有時需一分鐘以上及輸出偶有不準確的限制。
生成式 UI 是一項強大能力,AI 模型不只生成內容,還能生成完整的用戶體驗。今天,我們介紹生成式 UI 的全新實作方式,能動態建立沉浸式視覺體驗和互動介面,例如網頁、遊戲、工具和應用程式;系統會因應任何問題、指示或提示詞,自動設計並完整客製化介面。提示詞可以只有一個字,也可以按需要寫得很詳細。這類新介面與 AI 模型一般呈現內容的靜態、預設介面截然不同。
在我們的新論文〈Generative UI: LLMs are Effective UI Generators〉中,我們説明實現生成式 UI 的核心原則,並展示這種新模式確實可行。評估結果顯示,即使不計生成速度,人類評分者也明顯更偏好生成式 UI 實作的介面,而非一般 LLM 輸出。這項工作是邁向全 AI 生成用戶體驗的第一步:用戶會自動取得符合需要的動態介面,而不必從現有應用程式清單中選擇。
我們的生成式 UI 研究(亦稱生成式介面)今天透過 Gemini app 中名為 dynamic view 的實驗,以及 Google Search 中的 AI Mode,正式推出。
將生成式 UI 帶到 Google 產品
生成式 UI 功能將以兩項實驗形式推出至 Gemini app:dynamic view 和 visual layout。使用 dynamic view 時,Gemini 會運用代理式程式編寫能力,根據每個提示詞設計並編寫完整客製化的互動回應。它能理解解釋微生物羣對 5 歲小孩和成人需要不同內容與功能,正如為企業製作社交媒體帖文集錦,也需要與規劃即將到來的旅程截然不同的介面。
dynamic view 適用於多種情境,從學習概率,到協助處理活動規劃和取得時尚建議等實際任務。介面讓用戶能以互動方式學習、遊玩和探索。dynamic view 和 visual layout 今日起陸續推出。為協助我們瞭解這些實驗,用戶初期可能只會看到其中一項。
生成式 UI 體驗亦已整合至 Google Search,首先在 AI Mode 推出,提供專為用戶問題生成的動態視覺體驗、互動工具和模擬。Gemini 3 的多模態理解能力出眾,代理式程式編寫能力強大,因此 AI Mode 中的 Gemini 3 能解讀任何提示詞背後的意圖,並即時建立專屬生成式用戶介面。它可即時生成互動工具和模擬,打造有助深入理解並完成任務的動態環境。AI Mode 中的生成式 UI 功能今天起向美國的 Google AI Pro 和 Ultra 訂閲者推出。在 AI Mode 的模型下拉式選單中選擇「Thinking」即可試用。
生成式 UI 的實作方式
我們在論文中介紹的生成式 UI 實作,採用 Google Gemini 3 Pro 模型,並加入三項重要擴充:
- 工具存取:伺服器提供多種關鍵工具,例如圖片生成和網頁搜尋。結果可提供模型使用以提升品質,也可直接傳送至用戶的瀏覽器以提升效率。
- 精心設計的系統指示:透過詳細指示引導系統,內容包括目標、規劃、範例和技術規格,例如格式要求、工具使用手冊和避免常見錯誤的提示。
- 後處理:模型輸出會交由一組後處理器處理,以解決可能出現的常見問題。
有些產品可能希望結果維持特定風格。我們可為這些產品設定實作方式,確保所有用戶看到的結果(包括生成素材)都採用一致風格。若沒有指定風格指示,生成式 UI 會自動選擇風格;用戶亦可在提示詞中影響風格,例如 Gemini app 中的 dynamic view。
生成式 UI 輸出遠較標準格式受歡迎
為一致評估和比較生成式 UI 實作,我們建立了 PAGEN,這是一個由人類專家製作網站的數據集,並即將向研究社羣發布。
為評估用戶偏好,我們將全新的生成式 UI 體驗與多種格式比較:由人類專家根據特定提示詞設計的網站、Google 搜尋的首個結果,以及以純文字或標準 Markdown 格式呈現的基準 LLM 輸出。
人類專家設計的網站最受歡迎,生成式 UI 實作的結果緊隨其後,並明顯領先所有其他輸出方式。這項評估沒有考慮生成速度。我們亦發現,生成式 UI 的效能很大程度取決於底層模型的效能,而我們最新模型的表現明顯更佳。詳情請參閲論文。
未來機遇
生成式 UI 仍處於早期階段,尚有重要改進空間。例如,目前的實作有時需一分鐘或更久才生成結果,輸出亦偶有不準確之處;這些都是持續研究的方向。生成式 UI 展現了研究的良性循環:研究突破帶來產品創新,為解決用戶需求開拓新機會,繼而推動更多研究。我們認為生成式 UI 未來可擴展至更多服務、適應更多上下文和人類回饋,並提供愈來愈有用的視覺和互動介面。我們期待生成式 UI 帶來更多機遇。
鳴謝
感謝共同作者 Matan Kalman、Danny Lumen、Eyal Segalis、Eyal Molad、Shlomi Pasternak、Valerie Nygaard、Srinivasan(Cheenu)Venkatachary 和 James Manyika。這項工作由 Google Research、Google Search 和 Gemini 多個團隊合作完成。另有許多人參與並提供支援,包括 Yoav Tzur、Zak Tsai、Hen Fitoussi、Amir Zait、Oren Litvin、Christopher Haire、Harsh Kharbanda、Liat Ben-Rafael、Ronit Levavi Morad、Kristen Chui、William Li、Jennifer Shen、Chris Struhar、Ivan Kelber、Chloe Jia、Ryan Allen、Maryam Sanglaji、Tanya Sinha、Hema Budaraju、Robby Stein、Josh Woodward 和 Jeff Dean。
來源:Google Research · research.google