跳到正文
Google Research·· 2026-04-23精選AI 評分73

Google Photos 在 Auto frame 中推出照片視角重構功能

It's all about the angle: Your photos, re-composed

AI 導讀

Google Photos 的 Auto frame 現已提供照片視角重構功能,會自動調整相機視點並補全原照片未拍到的畫面區域。方法先估算 3D 點圖與相機參數,再以生成式潛在擴散模型補全重新渲染後的空缺。這項功能會處理符合條件且包含人物的照片,重構版本列為 Auto frame 候選中的第二個版本。

推薦理由

文章説明它如何把照片視為 3D 場景,重設相機位置並補出鏡頭外內容,呈現傳統裁切和縮放無法做到的視角修正。

正文 · 繁體中文

你有沒有翻看手機相簿,覺得某個畫面若以稍微不同的方式拍攝會更好?也許想多拍到一點臉部一側,或把相機放低一點,捕捉完美一刻。又或者自拍笑容完美,但廣角鏡頭令你看起來有點陌生。通常我們只能接受這些「差一點就完美」的照片,因為瞬間已經過去,無法重新拍攝。

裁剪和縮放或有幫助,但傳統圖像編輯工具無法解決根本問題:畫面仍然是從固定而不理想的視角呈現場景。縮放不會改變視差,裁剪也無法顯示畫框外的內容。

今天,我們宣佈一種照片拍攝後調整場景取景的新方法。這項技術現已加入 Auto frame 功能,並在 Google Photos 提供。它利用機器學習(ML)模型理解場景及其空間佈局,再用生成式 AI 想像從新視角拍攝照片的效果。有別於傳統相片編輯,我們的方法會把照片理解為 3D 場景,彷彿將真實瞬間定格,並在場景空間內自動改變相機位置。因此,方法會保留原本可見的內容,並智能生成先前被遮擋的部分,形成忠於原始場景的新視角。

全新視角

有別於其他生成式圖像編輯方案,我們的方法分為兩個階段:(1) 3D 場景和相機估算;(2) 生成式修補和潤飾。將 3D 估算與圖像生成分開後,我們可在 3D 空間中忠實調整場景,以及相機內部和外部參數。此外,我們使用 ML 模型理解場景內容,並自動建議新的相機參數。

第一步,我們使用內部 3D 點圖估算模型,特別針對忠實重建人體和臉部而設定,以減少可能影響身份保留的重建瑕疵。對原始圖像的每個像素,模型都會估算一個代表可見表面區域的 3D 點,並估算原相機焦距。

接着,我們使用傳統 3D 渲染,估算以調整後的相機參數拍攝圖像的效果。重要的是,我們可以同時修改相機姿態(位置和方向)及焦距,完全掌控圖像生成過程。

然而,只渲染 3D 點圖並不足夠:當你將虛擬相機「移到」物件周圍時,會看到原鏡頭未拍到的背景部分。換言之,點圖並未完整呈現場景,從新視角渲染時總會出現「空洞」。為填補這些區域,我們使用生成式潛在擴散模型,補全及修正渲染結果。此模型專為這項任務訓練,使用內部已知相機參數的圖像配對資料集。訓練時,我們估算其中一張圖像的 3D 點圖,並投影至另一張圖像的相機視角。模型藉此學會從重新渲染的第一張圖像重建第二張圖像。推論時,我們使用具區域縮放的分類器引導,忠實保留原始內容,同時讓模型有創作空間填補空缺。

更理想的視點

為支援全自動編輯,我們使用 ML 模型偵測主要人物臉部的位置及 3D 方向。結合 3D 點圖後,這些語義資訊可讓我們計算最理想取景的相機參數,特別適用於人像。另一方面,廣角前置相機拍攝的圖像往往有嚴重透視變形,令最接近鏡頭的五官顯得不自然地大。我們的方法會自動偵測這些變形,並調整虛擬相機內部參數,恢復自然、悦目的比例,彷彿拍攝後再把相機從人物身邊「移遠」。

現已在 Google Photos 提供

這項全自動方案現已在 Google Photos 中以 Auto frame 功能上線。它會使用具備 3D 理解能力的圖像編輯工具,處理符合資格且包含人物的照片,輕鬆改善人像效果。用戶可在 Auto frame 的候選結果中,以第二個版本選項查看重新構圖的圖像;相機視角已自動調整,只需一步即可改善照片。

致謝

此功能由 Google DeepMind 與 Google Platforms & Devices 團隊合作完成。主要貢獻者包括:Thiemo Alldieck、Marcos Seefelder、Hannah Woods、Pedro Velez、Michael Milne、Bert Le、Navin Sarma、Jasmin Repenning 和 Selena Shang。顧問包括:Steven Hickson、Claudio Martella、Irfan Essa 和 Alex Rav Acha。特別鳴謝:Mike Krainin、Jan Stria、Neal Wadhwa、Amit Raj、Mauro Rego、Kita Boice、Dennis Shtatnov、Yuan Qi、Julian Iseringhausen、Peter Zhizhin、Jiaping Zhao、Andre Araujo、Jana Ehmann、Keng-Sheng Lin、Isalo Montacute、Brandon Ruffin、Reginald Ballesteros 和 Andy Radin。

來源:Google Research · research.google