跳到正文
Google DeepMind·· 2026-03-29精選AI 評分65

Google DeepMind 探索 AI 時代的滑鼠遊標,介紹 Gemini 在 Chrome 的指向提問功能

Reimagining the mouse pointer for the AI era

AI 導讀

Google DeepMind 介紹 AI 指針的設計原則與實驗演示,並宣佈即日起可在 Chrome 用指針向 Gemini 提問網頁內容。這套設計以四項原則為核心,讓指針結合視覺和語義上下文及語音,減少使用者撰寫詳細提示詞的需要。Magic Pointer 將即將在 Googlebook 推出。

推薦理由

文章以四項交互原則説明 AI 指針如何減少提示詞負擔,並列出 Gemini 在 Chrome 的現有功能及 Googlebook 即將推出的 Magic Pointer。

正文 · 繁體中文

2026年5月12日 研究

Adrien Baranes 和 Rob Marchant

我們正開發更自然流暢、直觀易用的 AI 協作方式

滑鼠遊標一直伴隨我們使用電腦,穿梭於不同網站、文件和工作流程。儘管科技不斷演變,遊標在半個多世紀以來幾乎沒有改變。

我們一直探索 AI 新功能,讓遊標不只理解它指向甚麼,也理解該內容對用戶有何重要。

我們希望解決一個常見挫折:一般 AI 工具各自獨立於視窗中,用戶必須把自己的工作內容搬進去。我們希望反過來,讓直觀的 AI 能在用戶使用的各種工具中提供協助,而不打斷工作流程。例如,指向一張建築物圖片並要求「為我顯示路線」,只要 AI 系統已理解上下文,就無須提供其他説明。

今天,我們介紹引導未來用戶介面構思的基本原則,並分享由 Gemini 驅動的 AI 遊標實驗示範。例如,你可以前往 Google AI Studio,只需指向並説話,就能編輯圖像,或在地圖上尋找地點。

這段影片展示 AI 遊標的實驗環境,所有片段均經剪短。

我們的互動原則

我們提出四項原則,把傳達上下文和意圖的繁重工作由用戶轉移至電腦,以更簡單、直觀的互動取代文字繁多的提示。以下是我們方法和原則的示例。

保持流程順暢

AI 功能應在各個應用程式中運作,而不是迫使用戶在它們之間繞道使用 AI。我們的 AI 遊標原型在用戶工作的任何地方都可使用。例如,用戶可以指向 PDF,要求生成項目符號摘要並直接貼到電郵;將遊標停在統計表上,要求轉成圓形圖;或選取食譜,要求把所有材料份量加倍。

指示兼展示

現時的 AI 模型需要精確指示。要取得良好回覆,用戶必須撰寫詳細提示。AI 遊標可順暢擷取遊標周圍的視覺和語義上下文,簡化這個過程,讓電腦「看見」並理解用戶重視甚麼。在我們的實驗系統中,只要指向目標,AI 就能準確知道用戶需要哪個字詞、段落、圖像部分或程式碼區塊的協助。

善用「這個」和「那個」

日常交流中,人們很少會用冗長詳盡的段落説話。我們可能會説「修好這個」、「把那個移到這裏」或「這是甚麼意思?」同時依靠肢體動作和共同上下文,補足理解上的空白。能理解上下文、指向和語音組合的 AI 系統,便可讓用戶以自然簡短的方式提出複雜要求,毋須繁瑣提示。

把像素轉化為可操作的實體

數十年來,電腦只會追蹤我們指向哪裏。現在,AI 亦能理解用戶指向甚麼。這會把像素轉化為地點、日期和物件等結構化實體,用戶可即時與之互動。潦草筆記的照片可變成互動式待辦清單;旅遊影片中暫停的一格畫面,則可變成通往那間看起來很棒的餐廳的預訂連結。

建構能適應人類行為的科技,而不是迫使用戶遷就科技,便能實現一個未來:與 AI 協作真正直觀、流暢而自然。

我們很高興看到這些以人為本的概念融入日常使用的產品。

在產品中應用這項研究

我們正把這些原則融入 Chrome 和全新的 Googlebook 筆記簿電腦體驗,重新構想遊標互動。從今天起,你無須撰寫複雜提示,便可用遊標詢問 Chrome 中的 Gemini,瞭解網頁中特別關心的內容。例如,你可以選取頁面上的幾件產品,要求比較;或指向客廳中想放置新梳化的位置。Googlebook 亦將於短期內推出 Magic Pointer,讓用戶隨手使用 Gemini,獲得更直觀的體驗。由於還有許多值得探索的應用,我們會繼續在不同平台測試新構想,包括 Google Labs 的 Disco。

在 Google AI Studio 試用 AI 遊標

來源:Google DeepMind · deepmind.google