ChatGPT 現可看、聽及説話
ChatGPT can now see, hear, and speak
ChatGPT 現可看、聽及説話。
OpenAI
我們開始逐步在 ChatGPT 推出全新的語音和圖像功能。這些功能提供一種全新、更直觀的互動介面,讓你可以透過語音交談,或向 ChatGPT 展示你正在談論的內容。
語音和圖像功能讓你在生活中可以有更多方式使用 ChatGPT。旅行時,拍下地標的照片,並即時討論它有哪些有趣之處。回家後,拍下雪櫃和食品櫃的照片,想想晚餐吃甚麼(還可以繼續提問,取得逐步製作的食譜)。晚飯後,拍下數學題並圈出題目,讓 ChatGPT 同時向你和孩子提供提示,協助孩子解題。
未來兩週內,我們會逐步向 Plus 和 Enterprise 使用者推出 ChatGPT 的語音和圖像功能。語音功能將登陸 iOS 和 Android(可在設定中選擇啟用),圖像功能則會在所有平台推出。
與 ChatGPT 語音交談,聽它回應
現在,你可以透過語音與助理來回對話。外出時可以和它交談、請它為家人講睡前故事,或請它為餐桌上的爭論評理。
使用語音與助理來回對話。
如要開始使用語音,請在流動應用程式中前往設定 → 新功能,並選擇啟用語音對話。然後,點按主畫面右上角的耳機按鈕,從五種不同聲線中選擇你喜歡的一種。
這項全新的語音功能由全新的文字轉語音模型驅動,只需文字和幾秒鐘的語音樣本,便能生成近似真人的音訊。我們與專業配音員合作,打造每一種聲線。我們亦使用開源語音辨識系統 Whisper,將你說的話轉錄成文字。
討論圖片
現在,你可以向 ChatGPT 顯示一張或多張圖片。排查烤爐無法啟動的原因、查看雪櫃裏的食材來計劃一餐,或分析與工作相關數據的複雜圖表。如要聚焦圖片中的特定部分,你可以使用流動應用程式中的繪圖工具。
向 ChatGPT 顯示一張或多張圖片。
如要開始使用,點按相片按鈕拍攝或選擇圖片。如果你使用 iOS 或 Android,請先點按加號按鈕。你亦可以討論多張圖片,或使用繪圖工具引導助理。
圖像理解功能由多模態 GPT‑3.5 和 GPT‑4 驅動。這些模型運用語言推理能力處理各類圖像,包括照片、螢幕截圖,以及同時包含文字和圖片的文件。
我們正逐步推出圖像和語音功能
OpenAI 的目標是打造安全且有益的 AGI。我們相信應逐步提供工具,讓我們能隨時間改進工具並完善風險緩解措施,同時讓所有人為未來更強大的系統做好準備。對於涉及語音和視覺功能的先進模型,這項策略更為重要。
語音
這項全新的語音技術只需幾秒鐘的真實語音,便能製作逼真的合成聲音,為許多創意和無障礙應用開拓可能。不過,這些功能亦帶來新的風險,例如不法分子可能冒充公眾人物或進行詐騙。
因此,我們正利用這項技術支援一種特定用途——語音聊天。語音聊天是由曾與我們直接合作的配音員共同打造。我們亦正以類似方式與其他人合作。例如,Spotify 正試行運用這項技術推出其 Voice Translation(在新視窗中開啟) 功能,協助播客主持人以自己的聲音將播客翻譯成其他語言,讓他們講述的故事傳播得更廣。
圖像輸入
視覺模型亦帶來新的挑戰,包括模型對人物產生幻覺,以及在高風險領域依賴模型解讀圖像等問題。在擴大部署前,我們與紅隊測試人員合作,測試模型在極端主義、科學能力等領域的風險,並邀請背景多元的早期測試者參與。我們的研究讓我們就負責任使用所需的幾項關鍵細節達成共識。
令視覺功能兼具實用性與安全性
與 ChatGPT 其他功能一樣,視覺功能旨在協助你處理日常生活中的事情。當它能看見你所見之物時,最能發揮作用。
這項做法直接建基於我們與 Be My Eyes 的合作經驗。Be My Eyes 是一款為失明及低視力人士而設的免費流動應用程式;透過這項合作,我們了解了視覺功能的用途和限制。使用者告訴我們,對於背景中剛好有人物的圖片,他們覺得就圖片作一般對話很有用;例如,當你正嘗試弄清楚遙控器的設定時,電視上剛好有人出現。
我們亦採取技術措施,大幅限制 ChatGPT 分析人物或直接就人物作出陳述的能力,因為 ChatGPT 並非時刻準確,而這些系統應尊重個人私隱。
實際使用情況和回饋將幫助我們進一步完善這些防護措施,同時保持工具實用。
坦誠說明模型的限制
使用者可能會在專門領域(例如研究領域)依賴 ChatGPT。我們會坦誠說明模型的限制,並不鼓勵在未經適當核實的情況下用於較高風險的用途。此外,模型擅長轉錄英文內容,但處理某些其他語言時表現欠佳,尤其是採用非拉丁字母文字的語言。我們建議非英語使用者不要將 ChatGPT 用於這項用途。
如欲進一步了解我們的安全方針及與 Be My Eyes 的合作,請參閱 圖像輸入系統卡。
我們將擴大開放範圍
Plus 和 Enterprise 使用者將可在未來兩週內體驗語音和圖像功能。我們很期待不久後也向其他使用者群組(包括開發者)推出這些功能。
來源:OpenAI News · openai.com