Hugging Face AI Sheets 加入圖片分析、生成與編輯功能
Unlock the power of images with AI Sheets
Hugging Face 為開源工具 AI Sheets 加入視覺功能,讓用户可在試算表中分析圖片、抽取資料、生成及編輯圖像。AI Sheets 透過 Inference Providers 使用數千個開放模型;示例以自訂提示詞從手寫食譜圖片提取文字,並可修訂結果、整理後匯出資料集至 Hub。
這次更新把圖片理解、生成與編輯納入同一試算表流程,並以手寫食譜示範從提示詞抽取文字、修訂結果到匯出資料集的做法。
🧭簡介:Hugging Face AI Sheets 是一款開源工具,無須編寫程式碼,就能運用 AI 模型大幅強化資料集。現已支援視覺功能:在試算表中擷取圖片(收據、文件)資料、根據文字生成圖像,以及編輯圖片。服務由 Inference Providers 提供數以千計的開放模型。
我們很高興推出 Hugging Face AI Sheets重大更新。這是一款開源工具,可使用開放 AI 模型建立、轉換和豐富數據。AI Sheets 透過 Inference Providers運作,讓你使用全球頂尖推論供應商所支援的數以千計開放模型。
AI Sheets 第一個版本讓文本內容的整理和豐富工作變得輕而易舉。現在,我們為 AI Sheets 加入視覺功能。
圖片無處不在:產品相片、收據、螢幕截圖、圖表、圖形和標誌。這些文件包含結構化資訊,值得擷取、分析和轉換。今天起,你終於可以直接在 AI Sheets 處理視覺內容:查看和分析圖片、擷取資訊、生成新圖片,甚至即時編輯,全部都在同一個工作流程中完成。
你的圖片藏有豐富資訊
圖片包含不少有價值的資訊,例如產品目錄、支援工單、研究檔案、收據和文件。現在你可直接上載圖片,或使用包含圖片的資料集,再透過視覺模型擷取、分析和整理其中資訊。
你可以:
- 描述和分類圖片 - 為產品相片生成説明文字、分類文件類型,或按內容為圖片加上標籤
- 擷取結構化資料 - 從收據擷取逐項項目、從圖表讀取資料,或從掃描文件辨識文字
- 加入上下文和中繼資料 - 自動為圖片加上相關屬性、品質評分或自訂註釋
與文本欄一樣,你可反覆調整提示、手動編輯輸出,並使用讚好按鈕告訴模型你的偏好。你的回饋會成為 few-shot 範例,幫助模型生成更佳結果。
例子:把收據轉成結構化開支資料
想像你旅行回來,帶着一疊收據。把它們上載至 AI Sheets,新增一欄並輸入提示,例如:Extract the merchant name, date, total amount, and expense category from this receipt
AI Sheets 會處理每張收據,並整理成包含所有已擷取資料的清晰表格。你可修正錯誤,以讚好按鈕確認正確結果,並重新生成其餘內容以改善結果。最後可把資料集匯出為 CSV 或 Parquet,供開支追蹤工具使用。
又或者,你想把家族舊筆記簿中的手寫食譜數碼化。建立欄位擷取食材、烹調時間和菜式類型,將個人檔案轉化成可搜尋的結構化資料集。
在同一流程生成並轉換文字和圖片
需要為內容製作視覺素材?AI Sheets 可直接在試算表中使用 AI 模型生成和編輯圖片,讓整個內容創作流程集中在同一處。
你可以:
- 根據文字生成圖片 - 製作符合內容的社交媒體圖片、縮圖或插畫
- 編輯和轉換現有圖片 - 修改上載圖片或生成的視覺素材,例如更改風格、加入元素或調整構圖
- 大量建立不同版本 - 生成多個版本或風格,測試哪一種最受受眾歡迎
- 建立視覺內容素材庫 - 為大型內容企劃製作風格一致的品牌素材
例子:製作附有視覺素材的內容日曆
想像你正規劃一個月的健康食譜社交媒體帖文。你有一份試算表,列出帖文標題和描述,但尚未準備圖片。
新增圖片欄,並輸入類似以下提示:為 {{title}} 生成一張令人垂涎的美食照片。風格:明亮、俯拍、自然光。
AI Sheets 會為每篇帖文生成獨特圖片。不太滿意?新增另一欄進行編輯,例如輸入:把圖片背景改為鄉村風木材,並加入新鮮香草作裝飾。
你可反覆調整生成和編輯提示,嘗試不同方法。整份內容日曆,包括文案和視覺素材,都集中在同一份試算表中,隨時可排程或匯出。
逐步指南
現在來看看 AI Sheets 的實際操作。我們會使用開放模型,從手寫食譜中發掘內容,例如你可能在祖母家中找到的食譜。
上載數據
我們有一個資料夾,內含相片,可直接上載至應用程式。
結果會是一份類似這樣的試算表:
瞭解 AI 操作
你可以使用 AI 操作轉換、擷取或查詢試算表中的任何欄,也能按想像執行其他操作。
要查看實際效果,請點擊任何欄上方的浮層:
圖片欄支援多種圖像操作,例如擷取文字、向模型提問、物件偵測、上色、加字,以及任何你想到的自訂操作。
文本欄則支援摘要、關鍵字擷取、翻譯和自訂操作。
每項 AI 操作都由提示和模型定義。現在來看看如何處理手寫食譜資料集!
從圖片擷取文字
AI Sheets 提供範本,讓你從圖片擷取文字:
執行這項操作後,AI 會生成一個包含轉錄文字的欄位。來看看例子:
以上圖片擷取出的文字如下:
MEMORANDUM:
From
To
1 Box Duncan Hines Yellow Cake Mix
1 Box instant lemon pudding
2/3 cups water
1/2 cup Mozola oil
4 eggs
Lemon flavoring to taste.
Put in mixing bowl and beat for 10 min.
and REMEMBER... for Quality PRINTING
CALL OR WRITE
Gatling & Pierce
PRINTERS
TELEPHONE 332-2579
22 YEARS OF SERVICE IN NORTHEASTERN CAROLINA
不錯!但我們看到系統把頁首和頁尾的印刷文字也一併擷取了,而我們只想要食譜文字。原因是我們使用了預設文字擷取範本,內容如下:
Extract and transcribe all visible text from the image, including signs, labels, documents, or any written content
現在試試自訂提示。
以下是擷取出的食譜內容:
- 1 盒 Duncan Hines 黃色蛋糕預拌粉
- 1 盒即溶檸檬布甸粉
- 2/3 杯水
- 1/2 杯 Mazola 油
- 4 隻雞蛋
- 檸檬香料適量
- 放入攪拌碗,攪打 10 分鐘
很好!但遇上更複雜的圖片又如何?AI Sheets 預設使用速度和準確度平衡良好的模型,不過你也可從數以千計的模型中選擇。以上例子使用預設視覺語言模型 Qwen/Qwen2.5-VL-7B-Instruct。
現在試用最先進的推理模型 Qwen/Qwen3-VL-235B-A22B-Reasoning,處理更具挑戰性的圖片。
以下比較兩款模型的結果:
| Qwen/Qwen2.5-VL-7B-Instruct | Qwen/Qwen3-VL-235B-A22B-Reasoning |
|---|---|
| 在大碗中混合肉、洋葱、麵包糠、1/2 茶匙肉豆蔻和芝士,加入各材料時均勻撒入。然後攪勻。最後再撒一次並再次攪拌。放入大烤盤,以 350 度烤 10-15 分鐘。上桌前靜置 5 分鐘。 | 在大碗中混合肉、洋葱、麵包糠、1/4 茶匙肉豆蔻和芝士,加入各材料時均勻撒入。然後攪勻。最後加入菠菜再攪拌。放入大烤盤,以 350 度烤 50-60 分鐘,上桌前靜置 5 分鐘。 |
兩款模型的輸出非常相似,但有兩個細微而重要的差異(以粗體標示):温度和一種關鍵食材——菠菜。
清理、轉換並豐富文本
提取文本後,若結果令人滿意,便可進一步轉換和豐富內容。接着要對新欄執行 AI 操作:
現在每份食譜都有整理精美的 HTML 頁面:
編輯和轉換圖片
最後,AI Sheets 整合了 Qwen-Image-Edit 等圖像轉圖像模型,讓你可透過 AI 操作轉換和豐富圖片。
例如,假設你想為食譜圖片加上懷舊風格,就前往該欄並使用黑白範本,如下所示:
結果:
匯出資料集
滿意新資料集後,就把它匯出至 Hub 吧!你可以匯出至機構或個人檔案;若不想與社羣分享,也可設為私人。
你可以查看我們剛建立的資料集。
下一步?
你可以試用 AI Sheets,無須安裝或下載;也可從 GitHub 儲存庫下載並在本機部署。如要在本機運行並充分使用功能,我們建議訂閲 PRO,即可每月享有 20x 推論用量。
如有問題或建議,歡迎在 Community 分頁告訴我們,或在 GitHub 開啟 issue。
來源:Hugging Face Blog · huggingface.co












