Gradio gr.Workflow 如何編排、執行及部署 AI 工作流
Wire It, Run It, Deploy It: AI Workflows in Gradio
Gradio 內置的 gr.Workflow 可把 AI 工作流表示為由帶類型節點組成的圖,並提供可拖放、逐節點執行及查看中間結果的畫布。節點可執行 Python 函數、調用 Hugging Face Inference Providers 模型或其他 Gradio Space,也可處理 Hub 數據集資料。
文章以多個可執行示例展示如何把模型、Python 函數與 Gradio Space 串成工作流,並讓節點輸出直接成為 API。
最有趣的 AI 應用程式大多由多個步驟組成。你可以先生成圖片,再按需要去除背景,或編輯成全新作品;也可以編寫劇本,再為劇本生成配音,或在保留劇本的情況下更換聲音。我們通常會用 Python 將這些步驟串連起來;一旦結果看起來不對,就得回到列印除錯,找出是哪一步產生了異常值。
gr.Workflow 直接內置於 Gradio,讓工作流本身就是介面。你可以將步驟描述成由具型別節點構成的圖表,而 Gradio 會提供可拖放的畫布;每個節點都能執行,也能查看每個中間結果。同一張圖表亦會成為 REST API,並可透過一行指令部署至 Hugging Face Spaces。
要了解其概念,最佳方式是看看幾個實際運作的工作流。以下每個應用程式都是可即時開啟、執行和複製的 Hugging Face Space。
編輯圖片
上載圖片,輸入編輯要求(「將它變成下雪的冬日場景」、「加上太陽眼鏡」、「把汽車改成紅色」),即可取得編輯後的照片。整個應用程式只用一個節點,在 Hugging Face Inference Providers 上呼叫 Qwen-Image-Edit。
串連實際模型,打造媒體工作室
一張圖表,三條工作流。先輸入提示詞,使用 FLUX 生成圖片,再傳送至背景移除 Gradio Space,將圖片變成貼紙。你可以透過文字轉語音 Gradio Space,將主題轉成旁白;同一主題亦可透過呼叫 LLM,生成吸引人的集數標題。
這是一張畫布、兩次 Hugging Face Inference Providers 模型呼叫,以及兩次 Gradio Spaces 呼叫。
由於這是工作流,三個輸出各自也會有 REST endpoint:/sticker、/voiceover 和 /episode_title。無須開啟 UI,你就可以直接在程式碼中呼叫任何 endpoint。以下的從程式碼呼叫部分會提供可執行範例。
平行擴展圖片生成
輸入一個構想,就能一次生成一組藝術作品:由 FLUX 產生的基礎圖片、兩張以該圖片重新演繹的 AI 作品(一張柔和水彩風格,一張霓虹賽博朋克風格),以及由 LLM 撰寫的相集標題。
每張圖片都由使用 Inference Providers 的模型節點,直接根據提示詞生成;標題則由呼叫 LLM 的 fn 節點產生。這正是扇出模式的實際應用:一個構想可以同時送入多個運算節點,平行生成結果。
分析 Hugging Face 資料集
輸入 Hugging Face 資料集 ID,例如 stanfordnlp/imdb 或 mteb/tweet_sentiment_extraction,單一輸入便會扇出至四個運算節點,透過 Datasets Server API 即時分析資料集。
你會看到概覽卡、前幾行資料預覽、各欄統計資料和分佈圖表;這些內容都會獨立並行計算。這就是工作流的強大之處!
執行自己的 GPU 模型
目前為止,每個節點都會呼叫 Hugging Face。但 fn 節點只是 Python,因此也可以在 Space 的 GPU 上執行模型。
以 @spaces.GPU 裝飾已綁定的函式後,節點執行時,ZeroGPU 會為該次呼叫分配 GPU、執行模型,然後釋放 GPU。我們不必總是依賴 Inference Providers 或現有 Gradio Spaces。
看看這個示範:使用透過 Diffusers 載入的 Lightricks/LTX-Video,為靜態圖片加入動畫,整個流程只需一個節點。gr.Workflow 不需要了解你的 GPU 設定,只需呼叫已綁定的函式。
運作方式簡介
每個工作流都是由三種節點組成的圖表:參照(你的輸入)、運算節點(執行工作的步驟)和主體(你的輸出)。運算節點可以是你自己的 Python 函式、Hugging Face Inference Providers 上的模型、另一個 Gradio Space,或 Hub 資料集中的一列。你只需在具型別的連接埠之間拖曳來連接節點,按下 Run,便可即時查看每項結果。
從程式碼呼叫
你建立的每個工作流本身也是 API,無須額外設定。每個輸出都會成為以其標籤命名的 REST endpoint,你可以使用 Gradio client 從 Python 呼叫。以下是針對多 endpoint 示範 Space 的即時免 token 範例,內容完全未作修改:
from gradio_client import Client
client = Client("ysharma/gr-workflow-multi-endpoint-API")
print(client.predict("hello there friend", api_name="/word_count")) # -> 3
print(client.predict(20, api_name="/fahrenheit")) # -> 68.0
呼叫模型或 Space 的 endpoint 會使用 Hugging Face token,因此建立 client 時請提供 token:
from gradio_client import Client, handle_file
client = Client("ysharma/gr-workflow-image-editor", token="hf_...")
edited = client.predict(
handle_file("dog.jpg"),
"turn it into a snowy winter scene",
api_name="/edited_image",
)
偏好純 HTTP?你也可以透過 curl 存取每個 endpoint:
curl -s https://ysharma-gr-workflow-multi-endpoint-API.hf.space/gradio_api/call/word_count \
-H "Content-Type: application/json" -d '{"data": ["hello there friend"]}'
建立自己的工作流
最快捷的入門方式是開啟上方任何示範,按一下 Duplicate,然後開始重新接線。使用 Python 的程式碼也可以短至:
import gradio as gr
def your_function(text: str) -> str:
pass
gr.Workflow(bind=[your_function]).launch()
如需完整操作説明、運算節點類型、JSON schema 和可重用模式,請參閲 Gradio 文件中的官方 gr.Workflow 指南。
你甚至可以將 AUTOMATIC1111 這類複雜項目,使用 gr.Workflow 建構。請留意我們的下一篇文章,屆時會逐步示範如何建構。先來看看預告 😉👇
來源:Hugging Face Blog · huggingface.co