Hugging Face 為 Datasets 推出 SQL Console
Introducing the SQL Console on Datasets
Hugging Face 在 Hub 的資料集頁面推出 SQL Console,讓用户直接在瀏覽器以 SQL 查詢和篩選資料集。它由 DuckDB WASM 驅動,不需伺服器或後端;非 Parquet 格式的資料集會自動轉換前 5GB,查詢結果可匯出為 Parquet,公開資料集的結果亦可透過連結分享。
SQL Console 以 DuckDB WASM 在瀏覽器查詢資料集,並示範用 SQL 將 Alpaca 格式轉為對話格式,提供一個可參照的資料整理流程。
數據集的使用量正急速上升,而 Hugging Face 已成為許多數據集的預設存放地。每個月,Hub 上傳的數據集數量不斷增加,查詢、篩選和探索這些數據集的需求亦隨之上升。
我們很高興宣佈,現在你可以直接在 Hugging Face Hub 上對數據集執行 SQL 查詢!
數據集 SQL 主控台登場
每個數據集頁面上都應該會看到新的 SQL 主控台徽章。只需按一下,即可開啟 SQL 主控台並查詢該數據集。
所有操作都在瀏覽器中完成,而主控台亦附有一些實用功能:
- 100% 本機執行:SQL 主控台由 DuckDB WASM 提供支援,因此無須任何相依項目即可查詢數據集。
- 完整 DuckDB 語法:DuckDB 支援完整 SQL語法,並內置大量 regex、清單、JSON、embeddings 等函式。你會發現 DuckDB 語法與 PostgreSQL 非常相似。
- 匯出結果:你可以將查詢結果匯出為 parquet。
- 可分享:你可以透過連結分享公開數據集的查詢結果。
運作方式
Parquet 轉換
Hugging Face 上的大部分數據集都以 Parquet 格式儲存。這是一種按欄儲存的數據格式,經過最佳化,兼具效能和儲存效率。Hugging Face 的 Dataset Viewer 和 SQL 主控台會直接從數據集的 Parquet 檔案載入資料。如果數據集採用其他格式,系統會自動將首 5GB 轉換為 Parquet。更多有關 Parquet 轉換流程的資料,請參閲Dataset Viewer Parquet API 文件。
SQL 主控台會根據數據集的 splits 和 configs,利用 Parquet 檔案建立供你查詢的 views。
DuckDB WASM 🦆
DuckDB WASM 是 SQL 主控台採用的引擎。這是一個在瀏覽器 Web Assembly 中執行的進程內數據庫引擎,毋須伺服器或後端。
由於完全在瀏覽器中執行,使用者可以不受相依項目限制,靈活查詢數據。透過簡單連結分享可重現的結果亦變得十分容易。
你可能會想知道:「大型數據集也能用嗎?」答案是:「可以!」
以下是查詢 OpenCo7/UpVoteWeb 數據集的示範;Parquet 轉換後共有 12.6M 列。
你可以看到,簡單的篩選查詢在 3 秒內就傳回結果。
查詢所需時間會因數據集大小和查詢複雜度而異,不過 SQL 主控台可處理的工作量可能會令你驚喜。
與任何技術一樣,它也有一些限制。
- SQL 主控台可執行很多查詢。不過,記憶體上限約為 3GB,因此可能會耗盡記憶體而無法處理查詢(提示:可使用篩選器,減少查詢的資料量,並配合
LIMIT)。 - DuckDB WASM 功能強大,但與 DuckDB 並非完全相容。例如,DuckDB WASM 尚未支援
hf://協定來查詢數據集。
範例:把 Alpaca 數據集轉換成對話格式
介紹 SQL 主控台後,讓我們看看一個實際例子。微調大型語言模型(LLM)時,通常要處理不同的數據格式。其中一種特別常用的格式是對話格式,每一列代表使用者和模型之間的多輪對話。SQL 主控台可以協助我們有效率地把資料轉成這種格式。以下看看如何使用 SQL,把 Alpaca 數據集轉換成對話格式。
一般而言,開發者會用 Python 預處理資料,但我們可以示範如何在 30 秒內利用 SQL 主控台完成同一件事。
在上方的數據集頁面,按一下 SQL 主控台徽章以開啟主控台。你應該會看到下方的查詢已自動填入。
準備好後,按一下執行查詢按鈕來執行查詢。
SQL
-- Convert Alpaca format to Conversation format
WITH
source_view AS (
SELECT * FROM train -- Change 'train' to your desired view name here
)
SELECT
[
struct_pack(
"from" := 'user',
"value" := CASE
WHEN input IS NOT NULL AND input != ''
THEN instruction || '\n\n' || input
ELSE instruction
END
),
struct_pack(
"from" := 'assistant',
"value" := output
)
] AS conversation
FROM source_view
WHERE instruction IS NOT NULL
AND output IS NOT NULL;
在查詢中,我們使用 struct_pack 函式,為每段對話建立一個新的 STRUCT 列。
DuckDB 提供詳盡文件,介紹 STRUCT資料類型和函式。你會發現不少數據集都包含 JSON 資料欄。DuckDB 提供多種函式,方便解析和查詢這些資料欄。
取得結果後,你可以將其下載為 Parquet 檔案。下方展示了最終輸出的樣子。
立即試用!
另一個例子是,你可以嘗試查詢 SkunkworksAI/reasoning-0.01 數據集,找出包含超過 10 個推理步驟的指令。
SQL 程式碼片段
DuckDB 有大量我們仍在探索的用途。我們建立了一個 SQL Snippets Space,展示 SQL 主控台可以做到甚麼。
以下是我們發現的一些有趣用途:
- 使用 regex 篩選特定函式的 function calling 數據集
- 找出 open-llm-leaderboard 上最熱門的基礎模型
- 將 Alpaca 數據集轉換為對話格式
- 使用 embeddings 執行相似度搜尋
- 從數據集中篩選 50k 多列,找出最高質素的推理指令
請記住,只需按一下,即可把 SQL 結果下載為 Parquet 檔案並用於你的數據集!
我們很想知道你對 SQL 主控台的看法。如有任何意見,歡迎在這篇貼文留言!
資源
來源:Hugging Face Blog · huggingface.co


