跳到正文
Hugging Face Blog·· 2024-09-17精選AI 評分69

Hugging Face 為 Datasets 推出 SQL Console

Introducing the SQL Console on Datasets

AI 導讀

Hugging Face 在 Hub 的資料集頁面推出 SQL Console,讓用户直接在瀏覽器以 SQL 查詢和篩選資料集。它由 DuckDB WASM 驅動,不需伺服器或後端;非 Parquet 格式的資料集會自動轉換前 5GB,查詢結果可匯出為 Parquet,公開資料集的結果亦可透過連結分享。

推薦理由

SQL Console 以 DuckDB WASM 在瀏覽器查詢資料集,並示範用 SQL 將 Alpaca 格式轉為對話格式,提供一個可參照的資料整理流程。

正文 · 繁體中文

數據集的使用量正急速上升,而 Hugging Face 已成為許多數據集的預設存放地。每個月,Hub 上傳的數據集數量不斷增加,查詢、篩選和探索這些數據集的需求亦隨之上升。

Dataset Monthly Creations 每月在 Hugging Face Hub 建立的數據集

我們很高興宣佈,現在你可以直接在 Hugging Face Hub 上對數據集執行 SQL 查詢!

數據集 SQL 主控台登場

每個數據集頁面上都應該會看到新的 SQL 主控台徽章。只需按一下,即可開啟 SQL 主控台並查詢該數據集。

查詢 Magpie-Ultra 數據集,取得優質、高質素的推理指令。

所有操作都在瀏覽器中完成,而主控台亦附有一些實用功能:

  • 100% 本機執行:SQL 主控台由 DuckDB WASM 提供支援,因此無須任何相依項目即可查詢數據集。
  • 完整 DuckDB 語法:DuckDB 支援完整 SQL語法,並內置大量 regex、清單、JSON、embeddings 等函式。你會發現 DuckDB 語法與 PostgreSQL 非常相似。
  • 匯出結果:你可以將查詢結果匯出為 parquet。
  • 可分享:你可以透過連結分享公開數據集的查詢結果。

運作方式

Parquet 轉換

Hugging Face 上的大部分數據集都以 Parquet 格式儲存。這是一種按欄儲存的數據格式,經過最佳化,兼具效能和儲存效率。Hugging Face 的 Dataset Viewer 和 SQL 主控台會直接從數據集的 Parquet 檔案載入資料。如果數據集採用其他格式,系統會自動將首 5GB 轉換為 Parquet。更多有關 Parquet 轉換流程的資料,請參閲Dataset Viewer Parquet API 文件。

SQL 主控台會根據數據集的 splits 和 configs,利用 Parquet 檔案建立供你查詢的 views。

DuckDB WASM 🦆

DuckDB WASM 是 SQL 主控台採用的引擎。這是一個在瀏覽器 Web Assembly 中執行的進程內數據庫引擎,毋須伺服器或後端。

由於完全在瀏覽器中執行,使用者可以不受相依項目限制,靈活查詢數據。透過簡單連結分享可重現的結果亦變得十分容易。

你可能會想知道:「大型數據集也能用嗎?」答案是:「可以!」

以下是查詢 OpenCo7/UpVoteWeb 數據集的示範;Parquet 轉換後共有 12.6M 列。

Reddit Movie Suggestions

你可以看到,簡單的篩選查詢在 3 秒內就傳回結果。

查詢所需時間會因數據集大小和查詢複雜度而異,不過 SQL 主控台可處理的工作量可能會令你驚喜。

與任何技術一樣,它也有一些限制。

  • SQL 主控台可執行很多查詢。不過,記憶體上限約為 3GB,因此可能會耗盡記憶體而無法處理查詢(提示:可使用篩選器,減少查詢的資料量,並配合 LIMIT)。
  • DuckDB WASM 功能強大,但與 DuckDB 並非完全相容。例如,DuckDB WASM 尚未支援hf://協定來查詢數據集。

範例:把 Alpaca 數據集轉換成對話格式

介紹 SQL 主控台後,讓我們看看一個實際例子。微調大型語言模型(LLM)時,通常要處理不同的數據格式。其中一種特別常用的格式是對話格式,每一列代表使用者和模型之間的多輪對話。SQL 主控台可以協助我們有效率地把資料轉成這種格式。以下看看如何使用 SQL,把 Alpaca 數據集轉換成對話格式。

一般而言,開發者會用 Python 預處理資料,但我們可以示範如何在 30 秒內利用 SQL 主控台完成同一件事。

在上方的數據集頁面,按一下 SQL 主控台徽章以開啟主控台。你應該會看到下方的查詢已自動填入。

準備好後,按一下執行查詢按鈕來執行查詢。

SQL

-- Convert Alpaca format to Conversation format
WITH 
source_view AS (
  SELECT * FROM train  -- Change 'train' to your desired view name here
)
SELECT 
  [
    struct_pack(
      "from" := 'user',
      "value" := CASE 
                   WHEN input IS NOT NULL AND input != '' 
                   THEN instruction || '\n\n' || input
                   ELSE instruction
                 END
    ),
    struct_pack(
      "from" := 'assistant',
      "value" := output
    )
  ] AS conversation
FROM source_view
WHERE instruction IS NOT NULL 
AND output IS NOT NULL;

在查詢中,我們使用 struct_pack 函式,為每段對話建立一個新的 STRUCT 列。

DuckDB 提供詳盡文件,介紹 STRUCT資料類型和函式。你會發現不少數據集都包含 JSON 資料欄。DuckDB 提供多種函式,方便解析和查詢這些資料欄。

Alpaca to Conversation

取得結果後,你可以將其下載為 Parquet 檔案。下方展示了最終輸出的樣子。

立即試用!

另一個例子是,你可以嘗試查詢 SkunkworksAI/reasoning-0.01 數據集,找出包含超過 10 個推理步驟的指令。

SQL 程式碼片段

DuckDB 有大量我們仍在探索的用途。我們建立了一個 SQL Snippets Space,展示 SQL 主控台可以做到甚麼。

以下是我們發現的一些有趣用途:

請記住,只需按一下,即可把 SQL 結果下載為 Parquet 檔案並用於你的數據集!

我們很想知道你對 SQL 主控台的看法。如有任何意見,歡迎在這篇貼文留言!

資源

來源:Hugging Face Blog · huggingface.co