跳到正文
Hugging Face Blog·· 2023-06-07精選AI 評分63

Hugging Face Hub 新增 DuckDB 整合,可分析逾 50,000 個資料集

DuckDB: analyze 50,000+ datasets stored on the Hugging Face Hub

AI 導讀

Hugging Face Hub 新增 DuckDB 整合,讓使用者可用 SQL 分析 Hub 上逾 50,000 個資料集。Dataset Viewer 會將 Hub 上所有公開資料集自動轉為 Parquet,檔案 URL 可透過 `/parquet` endpoint 取得。

推薦理由

這項整合把 Hub 公開資料集自動轉為 Parquet,並讓 DuckDB 對遠端檔案執行 SQL,提供直接探索資料集內容的操作路徑。

正文 · 繁體中文

Hugging Face Hub 致力向所有人開放資料集,並提供探索和理解資料的工具。你可在 Hub 找到多個熱門大型語言模型(LLM)的訓練資料集,例如 Falcon、Dolly、MPT 和 StarCoder。Hub 亦提供用於處理資料集公平性和偏見的工具,例如 Disaggregators,以及 Dataset Viewer 等資料集範例預覽工具。

OpenAssistant 資料集在 Dataset Viewer 中的預覽。

我們很高興宣佈,最近在 Hub 新增了另一項資料集分析功能:你現在可以使用 DuckDB,對 Hub 上任何資料集執行 SQL 查詢!根據 2022 年 StackOverflow 開發者調查,SQL 是第 3 受歡迎的程式語言。我們亦希望採用一套專為分析查詢而設計的高速資料庫管理系統(DBMS),因此很高興能與 DuckDB 整合。希望這能讓更多使用者存取和分析 Hub 上的資料集!

重點摘要

Dataset Viewer 會自動將 Hub 上所有公開資料集轉換成 Parquet 檔案。你可在資料集頁面頂部按一下「自動轉換為 Parquet」按鈕查看這些檔案,也可透過簡單的 HTTP 呼叫取得 Parquet 檔案網址清單。

r = requests.get("https://datasets-server.huggingface.co/parquet?dataset=blog_authorship_corpus")
j = r.json()
urls = [f['url'] for f in j['parquet_files'] if f['split'] == 'train']
urls
['https://huggingface.co/datasets/blog_authorship_corpus/resolve/refs%2Fconvert%2Fparquet/blog_authorship_corpus/blog_authorship_corpus-train-00000-of-00002.parquet',
 'https://huggingface.co/datasets/blog_authorship_corpus/resolve/refs%2Fconvert%2Fparquet/blog_authorship_corpus/blog_authorship_corpus-train-00001-of-00002.parquet']

建立 DuckDB 連線,並安裝及載入 httpfs 擴充功能,以便讀取和寫入遠端檔案:

import duckdb

url = "https://huggingface.co/datasets/blog_authorship_corpus/resolve/refs%2Fconvert%2Fparquet/blog_authorship_corpus/blog_authorship_corpus-train-00000-of-00002.parquet"

con = duckdb.connect()
con.execute("INSTALL httpfs;")
con.execute("LOAD httpfs;")

連線後,你便可開始編寫 SQL 查詢!

con.sql(f"""SELECT horoscope, 
    count(*), 
    AVG(LENGTH(text)) AS avg_blog_length 
    FROM '{url}' 
    GROUP BY horoscope 
    ORDER BY avg_blog_length 
    DESC LIMIT(5)"""
)

如欲瞭解更多,請參閲文件。

從資料集到 Parquet

Parquet 檔案採用欄式儲存,因此更易儲存、載入和分析。隨着大型資料集在 LLM 時代愈來愈普遍,這點尤其重要。為支援這類用途,Dataset Viewer 會自動把 Hub 上任何公開資料集轉換並發佈為 Parquet 檔案。你可透過 /parquet 端點取得 Parquet 檔案網址。

使用 DuckDB 分析

DuckDB 執行複雜分析查詢的效能非常出色,能直接對遠端 Parquet 檔案執行 SQL 查詢,毋須額外開銷。使用 httpfs 擴充功能後,DuckDB 可透過由 /parquet 端點提供的網址,查詢 Hub 上的資料集等遠端檔案。DuckDB 亦支援同時查詢多個 Parquet 檔案,十分方便,因為 Dataset Viewer 會把大型資料集分拆成較小的 500MB 區塊。

展望未來

瞭解資料集內容對模型開發十分重要,因為資料集會以各種方式影響模型質素!讓使用者可對 Hub 資料集編寫和執行任何 SQL 查詢,是我們推動資料集開放存取、協助使用者深入瞭解資料集內容的另一種方式。我們期待你試用這項功能,看看分析能帶來甚麼新發現!

來源:Hugging Face Blog · huggingface.co