Hugging Face Evaluation on the Hub 如何評估超大型語言模型
Very Large Language Models and How to Evaluate Them
Hugging Face 的 Evaluation on the Hub 現已支援免寫程式對 Hub 上的因果語言模型進行零樣本分類評估,最高支援 66 billion parameters。
文章説明如何用 Evaluation on the Hub 比較不同規模模型,並以 WinoBias 案例展示零樣本評估如何檢視職業性別偏見。
大型語言模型現可透過 Hub 上的 Evaluation on the Hub,接受零樣本分類任務評估!
零樣本評估是研究人員常用來衡量大型語言模型效能的方法,因為已有研究顯示,模型無須看過明確標註的範例,也能在訓練期間習得能力。Inverse Scaling Prize 是近期社羣大規模零樣本評估工作的例子之一,研究人員跨不同模型規模和系列進行評估,以找出大型模型表現可能不及較小模型的任務。
在 Hub 上啟用語言模型零樣本評估
Evaluation on the Hub 由 AutoTrain 提供支援,讓你毋須編寫程式碼即可評估 Hub 上的任何模型。現在,Hub 上任何因果語言模型都可以接受零樣本評估。零樣本評估會衡量已訓練模型生成指定 Token 集合的可能性,毋須任何已標註的訓練資料,讓研究人員可省去昂貴的標註工作。
我們已為此專案升級 AutoTrain 基礎設施,讓大型模型也能免費評估 🤯!使用者要自行編寫程式碼,在 GPU 上評估大型模型,既費時又昂貴。例如,載入和編譯一個具 660 億參數的語言模型,可能需時 35 分鐘,令只有具備昂貴基礎設施和豐富技術經驗的人才能評估大型模型。經過這些改進,社羣任何人都可用零樣本分類任務評估一個具 660 億參數的模型,使用 2,000 個句子長度的範例,整個過程需時 3.5 小時。Evaluation on the Hub 現時支援評估最多 660 億參數的模型,日後亦會支援更大型的模型。
零樣本文字分類任務會接收包含一組提示和可能續寫內容的數據集。系統會在幕後把續寫內容接到提示後,將每個 Token 的對數機率加總,再進行正規化,並與正確續寫內容比較,以回報任務準確度。
在這篇網誌文章中,我們會使用零樣本文字分類任務,評估不同的 OPT 模型在 WinoBias 上的表現。WinoBias 是衡量職業相關性別偏見的指代消解任務,測試模型在包含職業的句子中,是否較傾向選擇刻板印象中的代名詞。我們觀察到結果顯示,模型規模與表現可能呈現反向縮放趨勢。
案例研究:WinoBias 任務的零樣本評估
WinoBias 數據集已整理為零樣本任務,分類選項就是可能的續寫內容。每個續寫只在代名詞上有所不同,而目標則是職業的反刻板印象選項(例如「developer」通常被視為男性主導的職業,因此「she」就是反刻板印象的代名詞)。請看這裏的範例:
接下來,我們可以在 Evaluation on the Hub 介面中選取剛上載的數據集,使用 text_zero_shot_classification 任務,選擇想評估的模型,然後提交評估工作!工作完成後,你會收到電郵通知,得知 autoevaluator bot 已在模型的 Hub 儲存庫開啟新的 pull request,附上評估結果。
繪製 WinoBias 任務結果後,我們發現,較小的模型更可能為句子選擇反刻板印象代名詞;較大的模型則更可能從文字中學會性別與職業之間的刻板印象關聯。這與其他基準測試的結果一致,例如 BIG-Bench 顯示,能力更強的大型模型在性別、種族、族裔和國籍方面更容易出現偏見;先前研究亦顯示,大型模型較可能生成有毒文字。
為所有人提供更好的研究工具
開放科學已取得長足進展,社羣推動的工具包括 EleutherAI 的 Language Model Evaluation Harness 和 BIG-bench 專案,讓研究人員更容易理解最先進模型的行為。
Evaluation on the Hub 是一款低程式碼工具,讓你輕易比較一組模型在 FLOPS 或模型規模等維度上的零樣本表現,也可比較在特定語料庫上訓練的模型組合與另一組模型的表現。零樣本文字分類任務極具彈性:任何可以整理成 Winograd schema 的數據集,只要待比較的範例僅有少量字詞不同,都可用此任務同時評估多個模型。我們希望讓研究人員輕易上載新的評估數據集,並以此為多個模型進行基準測試。
這類工具可探討的一個研究問題是反向縮放:大型模型在大部分語言任務上通常能力較強,但也有一些任務的表現會較差。Inverse Scaling Prize 是一項競賽,邀請研究人員設計大型模型表現不及較小模型的任務。歡迎使用自己的任務,對不同規模的模型進行零樣本評估!如果你發現模型規模與表現之間有趣的趨勢,可考慮向 Inverse Scaling Prize Round 2 提交研究結果。
歡迎提供意見!
Hugging Face 一直致力推動更多人使用最先進的機器學習模型,其中亦包括開發簡單易用的工具,讓任何人都能評估和探索模型的行為。我們過去曾撰文説明,統一模型評估方法,確保評估結果一致且可重現,以及讓所有人都能使用評估工具,兩者同樣重要。Evaluation on the Hub 的未來計劃包括支援不適合以「把續寫內容接到提示後」方式處理的語言任務之零樣本評估,並增加對更大型模型的支援。
身為社羣一員,你最有幫助的貢獻之一,就是向我們提供意見!我們很想知道你認為模型評估最應優先處理甚麼。歡迎在 Evaluation on the Hub 的社羣分頁,或論壇發表意見和功能建議!
來源:Hugging Face Blog · huggingface.co



