跳到正文
原文
Hugging Face Blog·· 2022-10-24AI 評分54

使用 🤗 Evaluate 評估語言模型偏差

Evaluating Language Model Bias with 🤗 Evaluate

AI 導讀

Hugging Face 團隊在 🤗 Evaluate 加入多項偏差評估指標,並示範如何檢視因果語言模型根據提示詞生成的文本。示例使用 Toxicity、Regard 和 HONEST 評估文本毒性、不同羣體的語言極性差異,以及有害句子完成中的性別刻板印象。文章提醒,現有資料集涵蓋的身份特徵有限,這些指標只能呈現偏差的不同面向,建議結合多種指標使用。

來源:Hugging Face Blog · huggingface.co