跳到正文
Hugging Face Blog·· 2022-12-15精選AI 評分63

Hugging Face 倫理與社會電子報第 2 期:談談機器學習中的偏見

Let's talk about biases in machine learning! Ethics and Society Newsletter #2

AI 導讀

Hugging Face 的 Ethics and Society 團隊在第 2 期電子報中,探討機器學習偏見如何隨部署情境轉化為風險,並整理團隊用於不同開發階段的工具與建議。

推薦理由

文章把機器偏見連結至具體部署情境,並按任務定義、資料整理與模型開發階段整理評估及記錄做法,讓風險辨識不只停留在模型輸出檢查。

正文 · 繁體中文

機器學習中的偏見無處不在,也十分複雜;複雜得甚至沒有任何單一技術介入措施,足以有意義地解決它所造成的問題。機器學習模型是社會技術系統,會放大社會趨勢,並可能加劇不平等及有害偏見;其影響取決於部署環境,亦會不斷演變。

這表示,要審慎開發機器學習系統,必須保持警覺並回應部署環境中的意見。分享不同環境的經驗,以及開發工具分析機器學習發展各階段的偏見跡象,都有助促進這項工作。

這篇由 🤗 Ethics and Society 常客撰寫的網誌文章,分享我們學到的經驗及開發的工具,支持社羣成員更妥善處理機器學習偏見。第一部分會較全面地探討偏見及其背景。如果你已讀過,現在特別想看工具,歡迎直接前往數據集或模型章節!


Selection of tools developed by HF team members to address bias in ML 🤗 團隊成員為處理機器學習偏見而開發的一系列工具

目錄:

機器偏見:從機器學習系統到個人及社會風險

隨着機器學習系統應用於更多行業和用途,我們得以以前所未見的規模自動執行複雜任務。技術發揮最佳作用時,可促進人與技術系統之間的互動、減少高度重複的工作,或開拓新的資訊處理方式以支援研究。

然而,這些系統亦可能重現訓練數據中反映的歧視及濫用行為,尤其是數據記錄了人類行為時。 這項技術可能令問題嚴重得多。大規模自動化及部署確實可能:

  1. 固化現有行為,使其停滯,阻礙社會進步反映在技術之中,
  2. 擴散有害行為,使其超出原訓練數據的背景範圍,
  3. 加劇不平等,透過在預測時過度依賴刻板印象關聯,
  4. 剝奪申訴及補救的可能,在「黑箱」系統中隱藏偏見。

為了更深入瞭解並處理這些風險,機器學習研究人員和開發者開始研究機器偏見或演算法偏見,以及可能導致系統出現問題的機制,例如形成負面刻板印象或關聯,或在部署環境中對不同人口羣體產生差異化效能。

對 Hugging Face 及更廣泛機器學習社羣中許多研究人員和開發者而言,這些問題與個人經歷息息相關。Hugging Face 是一家國際公司,許多成員生活在不同國家和文化之間。當我們看到自己參與開發的技術未有充分顧及如何保障像我們這樣的人,尤其是當這些系統造成歧視性的錯誤逮捕或不當的財務困境,而且愈來愈多被出售予世界各地移民及執法機構時,我們很難充分表達那種迫切感。同樣,當我們看到自己的身分在訓練數據中經常被抹去,或在「生成式 AI」系統的輸出中代表不足,而這些系統的情況與我們日常生活的切身經驗緊密相連,既令人醒覺,也令人疲憊。

我們自身的經驗遠不足以涵蓋機器學習歧視可能對經歷與我們不同的人造成的各種不成比例傷害,但它們讓我們得以開始思考這項技術本身的取捨。我們投入這些系統的工作,是因為我們堅信機器學習的潛力:只要在開發時審慎行事,並聽取部署環境中人們的意見,它就能成為有價值的工具,而非放諸四海皆準的萬靈丹。要做到審慎開發,尤其需要更深入瞭解機器學習發展各階段中機器偏見的形成機制,並開發工具,讓無論技術知識程度如何的人都能參與必要討論,瞭解技術效益和傷害如何分配。

Hugging Face Ethics and Society 常客撰寫本文,概述我們過去如何處理、目前如何處理,以及建議 HF 生態系程式庫用戶如何在機器學習發展不同階段處理偏見,並介紹我們為支援這些工作而開發的工具。我們希望本文能協助你具體思考工作的社會影響,並善用文中提及的工具,在問題出現時減輕影響。

從背景脈絡理解偏見

處理機器偏見時,第一個、也可能是最重要的概念是背景脈絡。在探討自然語言處理偏見的奠基研究中,Su Lin Blodgett 等人指出:「大多數(探討機器偏見的學術研究)都沒有批判性地探討『偏見』究竟是甚麼」,包括建基於「未有明言的假設:哪些系統行為屬有害、對誰有害、以甚麼方式有害,以及原因為何」。

考慮到機器學習研究社羣重視「泛化」價值,這或許不令人意外;在這個領域,「效能」之後最常被引用的研究動機就是泛化。然而,適用於廣泛情境的偏見評估工具固然有助更全面分析模型行為的共同趨勢,但它們針對具體應用中導致歧視機制的能力,本質上有所限制。在機器學習開發週期中用這些工具指引具體決策,通常還要多做一兩步,考慮系統的特定使用背景及受影響人士。


Excerpt on considerations of ML uses context and people from the Model Card Guidebook Model Card Guidebook 中有關機器學習用途背景和相關人士的考量摘錄

現在讓我們深入探討,如何將脱離背景的機器學習成品中的偏見,連結至具體傷害。把機器偏見視為歧視性傷害的風險因素,會有所幫助。舉例來説,某文字生成圖像模型在收到「專業場閤中的人物」提示時,較常生成淺膚色人物;但提示提及犯罪時,卻會生成較深膚色人物(相關研究)。這類傾向就是我們所説的模型層級機器偏見。現在來看看幾種使用這類文字生成圖像模型的系統:

  1. 模型整合至網站建立服務(例如 SquareSpace、Wix),協助用戶為網頁生成背景。模型會明確停用在生成背景中加入人物圖像。
    • 在這個案例中,機器偏見這項「風險因素」不會導致歧視性傷害,因為此用途不會涉及偏見所針對的對象(人物圖像)。
    • 雖然毋須進一步減輕機器偏見風險,開發者仍應留意相關法律討論:在商業系統中整合以網絡爬取數據訓練的系統是否合法。
  2. 模型整合至素材圖片網站,向用戶提供合成人物圖像(例如專業場閤中的人物),讓他們在減少私隱顧慮的情況下使用,例如作為 Wikipedia 條目的插圖。
    • 在這個案例中,機器偏見會固化並加劇既有社會偏見。它會強化對人的刻板印象(「CEO 全都是白人男性」),再反饋至複雜社會系統,令偏見加深,並以不同方式增加歧視(例如在職場中強化隱性偏見)。
    • 減輕風險的方法包括教育素材圖片用戶認識這些偏見,或由素材圖片網站策劃生成圖像,刻意提供更多元的人物形象。
  3. 模型整合至「虛擬素描畫師」軟件,並推銷予警方,讓警方根據口頭證供生成疑犯肖像。
    • 在這個案例中,機器偏見會直接造成歧視,系統性地令警方鎖定膚色較深的人,使他們面對更高傷害風險,包括人身傷害及非法監禁。
    • 對於這類用途,可能沒有任何偏見減輕程度足以令風險變得可接受。尤其是,這種用途與執法中的人臉辨識密切相關;該領域的類似偏見問題已促使多間商業機構及立法機關採取暫停措施,全面暫停或禁止使用。

那麼,誰要為機器學習中的機器偏見負責?這三個案例説明,為何討論機器學習開發者處理偏見的責任會如此複雜:視乎機器學習系統發展過程中其他人所作的決定,數據集或模型中的偏見可能與應用情境毫不相關,也可能直接造成嚴重傷害。然而,在所有案例中,模型/數據集中的偏見愈強,負面結果的風險便愈高。歐盟已開始透過近期監管措施建立應對這種情況的框架:簡而言之,使用可量度出偏見模型的公司,須為其 AI 系統造成的傷害負責。

將偏見視為風險因素,有助我們更清楚瞭解各階段開發者對機器偏見的共同責任。偏見永遠無法完全消除,尤其是社會偏見的定義,以及令其與歧視相連的權力關係,會因不同社會背景而大相逕庭。不過:

  1. 從任務規格、數據集整理、模型訓練,到模型整合及系統部署,發展過程的每個階段都可採取措施,盡量減少最直接由自身選擇和技術決策所造成的機器偏見**,以及
  2. 各機器學習發展階段之間清晰溝通及資訊流通,可能決定各方的選擇能否互相配合,減低偏見的負面影響(如上文部署情境 1 所示的多管齊下減輕偏見方法),還是令負面影響層層累積,加劇傷害風險(如部署情境 3)。

下一節會逐一檢視這些階段,以及有助在各階段處理機器偏見的工具。

在機器學習發展週期中處理偏見

準備好一些實用建議了嗎?來吧 🤗

開發機器學習系統沒有單一固定方法;各步驟的次序取決於多項因素,包括開發環境(大學、大型公司、新創公司、草根組織等)、資料模態(文字、表格數據、圖像等),以及公開機器學習資源是否充足。不過,處理偏見時有三個常見階段尤其值得關注:任務定義、數據整理和模型訓練。接下來看看在這些階段處理偏見的方法有何不同。


The Bias ML Pipeline by Meg Meg 的機器學習偏見流程圖

我正在為機器學習系統定義任務,如何處理偏見?

系統中的偏見會否以及在多大程度上實際影響人們,最終取決於系統的用途。因此,開發者最先可在決定機器學習如何融入系統時着手減輕偏見,例如決定採用哪種最佳化目標。

例如,回想其中一個最早廣受關注、在正式環境中用於演算法內容推薦的機器學習系統案例。2006 至 2009 年間,Netflix 舉辦了Netflix Prize,以 1M 美元獎金邀請世界各地團隊,根據用戶過往評分,準確預測其對新電影的評分。優勝方案將未見過的用戶-電影組合的 RMSE(均方根誤差)較 Netflix 自家的 CineMatch 演算法改善超過 10%,亦即更準確地根據用戶歷史預測他們對新電影的評分。這種做法讓大眾開始注意機器學習如何在推薦系統中建模用戶偏好,亦為現代演算法內容推薦奠定基礎。

這與偏見有甚麼關係?向用戶展示他們可能喜歡的內容,聽起來不是內容平台提供的好服務嗎?然而,事實證明,向用戶展示更多他們過去喜歡的內容,最終會降低他們接觸媒體的多樣性。這不但令用戶長遠而言較不滿意,也表示初始模型所捕捉的偏見或刻板印象(例如建模美國黑人用戶的偏好,或系統性不利於某些藝術家的動態)若模型再以持續產生的機器學習互動數據訓練,很可能會進一步強化。這反映了前文提及的兩類偏見問題:訓練目標會令既有偏見更可能反映於預測中,成為偏見相關傷害的風險因素;而任務設定則會固化並加劇過往偏見。

在此階段,一種有望減輕偏見的方法,是重新設定任務,在演算法內容推薦中明確同時建模用戶參與度和多樣性。用戶可能因此獲得更長遠的滿足感,亦可降低上述加劇偏見的風險!

這個例子説明,機器學習支援產品中的機器偏見影響,不只取決於我們在哪些地方採用機器學習,也取決於如何將機器學習技術整合至更廣泛的技術系統,以及採用甚麼目標。初步研究機器學習如何融入你關注的產品或用途時,我們建議先從偏見角度找出系統的失效模式,再考慮可用模型或數據集:如果機器學習預測加劇偏見,這個領域現有系統的哪些行為會特別有害或更可能出現?

我們建立了工具,帶領用戶探討另一種演算法內容管理情境中的這些問題:自動內容審核中的仇恨言論偵測。舉例來説,我們發現,閲讀一些沒有特別聚焦機器學習技術的新聞和科學文章,已是瞭解偏見如何影響相關領域的好方法。歡迎看看這個範例,瞭解模型和數據集如何配合部署環境,以及如何與已知的偏見傷害相關!


Selection of tools developed by HF team members to address bias in ML ACM 任務探索工具,由 Angie、Amandalynne 和 Yacine 開發

任務定義:建議

機器學習任務定義及部署對偏見相關傷害風險的影響方式,與機器學習系統的應用同樣多。正如以上例子,以下常見步驟有助決定是否採用機器學習,以及如何以減低偏見風險的方式使用:

  • 調查:
    • 機器學習出現之前,該領域已有關於偏見的報告
    • 你的特定用途中,容易受影響的人口羣體
  • 檢視:
    • 最佳化目標對強化偏見的影響
    • 有利多樣性和正面長遠影響的替代目標

我正在為機器學習系統整理/挑選數據集,如何處理偏見?

雖然訓練數據集並非機器學習發展週期中偏見的唯一來源,但確實扮演重要角色。你的數據集會否不成比例地將女性傳記與人生事件聯繫,卻將男性傳記與成就聯繫?這些刻板印象很可能會在整個機器學習系統中重現!你的語音辨識數據集是否只涵蓋特定口音?這並不利於你所建立技術的包容性,可能導致差異化效能!無論你是在整理機器學習應用的數據集,還是挑選用來訓練模型的數據集,找出、減輕並説明數據在多大程度上呈現這些現象,都是降低偏見風險的必要步驟。

思考數據集來源、數據所代表的人羣,以及整理流程,通常就能大致瞭解其中可能存在的偏見。已有多種框架供人反思及記錄,例如自然語言處理數據聲明及數據集説明文件。Hugging Face Hub 提供受這些研究啟發的 Dataset Card 範本和指南;如果你正在瀏覽數據集,通常可在數據使用考量一節瞭解值得注意的偏見;分享新數據集時,亦可在此撰寫心得。如果想參考更多內容,可查看 Hub 用戶在 BigLAM 組織撰寫的章節,涵蓋歷史數據集中的法律程序、圖像分類和報章。


HF Dataset Card guide for the Social Impact and Bias Sections HF Dataset Card 的社會影響及偏見章節指南

描述數據集的來源及背景,總是瞭解相關偏見的良好起點;同樣有用的做法,是量化量度反映這些偏見的現象。如果你要為某項任務在兩個數據集之間作選擇,或要在以不同數據集訓練的兩個模型之間作選擇,瞭解哪個更能代表機器學習系統的用戶人口組成,有助你作出明智決定,減低偏見風險。如果你透過篩選數據點或加入新數據來源,逐步整理數據集,量度這些選擇對整體數據集多樣性和偏見的影響,可令數據集更普遍地安全使用。

我們最近推出兩項工具,協助你從偏見角度量度數據。disaggregators🤗 程式庫提供工具,可運用中繼資料或模型推斷數據點屬性,以量化數據集組成。這有助減低訓練模型中與偏見有關的代表性傷害或差異化效能風險。可在示範中查看它如何應用於 LAION、MedMCQA 和 The Stack 數據集!


Disaggregators tool by Nima Disaggregator 工具,由 Nima 開發

取得數據集組成的實用統計資料後,亦應檢視數據項目中各項特徵之間的關聯,尤其是可能形成貶抑或其他負面刻板印象的關聯。我們去年首次介紹的 Data Measurements Tool,可透過分析文字數據集中詞語之間的正規化逐點互資訊(nPMI)做到這一點;尤其可檢視可能表達性別刻板印象的性別代名詞關聯。你可以自行執行,或在幾個預先計算的數據集上立即試用!


Data Measurements tool by Meg, Sasha, Bibi, and the Gradio team Data Measurements 工具,由 Meg、Sasha、Bibi 及 Gradio 團隊開發

數據集選擇/整理:建議

這些工具本身並非完整解決方案,而是從不同角度(包括偏見及相關風險)協助批判性檢視和改善數據集。一般而言,使用這些及其他工具,在整理/選擇數據集階段減輕偏見風險時,建議留意以下事項:

  • 識別:
    • 數據集建立過程中可能加劇特定偏見的因素
    • 對數據集任務和領域尤其重要的人口類別及社會變項
  • 量度:
    • 數據集中的人口分佈
    • 已識別的負面刻板印象
  • 記錄:
    • 在 Dataset Card 分享你識別及量度到的資訊,讓其他用戶、開發者及受影響人士受惠
  • 調整:
    • 選擇最不可能造成偏見相關傷害的數據集
    • 透過持續改進數據集,減低偏見風險

我正在為機器學習系統訓練/選擇模型,如何處理偏見?

與數據集整理/選擇階段相似,記錄及量度模型中的偏見現象,可同時協助選擇現成模型或進行微調的機器學習開發者,以及希望自行訓練模型的開發者。對後者而言,量度模型中的偏見現象有助瞭解其他模型哪些做法有效、哪些無效,並可作為指標,指引自身的開發決策。

模型卡最初由 Mitchell 等人(2019)提出,為模型報告提供框架,展示與偏見風險相關的資訊,包括廣泛倫理考量、分類別評估及用途建議。Hugging Face Hub 亦提供更多模型文件工具,包括 Hub 文件中的模型卡指南,以及讓你輕鬆為新模型建立詳盡模型卡的應用程式。


Model Card writing tool by Ezi, Marissa, and Meg Model Card 撰寫工具,由 Ezi、Marissa 和 Meg 開發

文件記錄是分享模型一般行為見解的良好起點,但通常屬靜態內容,向所有用戶呈現相同資訊。在許多情況下,尤其是生成式模型可產生近似訓練數據分佈的輸出時,我們可透過呈現及比較模型輸出,更具體地瞭解偏見現象及負面刻板印象。查看模型生成結果,有助用戶根據自身經歷,指出模型行為中的交織性問題,並評估模型在多大程度上會重現不同形容詞所引發的性別刻板印象。為方便進行這類分析,我們建立了一個工具,讓你不但可比較不同形容詞和職業的生成結果,亦可比較不同模型!歡迎立即試用,瞭解哪個模型在你的用途中可能具有較低偏見風險。


Visualize Adjective and Occupation Biases in Image Generation by Sasha
將圖像生成中的形容詞及職業偏見視覺化,由 Sasha 開發

模型輸出視覺化不只適用於生成式模型!對分類模型而言,我們亦應留意模型對不同人口羣體的差異化效能可能造成的偏見相關傷害。如果你知道哪些受保障羣體最容易遭受歧視,並已在評估集標註相關資料,就可如上文所述,在模型卡中報告不同類別的分類別效能,讓用戶作出知情決定。若你擔心尚未識別所有面臨偏見傷害風險的人羣,或無法取得已標註測試範例以量度懷疑存在的偏見,互動式視覺化便能協助找出模型在哪些地方、以甚麼方式失效!SEAL 應用程式會將模型中的相似錯誤分組,並顯示各羣組的共同特徵。如想深入分析,亦可結合數據集章節介紹的 disaggregators 程式庫,找出反映偏見相關失效模式的羣組!


Systematic Error Analysis and Labeling (SEAL) by Nazneen 系統化錯誤分析與標註(SEAL),由 Nazneen 開發

最後,目前有一些基準測試可量度模型中的偏見現象。對語言模型而言,BOLD、HONEST 或 WinoBias 等基準測試,可量化評估模型中反映偏見的特定行為。這些基準測試雖有侷限,但仍可有限度地呈現一些已識別的偏見風險,協助描述模型運作方式或比較模型。你可在這個探索 Space查看多種常見語言模型的預先計算結果,初步比較它們的表現!


Language Model Bias Detection by Sasha 語言模型偏見偵測,由 Sasha 開發

即使你能取得所考慮模型的基準測試,在自己的運算資源上評估大型語言模型也可能成本高昂,甚至技術上不可行。我們今年推出的 Hub 上模型評估工具可協助解決此問題:它不但會代你執行評估,也會將結果連結至模型文件,讓結果永久公開,所有人都能看到,例如模型規模如何可量度地增加 OPT 等模型的偏見風險!


Large model WinoBias scores computed with Evaluation on the Hub by Helen, Tristan, Abhishek, Lewis, and Douwe 大型模型 WinoBias 分數(透過 Hub 上模型評估工具計算),由 Helen、Tristan、Abhishek、Lewis 和 Douwe 提供

模型選擇/開發:建議

與數據集一樣,不同的模型文件及評估工具會從不同角度呈現模型偏見風險;這些資訊都有助開發者選擇、開發或瞭解機器學習系統。

  • 視覺化
    • 生成式模型:將模型輸出視覺化,瞭解可能反映的刻板印象
    • 分類模型:將模型錯誤視覺化,識別可能導致差異化效能的失效模式
  • 評估
    • 可行情況下,使用相關基準測試評估模型
  • 記錄
    • 分享視覺化及定性評估所得的經驗
    • 報告模型的分類別效能,以及適用公平性基準測試的結果

總結與 🤗 偏見分析及文件工具概覽

隨着我們在愈來愈多應用中運用機器學習系統,能否公平地共享其效益,取決於我們能否積極減輕相關偏見傷害風險。雖然任何情境都沒有單一最佳解答,但我們可以透過分享經驗、工具和方法,互相支持,一同減輕並記錄這些風險。本文概述 Hugging Face 團隊成員處理偏見問題的一些做法及支援工具;希望這些內容對你有用,並鼓勵你開發和分享自己的工具!

相關工具摘要:

感謝閲讀!🤗

~ Yacine 謹代表 Ethics and Society 常客

如要引用本文,請使用以下格式:

@inproceedings{hf_ethics_soc_blog_2,
  author    = {Yacine Jernite and
               Alexandra Sasha Luccioni and
               Irene Solaiman and
               Giada Pistilli and
               Nathan Lambert and
               Ezi Ozoani and
               Brigitte Toussignant and
               Margaret Mitchell},
  title     = {Hugging Face Ethics and Society Newsletter 2: Let's Talk about Bias!},
  booktitle = {Hugging Face Blog},
  year      = {2022},
  url       = {https://doi.org/10.57967/hf/0214},
  doi       = {10.57967/hf/0214}
}

來源:Hugging Face Blog · huggingface.co