推薦系統公平性、去偏與評估綜述
A Survey on Fairness, Debiasing, and Evaluation in Recommender Systems |推荐系统公平性、去偏与评估综述
這份綜述梳理推薦系統公平性、去偏與評估,呈現研究由靜態數據集的統計糾偏,轉向生成式推薦及 LLM 場景下的內部表徵審計與動態治理。內容涵蓋公平性度量、偏差建模與去偏、流行度偏差、交互推薦、公平性攻擊及特定場景應用,並比較各路線在可解釋性、計算開銷和動態適應性上的取捨。
简介: 推荐系统(RecommenderSystems,RS)长期以最大化用户参与度为单一目标,导致流行度偏差与群体歧视等系统性伦理问题日益凸显。早期研究聚焦于静态数据集上的统计纠偏,通过逆倾向加权等手段缓解选择偏差,但难以应对动态交互中的反馈循环。随着生成式推荐与大语言模型(LLM)的引入,偏差产生机制从数据分布偏移转向模型内部表征扭曲,传统去偏方法面临失效风险。研究重心随之从输出层公平性评估延伸至内部表征审计与动态可控性治理,形成了涵盖度量、算法与鲁棒性的全栈技术体系。各路线在可解释性、计算开销及动态适应性之间做出了不同取舍,由此构建起当前多元并存的公平性治理格局。
导读
推荐系统(Recommender Systems, RS)长期以最大化用户参与度为单一目标,导致流行度偏差与群体歧视等系统性伦理问题日益凸显。早期研究聚焦于静态数据集上的统计纠偏,通过逆倾向加权等手段缓解选择偏差,但难以应对动态交互中的反馈循环。随着生成式推荐与大语言模型(LLM)的引入,偏差产生机制从数据分布偏移转向模型内部表征扭曲,传统去偏方法面临失效风险。研究重心随之从输出层公平性评估延伸至内部表征审计与动态可控性治理,形成了涵盖度量、算法与鲁棒性的全栈技术体系。各路线在可解释性、计算开销及动态适应性之间做出了不同取舍,由此构建起当前多元并存的公平性治理格局。本综述梳理这条从静态纠偏到动态治理的因果演进链条,为读者提供一张领域认知地图。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。
1. 研究背景、问题结构与演进脉络
推荐系统作为信息过滤的核心机制,其单一目标优化逻辑与社会伦理规范之间的错位构成了该领域的根本矛盾。在2020年之前,研究主要关注静态基准下的群体公平(Group Fairness),即不同人口统计组在曝光或效用上的均等性。然而,这种基于统计相关性的修正往往忽视了个体公平(Individual Fairness)原则,即相似个体应获得相似对待。随着欧盟《人工智能法案》等监管法规的出台,研究重心从单纯的准确性优化转向“负责任AI”,要求算法不仅消除表面偏差,还需具备可审计性与透明性。这一转变迫使研究者重新审视公平性的定义,从简单的群体统计差异转向更复杂的个体体验与长期生态平衡。
问题的形式化可视为在非平稳环境中,对推荐策略 $\pi$ 施加公平性约束 $C{fair}$ 的同时最大化效用 $U$,即 $\max{\pi} \mathbb{E}[U(\pi)] \text{ s.t. } C_{fair}(\pi) \le \epsilon$。然而,这一优化面临子问题间的强依赖关系:首先需建立可靠的公平性度量标准,才能有效评估去偏算法的效果;其次,动态交互场景下的公平性控制依赖于对静态偏差机制(如非随机缺失 MNAR、几何偏差)的深刻理解,否则动态策略将基于错误的状态估计进行优化。此外,隐私保护技术的引入使得问题进一步复杂化,形成了隐私-效用-偏差的三角权衡,缺乏统一的联合优化框架。
2016年至2018年是该领域的奠基期,逆倾向加权(IPW)成为解决选择偏差的经典统计方法,而贝叶斯个性化排序(BPR)虽为事实标准,却被后续研究指出存在几何缺陷,系统性扭曲嵌入空间以偏好热门物品。2020年前后,跨域基准与动态交互数据的引入成为关键转折,研究者发现静态公平度量在交互式推荐中失效,长尾物品在早期被忽视导致的曝光劣势会随反馈循环累积。2021年,强化学习(RL)被引入推荐系统,虽然提升了动态适应性,但被指出可能加剧“富者愈富”现象,促使后续研究关注RL中的公平约束与状态纯化。
2023年至2024年,生成式推荐系统(GRs)与大语言模型(LLMs)的引入重构了偏差产生的机制。基于语义索引(SIDs)的生成式架构在Tokenization阶段即引入头部/尾部竞争,导致长尾物品梯度饥饿,传统去偏方法难以直接迁移。同时,公平性评估从输出层延伸至模型内部表征层,FAIRGAP等基准揭示了表面公平下可能存在的内部歧视性编码。2025年至2026年,领域进入“动态公平”与“可控性”阶段,重点解决反馈循环中的偏差演化、交互式推荐中的长尾曝光公平,以及黑盒系统的可审计性。Isotonic Layer、MBD等工业级去偏框架的出现,标志着研究从理论度量向全栈式工程治理的跨越。
如果用一个核心问题概括该领域,那便是:如何在非平稳、多利益相关者且存在隐私约束的动态推荐生态中,实现从“输出结果公平”向“内部表征中立”与“长期生态平衡”的闭环治理。
2. 方法体系
2012:Fairness through Awareness——奠定个体公平理论基石
2016:Inverse Propensity Weighting (IPW)——纠正选择偏差的经典统计方法
2017:Bayesian Personalized Ranking (BPR)——被识别为流行度偏差几何根源的协同过滤范式
2023:Pairwise Individual Fairness——弥补传统效用分数度量忽略用户相似性的缺陷
2025:FAIRGAP Benchmark——构建基于反事实提示对的LLM推荐公平性基准
2025:Isotonic Layer——提出可微分等渗层实现通用推荐去偏
2026:Semantic Pareto-DQN——结合语义嵌入与帕累托深度Q学习的多目标推荐框架
这条时间线勾勒了该领域方法演进的代表性节点:从 2012 年的 Fairness through Awareness 奠定该领域方法基线,经 2016 年 Inverse Propensity Weighting (IPW) 的推进,到 2026 年的 Semantic Pareto-DQN 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。
2.1 公平性度量与评估
公平性度量是去偏算法的前提,其演进反映了从群体统计到个体感知、从黑盒输出到白盒表征的认知深化。早期工作如 Fairness through Awareness 奠定了基于敏感属性距离的个体公平定义,但依赖敏感属性数据在隐私场景下不可行。PUF(Pairwise User Fairness)(Rampisela et al., 2026, P10)针对这一局限,提出基于用户相似性和有效性差异的个体公平度量,仅利用用户标识符和交互历史,通过成对比较机制量化相似用户间推荐列表的差异。该方法放弃了群体统计的宏观视角,换取了在无敏感属性场景下的适用性与对推荐列表具体差异的敏感性,解决了传统度量忽略用户相似性标准的缺陷。
随着LLM推荐器的兴起,仅关注输出层的评估被证明是不充分的。FAIRGAP(Lu et al., 2026, P28)构建了针对LLM推荐器的公平性基准,其核心创新在于引入内部表示轴以评估隐藏的输出公平差距。通过构建仅受保护属性提示不同的反事实用户配置文件对,FAIRGAP计算效用、公平性、对齐度及象限分配,从而区分表面公平但内部表示存在偏差的情况。这一方法解决了仅关注输出评估无法检测模型内部表示变化的局限性,推动了从黑盒输出评估向白盒内部机制评估的转变。与此同时,CtrlBench-Rec(Zhou et al., 2026, P27)将可控性作为可测量的主要维度,利用协作智能体评估黑盒推荐系统对用户意图的响应能力,填补了现有框架在资源约束下系统性处理可控性的空白。这些度量工具共同构成了动态治理的基础,为后续算法提供了可靠的评估标尺。
2.2 偏差建模与去偏算法
统计去偏与几何结构修正是解决推荐偏差的两条主要技术路线,前者依赖对数据分布的显式建模,后者则直接干预模型内部的偏差生成机制。IPW作为经典统计方法,通过估计曝光倾向得分对训练样本进行重加权,以纠正选择偏差导致的分布偏移。然而,IPW假设所有混杂因素可观察,在非随机缺失(MNAR)场景下因倾向得分估计误差导致偏差放大。PUID(Li et al., 2026, P22)针对这一局限,提出通过熵基约束估计用户-物品特定的敏感性界,结合矩阵分解增强特征表示,解决了标准去偏方法在隐藏混杂因素下的鲁棒性问题。该方法放弃了对倾向得分精确估计的依赖,换取了对未观察偏好导致评分偏差的鲁棒估计,在冷启动和稀疏数据场景下表现优异。
几何/结构修正路线则从嵌入空间扭曲的角度理解偏差。Analytical Vector Decomposition(Liu et al., 2025, P7)通过解析向量分解揭示了BPR损失在嵌入空间中的几何偏差,指出其系统性扭曲导致流行度偏差。这一分析为设计更有效的去偏算法提供了理论基础,强调了嵌入空间结构的重要性。Isotonic Layer(Cheng et al., 2026, P15)进一步提出可微分等渗层,将分段线性拟合直接嵌入神经网络架构,通过约束非负斜率实现全局单调性。该方法解决了传统等渗回归缺乏可微分性、难以集成到端到端深度学习管道的问题,支持上下文和任务条件化的等渗嵌入,实现细粒度的每目标校准。与统计方法相比,几何方法放弃了对数据分布偏移的直接统计校正,换取了对嵌入空间扭曲的直接干预,解决了BPR等模型的几何缺陷,且在LinkedIn等大规模系统中验证了其有效性。
2.3 流行度偏差缓解
流行度偏差是推荐系统中最普遍且危害最大的结构性偏差,其缓解策略从训练时正则化演进至推理时校准与语义引导。早期正则化方法通过在损失函数中加入正则项惩罚预测分数与物品流行度的相关性,但难以消除由优化过程本身引入的几何偏差。SPREE(Schirmer et al., 2026, P19)将流行度偏差视为推荐分布与用户历史偏好分布之间的校准问题,引入流行度校准曲线,通过比较不同分位水平下的推荐分布与历史分布来量化偏差。该方法定义了序数性、基数性和分散性三个测量理论属性,通过调整推荐策略使校准曲线接近对角线,实现了用户流行度偏好的对齐。SPREE解决了传统曝光比例度量缺乏分布视角的局限性,提供了更精细的偏差诊断工具。
在生成式推荐器中,流行度偏差的根源在于Token竞争和梯度不平衡。Ghost Model(Yin et al., 2026, P21)提出了基于骨架基础物品标记(SKT)和非对称不可能性优化(AUO)的缓解框架。SKT通过指定分支点位置,抑制头部和尾部物品标记之间的无序竞争;AUO重新分配监督信号,解决尾部物品标记的梯度饥饿问题。该方法从源头缓解了生成式推荐中的偏差,展示了如何在语义索引范式下实现更均衡的内容分布。此外,RecLLM(Luo et al., 2026, P8)利用LLM的语义理解能力,通过提示优化实现语义引导,使模型能够识别并纠正因流行度导致的推荐失衡。这一方法超越了表面特征的匹配,强调了语义理解在偏差缓解中的关键作用,实现了无需重新训练模型的偏差缓解。这些方法共同表明,流行度偏差的缓解需从数据、模型架构及语义理解全链路进行干预。
2.4 交互推荐公平机制
交互式推荐中的公平性不能静态处理,必须考虑物品生命周期和用户偏好的动态演化。DSRM-HRL(Lu et al., 2026, P14)提出基于扩散状态重构的层级强化学习框架,首先通过扩散模型纯化潜在偏好状态,去除由曝光偏差和从众效应引起的结构化认知噪声,随后在层级强化学习架构中嵌入公平约束。该方法解决了观察状态空间不是真实用户偏好充分统计量的问题,避免了策略对虚假流行度信号的过拟合,在短视频和电商等动态环境中显著提升了长尾物品的曝光率。Cofair(Chen et al., 2026, P9)则提出单训练动态公平控制框架,允许在训练后动态调整公平性要求而无需重新训练模型。通过引入公平条件适配器模块和用户级正则项,Cofair保证了用户层面的单调公平改进,解决了现实世界中不同利益相关者对公平性需求随时间变化的问题。
Lifecycle-Aware Fairness(Lu et al., 2025, P5)将物品生命周期作为控制旋钮,分析了视频物品的生命周期阶段,发现大多数视频在上传后7天内达到参与度峰值。该方法利用生命周期信息调整推荐策略,在物品不同阶段提供公平的曝光机会,与现有的基于强化学习的公平推荐方法具有即插即用兼容性。HRL4PFG(Xia et al., 2026, P13)提出基于层级强化学习的主动引导策略,生成公平性引导目标(虚拟长尾物品),并在多个交互步骤中引导用户偏好转向该目标。这些方法共同强调了动态交互中状态纯化与生命周期感知的重要性,为交互式推荐中的公平性控制提供了新的技术路径,解决了静态公平度量在动态场景中失效的问题。
2.5 公平性攻击与鲁棒性
公平性机制的安全性评估是动态治理的重要组成部分,研究揭示了公平推荐系统在对抗环境下的脆弱性。RL-based Fairness Attack(Wang and Ge, 2026, P26)提出基于强化学习的公平性攻击方法,利用用户-物品交互结构信息生成对抗样本,旨在最大化推荐系统的群体不公平性。该方法不同于传统的梯度或影响力攻击,通过强化学习代理探索用户行为空间,发现能加剧歧视的策略,揭示了即使经过公平性优化的模型也可能被操纵。Privacy-Utility-Bias Trade-off Analysis(Parsarad and Wagner, 2025, P6)则分析了隐私保护推荐系统中隐私、效用和偏差之间的权衡,发现差分隐私(DP)技术可能导致偏差加剧,特别是在数据稀疏场景下。Collective Manipulation in Risk-Controlling RS(De Toni et al., 2026, P18)研究了风险控制系统中集体操纵对推荐公平性的影响,揭示了协调用户行为如何扭曲风险模型,加剧有害内容的传播或抑制特定群体的曝光。这些工作推动了推荐系统公平性从静态优化向动态鲁棒性研究的转变,强调了公平性在集体行为下的鲁棒性。
2.6 特定场景公平应用
公平性在特定垂直领域的应用需结合领域特性设计公平性约束,解决特定场景下的歧视、回声室效应及伦理安全问题。Semantic Pareto-DQN(Lopes et al., 2026, P25)提出结合语义嵌入与帕累托深度Q学习的多目标推荐框架,在优化用户参与度的同时平衡信息多样性和提供者公平性,通过语义空间映射缓解冷启动问题并打破过滤气泡。Fair-PaperRec(Oyshi and Gauch, 2026, P16)针对学术论文推荐中的双盲评审偏差,采用轻量级多层感知机架构集成公平性损失函数,平衡预测准确性和作者公平性,保护少数群体研究者。Navigating Sensitive Topics Datasets(Kovacs et al., 2025, P1)构建了用于研究推荐系统中敏感话题的数据集,揭示了个性化推荐如何放大有害内容,为设计更安全、更负责任的推荐系统提供了数据支持。Suicidogenic Echo Chamber Breaking(Díaz-Álvarez et al., 2026, P24)提出打破自杀倾向回声室的推荐策略,结合自然语言处理技术识别自杀意念,动态调整推荐内容,防止数字反刍。这些应用展示了公平性治理在学术、健康及平台经济等具体场景中的落地路径,强调了“不伤害”原则与用户福祉的重要性。
3. 关键共识、分歧与开放问题
3.1 领域共识
流行度偏差是推荐系统中最普遍且危害最大的结构性偏差,需从训练、推理及评估全链路进行缓解,这一共识在约20篇论文中得到共同支持。仅基于输出层的公平性评估是不充分的,必须结合模型内部表征分析,以识别表面公平下的潜在歧视性编码,FAIRGAP等基准的建立为此提供了实证基础(支撑证据:P28、P7)。与此相关的另一个共识是,交互式推荐中的公平性不能静态处理,必须考虑物品生命周期和用户偏好的动态演化,传统静态公平方法在动态场景中失效,DSRM-HRL等动态控制框架的优越性验证了这一点(支撑证据:P14、P5)。
3.2 观点分歧
公平性定义的规范性存在群体公平与个体公平的深层分歧。群体公平关注不同人口统计组之间的曝光或效用均等性,易于量化和监管;个体公平基于“相似个体应得到相似对待”原则,强调在无敏感属性可用时的适用性。现有证据偏向个体公平在隐私保护场景下的适用性,PUF在MovieLens-1M上展示了更高的公平性得分(0.85),但缺乏统一理论框架来协调两者在动态环境中的冲突(支撑证据:P10、P2)。这一分歧的背后,是隐私保护与公平性权衡的争论。DP技术是否必然加剧偏差?现有证据显示DP在稀疏数据下显著放大偏差,但缺乏统一的理论框架来量化隐私-效用-偏差三者之间的复杂交互,导致不同场景下结论不一致(支撑证据:P6、P26)。
3.3 其他开放问题
最紧迫的工程问题是在线生态影响评估基准的构建,当前研究过度依赖离线精度指标,导致评估与真实用户效用脱节,需开发结合A/B测试及生态指标的综合评估框架。最根本的研究问题是非平稳环境下的公平性收敛性证明,现有方法多基于静态或半动态假设,对完全非平稳、多智能体博弈场景的理解尚浅,需探索基于强化学习、因果推断及多目标优化的自适应控制策略。已知的是流行度偏差的危害性与内部表征审计的必要性,争议的是公平性定义的规范性与隐私权衡的最优解,未知的是动态环境下的实时公平控制与LLM推荐的可解释性审计。未来趋势将指向从“事后纠偏”到“事前预防”的转变,构建透明、可审计且符合多元利益相关者需求的动态治理生态。
4. 总结与展望
推荐系统公平性研究的核心矛盾已从“精度vs公平”转向“隐私-效用-偏差”三角权衡,早期统计纠偏路线在动态交互与生成式范式下面临失效风险,核心瓶颈在于缺乏非平稳环境下从“输出结果公平”向“内部表征中立”与“长期生态平衡”闭环治理的统一理论框架。未来可能突破的方向包括:基于状态纯化与生命周期感知的动态公平控制(P14、P5),以及LLM推荐系统的可控性评估与语义去偏(P27、P8)。对于进入该领域的研究者,最值得做的一件事是构建统一的在线生态影响评估基准,以弥合离线指标与真实用户长期效用之间的鸿沟,为动态治理提供可靠的实证基础。
以上为节选,完整内容见ArxivReview
來源:阿里雲開發者社區 AI · developer.aliyun.com