跳到正文
阿里雲開發者社區 AI·· 48 分鐘前AI 評分35

多語言大語言模型適配與評估綜述

A Survey on Multilingual LLM Adaptation and Evaluation |多语言大语言模型适应与评估综述

AI 導讀

多語言大語言模型適配與評估研究,聚焦如何在資源受限及語言資料分佈不均的情況下提升低資源語言能力,同時保留源語言能力。研究方法從繼續預訓練轉向參數高效微調與模型合併,並以多維基準評估文化適配、公平性及語法能力。評估結果顯示,模型在低資源語言的深層理解上仍有不足。

正文

简介: 多语言大语言模型(LargeLanguageModel,LLM)的适应与评估旨在解决全球语言分布不均导致的AI能力鸿沟,其核心在于平衡低资源语言的性能提升与源语言能力的保持。早期研究依赖扩大模型规模或构建多语言预训练语料,但“多语言诅咒”导致低资源语言性能被高资源语言稀释,单纯覆盖广度无法解决数据稀缺与分词器碎片化问题。随着开源基座模型的普及,研究重心从算力密集型的继续预训练转向参数高效微调与模型合并,以极低的计算成本实现语言知识的轻量级注入。与此同时,评估体系从单一的翻译准确率演进为涵盖文化嵌入、语法规范及公平性的多维基准,揭示了模型在低资源语言深层理解上的脆弱性。

综述原文见 www.arxivreview.com

导读

多语言大语言模型(Large Language Model, LLM)的适应与评估旨在解决全球语言分布不均导致的AI能力鸿沟,其核心在于平衡低资源语言的性能提升与源语言能力的保持。早期研究依赖扩大模型规模或构建多语言预训练语料,但“多语言诅咒”导致低资源语言性能被高资源语言稀释,单纯覆盖广度无法解决数据稀缺与分词器碎片化问题。随着开源基座模型的普及,研究重心从算力密集型的继续预训练转向参数高效微调与模型合并,以极低的计算成本实现语言知识的轻量级注入。与此同时,评估体系从单一的翻译准确率演进为涵盖文化嵌入、语法规范及公平性的多维基准,揭示了模型在低资源语言深层理解上的脆弱性。各路线在资源效率、遗忘缓解与文化适配之间做出了不同取舍,由此形成当前重训练与轻融合并存的多元方法格局。本综述梳理这条从规模扩张到精准适配的因果演进链条,为读者提供一张领域认知地图。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。

1. 研究背景、问题结构与演进脉络

多语言大语言模型研究的起点,是打破英语在自然语言处理领域绝对主导地位的尝试。早期工作如 XLM-R(Conneau et al., 2020)和 BLOOM(Le Scao et al., 2022)试图通过构建覆盖上百种语言的多语言预训练基座,实现跨语言能力的统一。然而,这种“规模即能力”的假设很快遭遇瓶颈:低资源语言在预训练数据中占比极低,导致模型在这些语言上的性能被高资源语言稀释,即所谓的“多语言诅咒”。问题定义由此从“能否覆盖更多语言”转变为“如何在数据极度不均的约束下有效学习特定语言”。

这一转变揭示了问题结构的深层耦合关系。低资源语言的数据稀缺性首先体现在分词器层面,非拉丁字母或形态丰富语言在通用分词器中产生更长的序列,即分词器碎片化(Tokenizer Fragmentation),这不仅浪费了上下文窗口,还破坏了语义完整性。分词效率的低下进一步影响了跨语言对齐(Cross-Lingual Alignment)的稳定性,不同语言在模型内部表示空间中的几何结构不一致,导致零样本迁移性能波动。最终,当模型通过继续预训练(Continual Pre-training, CPT)注入新语言知识时,优化过程极易引发灾难性遗忘(Catastrophic Forgetting),损害原有的英语能力或通用推理能力。因此,核心任务被形式化为:在计算资源受限和数据分布极度不均的约束下,如何以最小化的源语言能力损失和分词效率损耗,实现低资源语言在语义对齐、指令跟随及文化适配上的高性能迁移。

2019 至 2022 年是领域的奠基期,XTREME 等基准确立了多语言评估的框架,XLM-R 和 BLOOM 提供了多语言基线,但暴露了低资源语言性能稀释的根本问题。2023 至 2024 年,随着 Llama-2 等开源模型的普及,研究范式发生关键转折:全参数 CPT 的高算力门槛对学术界和小社区不可行,研究重心转向参数高效微调(Parameter-Efficient Fine-Tuning, PEFT)和合成数据蒸馏。Aya 等模型展示了通过翻译和合成数据增强低资源语言性能的可行性,FineWeb-Edu 则证明了数据质量比数量更重要,为多语言预训练数据清洗提供了新范式。

2025 至 2026 年,领域进入精细化与系统性评估阶段。模型合并(Model Merging)技术如 DIPLomA 和 Merge and Conquer 兴起,通过权重差值合并实现无需大量指令数据的语言适配,进一步降低了算力门槛。与此同时,评估基准开始关注文化维度和难度分层,如 ALBA 和 CMiLBench 揭示了模型在文化嵌入知识上的盲区。当前形态下,方法体系分为“重训练”(CPT/PEFT)与“轻融合”(模型合并/编码器注入)两大路线,前者追求深度知识注入但伴随高遗忘风险,后者追求资源效率但受限于基座模型质量。

如果用一个核心问题概括该领域,那便是:在资源约束下,如何以最小化的源语言能力损失实现低资源语言的高效、公平且文化敏感的迁移。

2. 方法体系

  • 2019:XTREME——首个大规模多语言自然语言理解基准,奠定评估框架

  • 2020:XLM-R——基于RoBERTa的多语言预训练模型,确立跨语言迁移基线

  • 2022:BLOOM——176B参数开放多语言LLM,展示开放模型潜力但暴露性能稀释

  • 2024:Aya——通过翻译和合成数据增强低资源语言性能的多语言LLM系列

  • 2025:DIPLomA——解耦指令保留的语言适配方法,通过权重合并实现低资源指令跟随

  • 2026:SSU (Source-Shielded Updates)——通过重要性评分屏蔽源语言关键权重更新,缓解灾难性遗忘

  • 2026:COMPASS——持续多语言PEFT方法,引入自适应语义采样和分布锚点回放

  • 2026:Translation as Proxy——将机器翻译质量作为多语言评估的可扩展代理指标

这条时间线勾勒了该领域方法演进的代表性节点:从 2019 年的 XTREME 奠定该领域方法基线,经 2020 年 XLM-R 的推进,到 2026 年的 Translation as Proxy 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。

2.1 低资源语言适配

低资源语言适配是领域的核心,其方法演进围绕“如何高效注入语言知识”展开。早期方法依赖全参数 CPT,如 GaMS3-12B(Vreš et al., 2026)针对斯洛文尼亚语,通过三阶段 CPT 和两阶段监督微调,结合 OCR 和翻译数据增强,展示了低资源语言模型构建的完整流程。然而,CPT 的高算力成本和灾难性遗忘问题促使研究者转向更轻量的策略。

2025 年后,模型合并成为主流。DIPLomA(EMNLP 2025, P30)提出解耦指令保留的语言适配方法,通过合并目标语言基座模型与指令微调模型的权重差异,实现低资源语言指令跟随。其核心假设是指令跟随能力在权重空间中具有线性可加性,放弃了对大规模指令数据的需求,换取了极低的计算成本。Merge and Conquer(Valero et al., 2026, P22)进一步验证了模型合并的有效性,通过计算目标语言基座模型与指令模型的权重差异并合并,无需重复微调即可赋予模型新语言能力。这两种方法均依赖于目标语言基座模型的质量,若基座模型存在偏差,合并后模型可能继承这些偏差。

与此同时,参数高效微调(PEFT)提供了更细粒度的控制。COMPASS(Flynn, 2026, P24)提出结合自适应语义采样和分布锚点回放的持续多语言 PEFT 方法,旨在缓解负向跨语言迁移。其核心创新在于将动态数据选择与目标回放结合,既保证了新语言的学习效率,又维持了旧语言的稳定性。SSU(Yamaguchi et al., 2025, P9)则通过重要性评分屏蔽源语言关键权重更新,在持续预训练中缓解灾难性遗忘。SSU 将灾难性遗忘问题转化为权重重要性保护问题,通过选择性更新实现源语言能力的保持,代价是增加了计算开销和超参数敏感性。

此外,跨语言对齐和分词器优化也是重要方向。Persian-Phi(Akhlaghi et al., 2025, P10)提出基于课程学习的跨语言适配管道,通过翻译任务对扩展的分词器进行嵌入对齐,利用单语言模型的专业化优势规避多语言模型中的容量竞争。UrduLM(Ali et al., 2026, P14)则开发定制分词器,解决乌尔都语标记碎片化问题,通过单语言训练更充分地学习语言结构。LLINK(Agarwal and Gupta, 2025, P5)提出通过编码器注入实现跨语言对齐的两阶段桥接方法,绕过分词器碎片化问题,直接利用多语言编码器的语义表示。

方法路线 核心机制 数据需求 计算成本 遗忘缓解策略 主要优势 主要局限 代表论文
继续预训练 (CPT) 全参数更新 高 高 正则化/回放 深度知识注入 高遗忘风险,高算力 GaMS3-12B (P19)
参数高效微调 (PEFT) 适配器/LoRA 中 中 锚点回放/权重屏蔽 细粒度控制,低遗忘 超参敏感,容量受限 COMPASS (P24), SSU (P9)
模型合并 (Merging) 权重差值相加 低 低 无(依赖基座) 极低算力,无需指令数据 线性可加性假设,基座依赖 DIPLomA (P30), Merge and Conquer (P22)
编码器注入 (Injection) 外部编码器映射 低 低 无(冻结基座) 绕过分词器碎片化 推理延迟增加,编码器依赖 LLINK (P5)

模型合并与 PEFT 在 2025 年后呈现互补趋势,前者提供轻量级初始化,后者进行精细化调整,共同构成了当前低资源语言适配的主流范式。

2.2 数据策略与预训练

数据策略是低资源语言适配的基础,其核心在于解决数据稀缺和质量不均问题。早期研究依赖机器翻译合成数据,如 TransWebEdu(EMNLP 2025, P34)通过机器翻译 FineWeb-edu 子集构建多语言语料库,验证了合成数据在预训练阶段的有效性。Machine-Translated Pretraining Study(Velasco and Roque, 2025, P2)进一步揭示,机器翻译文本可以接近自然文本的性能,且持续预训练可以进一步提升效果,但可能引入“翻译腔”。

2025 年后,数据混合比例和质量过滤成为研究重点。Multilingual Data Mixture Study(Foroutan et al., 2025, P4)系统研究多语言预训练数据混合比例对模型性能的影响,揭示了语言覆盖与性能之间的权衡。Cross-Lingual Quality Classifier(Turki et al., 2026, P23)提出跨语言质量分类器,将数据质量选择从启发式过滤升级为模型基于分类,提高了数据选择的精度。MaLA Translation Corpus(ACL-Findings 2026, P29)构建了包含 500 多种语言和 2500 个语言对的双语翻译语料库,证明了双语数据在大规模多语言适配中的优势。

此外,课程学习和持续学习策略也被引入数据优化。Persian-Phi(P10)采用分阶段的课程学习策略,逐步引入波斯语数据,避免模型在早期训练阶段因数据分布差异导致的性能下降。Continual Learning for Low-Resource Languages(Srinath K et al., 2026, P12)提出基于任务特定回放适配器的多语言持续学习方法,通过顺序学习不同语言并在每个阶段回放之前语言的数据,缓解灾难性遗忘。AfriqueLLM CPT Study(ACL 2026, P31)系统研究非洲语言持续预训练中的数据混合和模型架构影响,发现异构数据源和基础模型语言覆盖度对下游性能有显著影响。

数据策略与低资源语言适配方法紧密耦合,高质量的双语数据和精细化的混合策略是模型合并和 PEFT 有效性的前提,而合成数据的有效性边界仍是当前研究的争议焦点。

2.3 多语言基准评估

多语言基准评估旨在量化 LLM 在不同语言间的性能差异、公平性及文化适配度。早期基准如 XTREME 和 Global-MMLU 主要关注通用知识理解,但缺乏对文化语境和细粒度语言结构的评估。2025 年后,基准设计开始关注文化维度和难度分层。

ALBA(Vieira et al., 2026, P21)提出针对欧洲葡萄牙语的生成式 LLM 基准,涵盖八个语言学维度,包括语法、诗歌、文字游戏和文化嵌入知识,强调文本生成而非选择题,以测试模型的语言构造和解构能力。CMiLBench(ACL 2026, P35)提出针对中国少数民族语言的层次化多任务基准,通过难度分层揭示模型在文化特定任务上的能力边界,强调了翻译基准可能低估真实难度的问题。Multi-LMentry(EMNLP 2025, P32)提出多语言 LMentry 基准,作为 LLM 的“单元测试”,评估其在多种语言上的基础语言理解能力,使用正则表达式进行自动评估,确保评估的快速、低成本和可解释性。

此外,公平性和规范性评估也成为新方向。Language Disparity Quantification Framework(EMNLP 2025, P33)提出基于测量理论的多语言 LLM 语言差异量化框架,解耦评估中的混淆因素,区分模型固有能力和数据偏差。M-GATE(Burkert et al., 2026, P28)提出多语言语法、翻译准确性和效率基准,旨在评估 LLM 对语言的规范性掌握程度,而非仅流畅性。EU-24+ Multi-turn Benchmark(Hakimov et al., 2026, P27)提出针对欧盟 24+ 语言的多轮对话基准,通过对话游戏评估 LLM 的多轮交互能力,揭示了模型在长程依赖和上下文保持上的不足。

基准评估与方法体系相互驱动,多维、文化敏感的基准揭示了现有模型在低资源语言深层理解上的短板,为方法优化提供了实证依据。

2.4 高效部署与量化

高效部署与量化旨在解决多语言 LLM 在边缘设备上的计算资源限制问题。早期研究关注模型压缩,但忽略了量化过程中的语言偏差。2025 年后,多语言校准成为研究重点。

Multilingual Calibration for Quantization(Chimoto et al., 2026, P15)提出多语言校准策略,用于 LLM 量化,以解决英语校准导致的非英语语言性能下降问题。该方法通过构建多语言校准集,在量化过程中同时考虑多种语言的分布,从而降低量化后的困惑度。Compact Models for On-Device CED(Chopra et al., 2025, P6)提出基于亚 2B 参数模型的机器翻译关键错误检测(CED)方法,旨在实现边缘设备部署,验证了小模型在 CED 任务上的可行性。

此外,跨语言检索增强生成(RAG)和多模态融合也被探索。Cost-Efficient Cross-Lingual RAG(Hossain et al., 2026, P11)提出成本高效的跨语言 RAG 系统,用于低资源语言的农业咨询,通过翻译用户查询到英语,从英语手册中检索信息,生成答案后再翻译回目标语言。Language-Independent Face-Voice Association(Farhadipour et al., 2025, P8)提出基于多模态基础模型的语言无关人脸-语音关联方法,利用 ImageBind 和 LoRA 微调,实现跨语言的面部-语音验证。

高效部署与方法体系互补,量化校准和边缘部署策略使得低资源语言 LLM 能够在资源受限场景下实际落地,但量化后的性能保持仍是工程瓶颈。

2.5 自动评估与裁判

自动评估与裁判旨在解决非英语环境下自动评估的可靠性、偏差及低资源语言评估数据稀缺问题。早期 LLM-as-a-Judge 框架主要基于英语,存在显著的语言偏差。2025 年后,裁判模型本地化成为研究重点。

Reliable Multilingual LLM-as-a-Judge(Zubiaga et al., 2026, P26)提出可靠的多语言 LLM-as-a-Judge 框架,通过训练特定语言裁判模型解决非英语评估偏差。该方法通过翻译基准并训练裁判模型,使其能够准确评估目标语言的模型输出,将评估任务本地化,确保裁判模型理解目标语言的文化背景和语言规范。Translation as Scalable Proxy(Issaka et al., 2026, P13)提出将机器翻译质量作为多语言评估可扩展代理指标的方法,通过关联翻译指标与基准分数降低评估成本,提供了低成本、可扩展的多语言评估方案。

自动评估与基准评估协同,裁判模型本地化和代理指标方法提升了评估流程的可扩展性,但评估标准的文化差异和自动化偏差仍是未解问题。

3. 关键共识、分歧与开放问题

3.1 领域共识

领域最核心的共识是英语在主流 LLM 预训练数据中占据绝对主导地位,导致非英语语言性能普遍下降。这一共识在多个基准上被反复验证:Global-MMLU 上 TildeOpen LLM 的 59.9% 与基线 Gemma 2 的 59.3% 接近,但均远低于英语性能;AfroBench-Lite 上 AfriqueQwen-14B 的 63.58 BLEU 虽领先,但仍显著低于高资源语言翻译性能。与此相关的另一个共识是继续预训练(CPT)是提升低资源语言性能的有效手段,但必须权衡源语言能力的保持。LINDSEA 实验中,Simplified-MT-CPT (Medium) 的 76.0% 准确率表明 CPT 有效,但 SSU 和 COMPASS 等方法的兴起正是为了解决 CPT 引发的灾难性遗忘问题。

此外,参数高效方法(如 PEFT、模型合并)比全参数微调更具资源效率,适合低资源语言社区部署,这一共识在 DIPLomA 和 Merge and Conquer 的实验中得到支持。现有分词器在非英语语言上存在效率问题,需优化分词策略以提升上下文利用率和语义完整性,UrduLM 的定制分词器实验进一步验证了这一点。

3.2 观点分歧

合成数据(MT/LLM 生成)在低资源语言适配中的有效性边界是主要分歧之一。观点 A 认为合成数据是必要的补充,能接近原生数据性能,LINDSEA 实验显示 Simplified-MT-CPT 优于 Natural-MT-CPT 和 Native 数据,支持这一观点。观点 B 认为合成数据引入噪声和偏差,长期看会损害模型的自然语言生成能力和文化准确性,ALBA 等文化敏感基准的隐含批评支持这一观点。现有证据偏向观点 A 在预训练阶段有效,但在指令微调和生成任务上,合成数据的“翻译腔”可能导致文化偏差。分歧根源在于缺乏能够量化“文化偏差”和“自然度”的自动化指标,现有基准多关注任务准确率,难以捕捉合成数据引入的细微语义扭曲。

模型合并(Model Merging)的线性可加性假设是否普遍成立是另一分歧。观点 A 认为模型合并是轻量级且有效的语言知识迁移方式,DIPLomA 在低资源语言指令跟随上表现优异,支持这一观点。观点 B 认为模型合并仅在线性任务上有效,在复杂推理和生成任务上可能因权重冲突而失效。现有证据偏向观点 A 在指令跟随任务上成立,但缺乏在复杂推理任务(如 MMLU Pro)上的系统性对比。分歧根源在于权重空间的几何结构复杂,不同任务的知识存储方式不同,线性合并可能破坏非线性推理路径。

3.3 其他开放问题

最紧迫的工程问题是量化校准的语言偏差和边缘设备部署。Multilingual Calibration for Quantization(P15)揭示了英语校准导致的非英语语言性能下降,但量化后的性能保持仍是未解问题。Compact Models for On-Device CED(P6)验证了小模型在 CED 任务上的可行性,但精度有限。最根本的研究问题是文化嵌入的量化评估和跨语言对齐的几何结构一致性。ALBA 和 CMiLBench 揭示了模型在文化嵌入知识上的盲区,但缺乏系统性的文化偏差量化指标。跨语言对齐的几何结构不一致导致零样本迁移性能波动,LLINK 等编码器注入方法提供了部分解决方案,但缺乏在多种语言上的系统性对比。

已知—争议—未知认知图谱显示,领域在数据稀缺、分词器碎片化和灾难性遗忘问题上已有共识和有效方法,但在合成数据有效性边界、模型合并线性可加性和文化偏差量化上存在显著争议。未来趋势将向轻量化、模块化和文化敏感方向演进,评估驱动将成为下一阶段模型优化的核心。

4. 总结与展望

多语言大语言模型领域已从“规模扩张”进入“精准适配”时代,核心矛盾从覆盖广度转变为低资源语言适配中的资源效率与能力保持之间的权衡。早期工作试图通过扩大模型规模解决语言不平等,但“多语言诅咒”导致低资源语言性能稀释。随后,研究重心转向参数高效微调和模型合并,以极低的计算成本实现语言知识的轻量级注入,但灾难性遗忘和合成数据噪声仍是核心瓶颈。当前,领域进入精细化与系统性评估阶段,多维、文化敏感的基准揭示了模型在低资源语言深层理解上的短板,为方法优化提供了实证依据。

未来可能突破的方向包括:构建文化对齐与多模态能力,整合高质量本土多模态数据和文化知识库,以支持代理式应用和更自然的语言生成;优化多语言数据混合与课程学习策略,探索更精细的数据采样策略和动态课程学习,以最大化正向迁移并最小化负向干扰;开发语言公平性与鲁棒性评估框架,建立可解释的公平性指标和结构感知评估,以指导更均衡的多语言模型开发。对进入者而言,最值得做的一件事是构建统一骨干与统一预训练条件下的公平评测基准,以分离方法贡献与骨干网络/预训练贡献,为领域提供可靠的实证基础。

以上为节选,完整内容见ArxivReview

來源:阿里雲開發者社區 AI · developer.aliyun.com