Cohere 研究提出「文化漏斗」，指出訓練流程中的文化多樣性逐步收窄

Cohere 分析超過 5.6 million 個涵蓋不同訓練階段的樣本，發現文化多樣性由預訓練進入後訓練時持續收窄。增加語言種類可擴大地理多樣性，但整體文化內容比例會趨於停滯。在 TinyAya base model 微調時加入文化標記後，NormAd、BBQ、GMMLU 分別提升 +8%、+6%、+2.3%，且一般多語能力未受損。