Prior-Fitted Language Model（PFLM）學會從上下文推斷語言

研究提出 300M 參數的 Prior-Fitted Language Model（PFLM），讓模型在凍結權重下從真實文本前綴推斷語言並預測後續內容。它只以合成的非語言先驗樣本預訓練；每條訓練序列均由從分佈中重新抽取的遞迴結構因果模型生成，因此模型未見過任何真實語言的詞，也不會在訓練中兩次遇到同一語言。