Qwen 3.5 僅修改 0.016% 權重:這項實驗揭示了甚麼
Une IA modifie 0,016 % des poids d’un modèle : ce que montre l’expérience
研究者在 Qwen 3.5 上針對性修改權重,無需訓練或反向傳播,便減少了模型反覆生成數學練習答案的情況。這個 800 million 參數模型在 MATH-500 的分數由 7.9% 升至 48.1%,Hugging Face 上的公開重新評估則錄得 51%。結果取決於特定實驗流程,減少生成循環不代表模型的數學能力整體提升。
Dans ce premier épisode de POIDS, je présente une expérience sur Qwen 3.5, un modèle de 800 millions de paramètres qui tournait en boucle sur des exercices de maths.
Une modification ciblée des poids, sans entraînement ni rétropropagation, réduit ces boucles. Sur MATH-500, les auteurs rapportent un score passant de 7,9 % à 48,1 %. Une réévaluation publique sur Hugging Face rapporte 51 %.
La nuance importante : ce résultat dépend d’un protocole précis. Réduire les boucles de génération ne démontre pas une amélioration générale des capacités mathématiques du modèle.
La deuxième expérience vient nuancer l’histoire. À suivre dans POIDS.
Sources : billet des auteurs et réévaluation publique.
來源:DEV Community · dev.to