跳到正文
熱點事件持續更新

LoRA微調參數量案例與訓練方式

2 篇報道1 個報道來源2 小時前更新

先了解這件事

AI 綜述

2026年11月5日22:30,DEV Community 報道以 Qwen2.5-1.5B-Instruct 為例,在配備 16GB 記憶體的 Apple Silicon Mac 上採用 Rank 16 微調,訓練 18.5M 個參數,約佔模型總參數的 1.2%。11月6日05:27,該網站的後續報道補充説明,LoRA 微調會凍結基礎模型權重,改為在指定線性層訓練兩個低秩矩陣;該配置涉及 28 個區塊。後續報道的參數量及比例與早先報道一致,現有報道未提供其他模型或配置的數據。

AI 根據報道生成 · 2 小時前更新

報道時間線

沿着報道,瞭解事件的不同側面。

11月6日
  1. DEV Community
    LoRA 微調實際訓練哪些參數?以 Qwen2.5-1.5B-Instruct 為例

    LoRA 微調會凍結基礎模型權重,改為在指定線性層訓練兩個低秩矩陣;以 Qwen2.5-1.5B-Instruct 的 Rank 16 配置為例,28 個區塊共訓練 18.5M 個參數,約佔模型 1.2%。

11月5日
  1. DEV Community
    LoRA 微調實際訓練哪些參數?

    以 Qwen2.5-1.5B-Instruct 在 16GB Apple Silicon Mac 上以 rank 16 微調為例,LoRA 訓練 18.5M 個參數,約佔模型總參數的 1.2%。

本事件熱度走勢

當前熱度 10·可比範圍峯值 10(11月5日 23:00)·近 24 小時可比範圍變化 –

02.557.51011月5日23:0011月6日02:0011月6日04:0011月6日07:00

趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指針或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。