跳到正文
熱點事件持續更新

mini-batch SGD 的梯度估算與 MNIST 示例

1 篇報道1 個報道來源2 小時前更新

先了解這件事

AI 綜述

2026年11月1日,DEV Community 發文説明 mini-batch SGD 為何每次只使用少量訓練樣本:它以隨機小批次估算完整梯度,因此每一步只需處理部分樣本。這項估計帶有噪聲,但平均而言等於真實梯度;批次大小為 B 時,噪聲約按 σ/√B 縮減。報道亦以 PyTorch 的 MNIST 訓練資料為例:共 60,000 張圖像,載入設定為 batch_size 64;每個 epoch 有 938 次迭代,最後一批包含 32 張圖像。這個例子展示了使用小批次進行梯度估算時的迭代安排。

AI 根據報道生成 · 2 小時前更新

報道時間線

沿着報道,瞭解事件的不同側面。

11月1日
  1. DEV Community
    mini-batch SGD 為何每次只用少量訓練樣本?

    mini-batch SGD 以隨機小批次估算完整梯度,讓每一步只需處理部分樣本;估計雖帶有噪聲,但平均而言等於真實梯度。批次大小為 B 時,噪聲約按 σ/√B 縮減;在 PyTorch 中,60,000 張 MNIST 訓練圖像以 batch_size 64 載入,每個 epoch 有 938 次迭代,最後一批有 32 張。

本事件熱度走勢

還沒有足夠的連續觀測數據,暫不繪製趨勢。