從零構建本機 Mini-GPT 的訓練與生成

報道介紹作者從零構建一個可在個人電腦本機運行的 Mini-GPT，並説明基本做法：為獨特字元編號，再逐個 token 預測文本。模型採用 128 維架構和 4 層，並在 30 段文本上反覆訓練，train loss 隨後降至 0.06。報道同時指出，生成文字仍有不少錯誤，模型也仍像是在記憶文本。這次示範涵蓋從字元編號、逐 token 預測，到模型訓練及生成文字的結果。

AI 根據報道生成 · 2 小時前更新

還沒有足夠的連續觀測數據，暫不繪製趨勢。