從零學習 LLM：打造可在本機運行的 Mini-GPT
Belajar LLM dari nol : Membangun Mini-GPT yang Berjalan di Lokal
作者從零構建可在個人電腦本機運行的 Mini-GPT，並説明如何為獨特字元編號，再逐個 token 預測文本。模型採用 128 維架構和 4 層，在 30 段文本上重複訓練後，train loss 降至 0.06，但生成文字仍有不少錯誤，模型也仍像是在記憶文本。
Perkembangan AI cukup masif pada tahun ini, 2026. Para perusahaan besar seperti OpenAI dan Anthropic terus berlomba merilis AI dengan kemampuan yang lebih hebat dari sebelumnya.
Orang-orang mulai menggunakan model AI tersebut untuk keperluan profesional, kreatif, dan hal lainnya. Tak terkecuali saya sendiri, yang menggunakannya untuk membantu membangun Aplikasi. Meskipun dalam tanda kutip setiap kode yang dibangun harus tetap kita pahami fungsinya.
Model besar AI seperti Claude dan ChatGPT tersebut dibangun diatas sebuah konsep LLM (Large Language Model). LLM Sendiri adalah model dasar dilatih dengan banyaknya data untuk bisa memahami berbagai hal. LLM bekerja dengan menebak setiap token selanjutnya pada sebuah kata dan simbol. Sehingga LLM dapat mengetahui apa yang dimaksud oleh sebuah kalimat.
Saya Mencoba membangun LLM seperti Mini-GPT yang dapat berjalan di komputer pribadi secara lokal.
Adapun spefisikasi laptop yang saya gunakan adalah sebagai berikut:
Prosessor : Intel Core I5 gen 12
RAM : 16GB
Saya akan membangun LLM dengan arsitektur 128 dimensi, 0,8 parameter dan 4 layer.
Setiap huruf unik nantinya akan diberikan nomor sehingga sebuah text akan menjadi deretan angka.
Cara kerja dari LLM ini adalah ketika model dilatih misal dengan kata "raka". Maka ketika diberikan "rak" maka ia bisa menebak kelanjutannya yaitu "aka". Proses alurnya yaitu dengan menggeser satu token.
setiap token akan mengecek seberapa relevan token-token sebelumnya. Mask kemudian akan mencegah token mengintip masa depan.
Tebak satu token, tambahkan ke teks, lalu mengulangi. Beginilah cara LLM berfikir.
Setelah dilakukan training terhadap model. Awalnya model masih banyak salah (train loss), namun proses training terhadap 30 teks yang diulang menghasilkan train loss sebanyak 0.06. Hampir mendekati teks aslinya.
Meski begitu, hasil training terhadap model masih mendapatkan banyak kesalahan kata.
Saya memahami bahwa semakin banyak proses training maka model akan semakin pintar. Meskipun dalam kasus ini model masih seperti menghafal teks.
來源：DEV Community · dev.to