技術分析:Thinking Machines Lab 發佈 Inkling 2 Mini,採用 26,4B 參數 Looped MoE 架構
[Phân tích kỹ thuật] Thinking Machines ra mắt Inkling 2 Mini: Kiến trúc Looped MoE 26,4B tham số chạy mượt trên Mac 32GB
Thinking Machines Lab 發佈 Inkling 2 Mini 開源模型,採用 26,4B 參數的 Looped MoE,checkpoint 約 20GB。
Góc nhìn kỹ sư: Thinking Machines Lab vừa phát hành Inkling 2 Mini, mô hình ngôn ngữ mở 26,4 tỷ tham số ứng dụng kỹ thuật lặp tầng trung gian (Looped Transformer) giúp đạt năng lực xử lý tương đương 48 tầng tính toán trong khi dung lượng checkpoint chỉ khoảng 20GB. Đột phá này cho phép các kỹ sư vận hành các tác vụ lập trình tự hành (agentic coding) và phân tích tài liệu đa phương thức trực tiếp trên máy Mac 32GB RAM hoặc GPU đơn lẻ.
Điểm nhấn kiến trúc cốt lõi
Tái sử dụng tầng tính toán: Bước chuyển dịch phá vỡ nút thắt bộ nhớ VRAM
Thinking Machines Lab vừa chính thức phát hành Inkling 2 Mini dưới giấy phép nguồn mở Apache 2.0 trên Hugging Face, tiếp nối mô hình cỡ lớn Inkling 2 Small (594 tỷ tham số) từng ra mắt vào ngày 5/11. Thay vì tiếp tục chạy đua mở rộng tham số vật lý vốn đòi hỏi hạ tầng máy chủ tiêu tốn hàng trăm gigabyte VRAM, Inkling 2 Mini tạo ra bước ngoặt kỹ thuật đáng chú ý: ứng dụng cơ chế vòng lặp tính toán (Looped Transformer) kết hợp kiến trúc hỗn hợp chuyên gia thưa (Sparse Mixture-of-Experts - MoE). Với tổng cộng 26,4 tỷ tham số, mô hình duy trì dung lượng lưu trữ trọng số (checkpoint) ở mức xấp xỉ 20GB, cho phép triển khai trực tiếp trên máy Mac Apple Silicon trang bị 32GB RAM hợp nhất (Unified Memory) hoặc các trạm làm việc sử dụng 1 GPU duy nhất như NVIDIA DGX Spark.
Bản chất cơ học của Inkling 2 Mini nằm ở việc tái sử dụng tham số theo chiều sâu thay vì xếp chồng thêm các tầng vật lý mới. Mô hình lưu trữ thực tế 24 tầng trọng số, chia đều thành 4 khối (mỗi khối gồm 6 tầng):
- Khối đầu (tầng 1 - 6) và khối cuối (tầng 19 - 24): Chỉ thực thi đúng một lần cho mỗi token đầu vào.
- Hai khối trung gian (tầng 7 - 18): Được cho chạy lặp lại 3 lần liên tiếp với các trọng số được chia sẻ hoàn toàn.
Nhờ cơ chế này, mô hình đạt được hiệu năng tương đương 48 lượt áp dụng tầng (layer applications) trên mỗi token chỉ từ 24 tầng trọng số thực tế. Để luân chuyển ngữ cảnh mượt mà giữa các lượt lặp mà không làm suy hao tín hiệu, nhóm nghiên cứu tích hợp mạng phần dư chú ý (Attention Residuals) kết hợp cùng một cổng điều hướng học được (learned gate).
Số liệu thực nghiệm cho thấy việc lặp hai khối trung gian mang lại mức tăng hiệu quả tính toán tương đương từ 1,51x đến 1,91x, vượt trội rõ rệt so với phương án lặp các tầng cuối (chỉ đạt 1,24x đến 1,36x). Trong 28 bài kiểm tra độc lập, biến thể lặp tầng trung gian đã chiến thắng áp đảo ở 27 bài. Dù việc lặp tầng đòi hỏi chi phí huấn luyện ban đầu cao hơn 7,5% so với mô hình thông thường (unlooped baseline), nhưng tại pha suy luận (inference), mô hình thông thường sẽ phải tiêu tốn thêm tới 140% năng lực tính toán mới có thể cân bằng được mức độ suy hao (loss) của Inkling 2 Mini trên các chuỗi tác vụ tự hành (agentic traces) dài 512.000 token.
Kỹ thuật cắt tỉa MoE và chuẩn lượng tử hóa phần cứng gốc NVFP4/MXFP8
Inkling 2 Mini tiếp nhận đầu vào đa phương thức (văn bản và hình ảnh) và xuất kết quả dạng văn bản. Bên cạnh cơ chế vòng lặp, kiến trúc mạng chuyển tiếp (Feed-Forward Network - FFN) của mô hình được thiết kế với 128 chuyên gia (experts), kích hoạt động 8 chuyên gia cho mỗi token.
Để đạt được mật độ tri thức cao trong một kích thước nhỏ gọn, quy trình huấn luyện của Thinking Machines đã kết hợp các kỹ thuật tối ưu hóa chuyên sâu:
- Khởi tạo và cắt tỉa (Pruning): Quá trình huấn luyện ban đầu được thiết lập với 384 chuyên gia mỗi tầng (vẫn giữ 8 chuyên gia kích hoạt). Tại giai đoạn giữa chu kỳ huấn luyện (midtraining), nhóm kỹ sư tiến hành cắt tỉa 2/3 tổng số chuyên gia, chỉ giữ lại 128 chuyên gia có tần suất kích hoạt cao nhất.
- Chưng cất tri thức phục hồi (Distillation Healing): Để bù đắp dung lượng bị loại bỏ sau khi cắt tỉa, mô hình trải qua một đợt chưng cất tri thức quy mô 1 nghìn tỷ (1T) token từ một mô hình Inkling nội bộ cỡ lớn hơn.
- Hậu huấn luyện (Post-training): Quy trình hoàn thiện sử dụng phương pháp tinh chỉnh có giám sát (SFT), tiếp nối bởi học tăng cường (RL) trên 2,2 nghìn tỷ token qua 2.000 bước huấn luyện, kết hợp kỹ thuật chưng cất theo chính sách (on-policy distillation).
Đặc biệt, nhằm loại bỏ hoàn toàn sự suy hao độ chính xác do chuyển đổi lượng tử hóa hậu kỳ (quantization conversion loss), các tầng chuyên gia được huấn luyện và triển khai trực tiếp bằng định dạng số học NVFP4 của NVIDIA, trong khi 4 tầng cuối cùng sử dụng chuẩn MXFP8. Hãng cũng công bố biến thể nghiên cứu TML-d24-varloop-research hỗ trợ tùy biến linh hoạt từ 1 đến 5 lượt lặp.
Phân tích Benchmark: Sức mạnh Agentic đối đầu giới hạn tham số tĩnh
Các phép thử do Thinking Machines công bố cho thấy Inkling 2 Mini vượt trội ở nhóm tác vụ lập trình tự hành và điều phối công cụ, cạnh tranh trực tiếp với các mô hình mã nguồn mở hàng đầu trong phân khúc dưới 35 tỷ tham số.
| Chỉ số / Benchmark | Inkling 2 Mini (26,4B Looped MoE) | Qwen3.8-27B | Đối thủ cùng phân khúc |
|---|---|---|---|
| Tổng tham số vật lý | 26,4B (48 lượt tầng tính toán) | 27B | Gemma-4-26B / Qwen3.6-35B |
| Dung lượng Checkpoint | ~20GB (Safetensors NVFP4/MXFP8) | ~54GB (định dạng FP16 gốc) | Đa dạng theo mức nén |
| SWE-bench Verified (bash) | 79,2% | Chưa công bố | - |
| SWE-bench Pro v2 (Hard) | 77,9% | Chưa công bố | - |
| DeepSWE v1.1 | 48,2% | 42,2% | - |
| Terminal Bench v2.1 | 71,6% | 73,0% | - |
| BrowseComp (Compaction) | 79,0% | - | - |
| MCP Atlas (Agentic Tools) | 82,7% | - | - |
| OmniDocBench v1.6 (Tài liệu) | 92,8% | - | - |
| GPQA Diamond (Suy luận cao cấp) | 86,6% | - | - |
| Stanford Intelligence per Watt | 0,703 (trên DGX Spark) | 0,430 (Qwen3.6-35B-A3B) | 0,159 (Gemma-4-26B-A4B) |
Thước đo "Trí tuệ trên mỗi Watt" (Intelligence per Watt) của Đại học Stanford ghi nhận Inkling 2 Mini đạt 0,703 điểm trên phần cứng DGX Spark, cao gấp hơn 1,6 lần so với Qwen3.6-35B-A3B (0,430) và gấp 4,4 lần so với Gemma-4-26B-A4B (0,159). Kết quả này khẳng định ưu thế tiết kiệm năng lượng vượt trội của việc tái sử dụng tham số.
Dẫu vậy, sự đánh đổi cấu trúc của mô hình thể hiện rất rõ ở dung lượng bộ nhớ tham số (parametric memory). Việc lặp tầng tính toán giúp tăng cường năng lực suy luận sâu nhưng không thể bù đắp lượng tri thức bách khoa bị giới hạn bởi 26,4 tỷ tham số vật lý. Trên bài kiểm tra tri thức AA-Omniscience, Inkling 2 Mini chỉ đạt điểm số -8,6 với tỷ lệ không tạo ảo giác ở mức 63,4%. Mô hình cũng bộc lộ hạn chế ở các tác vụ đối thoại nhiều lượt phức tạp khi chỉ đạt 50,0% trên MultiChallenge, 33,4% trên ComplexConstraints v1.1 và 15,2% trên HLE-Diamond.
Góc nhìn TinTứcAI: Cơ hội sở hữu AI Agent cục bộ cho doanh nghiệp Việt Nam
Sự ra đời của Inkling 2 Mini phản ánh xu hướng thực dụng đang chiếm ưu thế trong ngành trí tuệ nhân tạo: tối ưu hóa tỷ lệ hiệu năng trên chi phí phần cứng (Hardware-efficiency ROI). Thay vì phụ thuộc vào các cụm máy chủ điện toán đám mây đắt đỏ với chi phí API tăng dần theo lưu lượng, các kỹ sư phần mềm và doanh nghiệp tại Việt Nam đang đứng trước cơ hội làm chủ các mô hình AI có năng lực giải quyết vấn đề chuyên sâu ngay trên thiết bị biên.
Thứ nhất, Inkling 2 Mini mở ra khả năng thiết lập các lập trình viên tự hành (coding agents) nội bộ với chi phí gần như bằng không. Với kết quả 79,2% trên SWE-bench Verified và 71,6% trên Terminal Bench v2.1, mô hình hoàn toàn đủ khả năng xử lý các bài toán tự động sửa lỗi (bug fixing), rà soát mã nguồn (code review) và viết kịch bản bash/terminal tự động. Kỹ sư có thể triển khai mô hình trực tiếp qua vLLM với chỉ một dòng lệnh duy nhất (vllm serve "thinkingmachines/Inkling-2-Mini"), hoặc sử dụng SGLang, Ollama và các bản GGUF thông qua Unsloth/llama.cpp trên những chiếc máy Mac Studio, MacBook Pro M-series (RAM từ 32GB) hoặc máy trạm gắn card đồ họa phổ thông.
Thứ hai là tính an toàn dữ liệu tuyệt đối cho các lĩnh vực nhạy cảm. Nhờ đạt 92,8% trên OmniDocBench v1.6 và 82,7% trên MCP Atlas, các tổ chức tài chính, công ty luật hay doanh nghiệp công nghệ tại Việt Nam có thể ứng dụng Inkling 2 Mini để phân tích hợp đồng, trích xuất dữ liệu tài liệu đa phương thức và kết nối các công cụ nội bộ qua giao thức Model Context Protocol (MCP) mà không phải gửi dữ liệu ra bên ngoài biên giới.
Tuy nhiên, các nhà phát triển không nên sử dụng Inkling 2 Mini như một chatbot tra cứu bách khoa toàn thư. Để khai thác tối đa sức mạnh của mô hình, kiến trúc triển khai bắt buộc phải kết hợp hệ thống RAG (Retrieval-Augmented Generation) nhằm bù đắp kho dữ liệu tĩnh, giải phóng Inkling 2 Mini tập trung vào vai trò hạt nhân: một cỗ máy suy luận logic, điều hướng công cụ và tự động hóa tác vụ chuẩn xác.
🔗 Nguồn bài viết & Thảo luận đa nền tảng:
- 🌐 Bài viết gốc đầy đủ: Thinking Machines ra mắt Inkling 2 Mini: Kiến trúc Looped MoE 26,4B tham số chạy mượt trên Mac 32GB
- ⚡ Đọc nhanh thời sự trên Telegra.ph: https://telegra.ph/Bản-tin-AI-Thinking-Machines-ra-mắt-Inkling-2-Mini-Kiến-trúc-Looped-MoE-264B-tham-số-chạy-mượt-trên-Mac-32GB-11-21
- 📝 Tài liệu phân tích chuyên sâu trên HackMD: https://hackmd.io/@tintucai/Sy_LWf1JQg
- 🐙 Bản tóm lược nghiên cứu trên GitHub Gist: https://gist.github.com/tintucai/860b82b54c4f0a281f183279aaa71e2e
來源:DEV Community · dev.to


