DaisyRose-27B 架構:以純強化學習訓練 AI 編碼模型,完全取代 SFT
Kiến Trúc DaisyRose-27B: Huấn Luyện AI Coding Thuần Reinforcement Learning Thay Thế Hoàn Toàn SFT
RadixArk 推出開源模型 DaisyRose-27B,以純強化學習進行後訓練,完全省略 SFT 和知識蒸餾;模型有 27B 參數,基於 Qwen3.8-27B。Terminal Bench 4.1 的 pass@1 分數由 5.6% 升至 12.0%,互動上下文窗口最高支援 1 million token。模型採用 Apache 2.0 授權,可用於內部 CLI agent 流程。
Trong phát triển tác tử phần mềm (AI coding agents), tinh chỉnh có giám sát (SFT) từ lâu được xem là khâu bắt buộc. Tuy nhiên, cách tiếp cận này thường khiến mô hình phụ thuộc vào các mẫu mã tĩnh, dễ gãy đổ khi đối mặt với lỗi runtime phức tạp trên terminal. RadixArk vừa tạo bước ngoặt lớn với DaisyRose-27B – mô hình mã nguồn mở 27 tỷ tham số được hậu huấn luyện 100% bằng học tăng cường (RL), loại bỏ hoàn toàn SFT lẫn chưng cất tri thức (distillation).
Được phát triển trên nền tảng Qwen3.8-27B dưới dạng giải pháp thay thế trực tiếp (drop-in replacement), DaisyRose-27B tái định nghĩa cách AI làm việc với môi trường lập trình thực tế.
Vòng Lặp Sandbox: Khám Phá Và Phục Hồi Lỗi Dựa Trên Thực Thi
Thay vì ép mô hình học vẹt văn bản mẫu, RadixArk hợp tác cùng Eigent AI thiết kế quy trình huấn luyện dựa trên phản hồi thực thi thực tế:
- Tập bài toán mục tiêu: Xây dựng khoảng 1.200 bài toán thử thách chuyên sâu, chắt lọc từ hàng nghìn kịch bản nhằm đánh trúng các điểm mù của Qwen3.8-27B.
- Ngân sách thực thi dài hạn: Trong môi trường sandbox, mỗi lượt thử nghiệm kéo dài tới 1,5 giờ, cho phép thực thi hơn 100 lệnh gọi công cụ (tool calls) và tạo ra hơn 256.000 token xuất ra.
- Khả năng mở rộng ngữ cảnh: Các phiên tương tác agentic hỗ trợ mở rộng context window lên đến 1 triệu token.
Cơ chế tưởng thưởng dựa trên kết quả chạy lệnh thực tế giúp DaisyRose-27B hình thành năng lực của một mô hình tư duy (thinking model): tự phân tích lỗi, kiểm thử và linh hoạt sửa sai.
Hiệu Năng Thực Nghiệm Trên Terminal Bench 4.1
Hiệu quả của hướng tiếp cận Pure RL được khẳng định qua các chỉ số benchmark ấn tượng:
- Tỷ lệ pass@1 tăng vọt: Điểm số trên Terminal Bench 4.1 tăng từ 5,6% lên 12,0% (hơn gấp đôi mô hình nền tảng).
- Hành vi phản tư (Self-reflection): Agent liên tục quan sát stdout/stderr, phân tích stack trace để tự điều chỉnh giải pháp thay vì rơi vào vòng lặp lỗi.
- Tối ưu hóa trọng số: Hỗ trợ đầy đủ hai định dạng BF16 và FP8, cân bằng tối ưu giữa độ chính xác và tài nguyên tính toán.
Ý Nghĩa Triển Khai Cho Kỹ Sư Hệ Thống
DaisyRose-27B chứng minh rằng học tăng cường thuần túy có thể mở khóa năng lực giải quyết vấn đề tự trị mà không cần đến dữ liệu gán nhãn SFT khổng lồ. Với giấy phép mở Apache 2.0, các kỹ sư phần mềm có thể đưa mô hình vào các pipeline CLI agent nội bộ một cách liền mạch.
🔗 Nguồn bài viết & Thảo luận đa nền tảng:
- 🌐 Bài viết gốc đầy đủ: RadixArk Trình Làng DaisyRose-27B: Đột Phá Lập Trình Agentic Thuần RL Không Cần SFT
- ⚡ Đọc nhanh thời sự trên Telegra.ph: https://telegra.ph/Bản-Tin-Công-Nghệ-RadixArk-Ra-Mắt-DaisyRose-27B--Cú-Hích-Mã-Nguồn-Mở-Tái-Định-Hình-AI-Lập-Trình-11-21
- 📝 Tài liệu phân tích chuyên sâu trên HackMD: https://hackmd.io/@tintucai/S1PS_2RRMx
- 🐙 Bản tóm lược nghiên cứu trên GitHub Gist: https://gist.github.com/tintucai/be605c0289430999368679e20e0e9a92
來源:DEV Community · dev.to


