跳到正文
DEV Community· Tin Tức AI·· 17 小時前AI 評分48

DaisyRose-27B 架構:以純強化學習訓練 AI 編碼模型,完全取代 SFT

Kiến Trúc DaisyRose-27B: Huấn Luyện AI Coding Thuần Reinforcement Learning Thay Thế Hoàn Toàn SFT

AI 導讀

RadixArk 推出開源模型 DaisyRose-27B,以純強化學習進行後訓練,完全省略 SFT 和知識蒸餾;模型有 27B 參數,基於 Qwen3.8-27B。Terminal Bench 4.1 的 pass@1 分數由 5.6% 升至 12.0%,互動上下文窗口最高支援 1 million token。模型採用 Apache 2.0 授權,可用於內部 CLI agent 流程。

正文

Cover image for Kiến Trúc DaisyRose-27B: Huấn Luyện AI Coding Thuần Reinforcement Learning Thay Thế Hoàn Toàn SFT

Tin Tức AI

DaisyRose-27B: Mô hình lập trình agentic thuần RL từ RadixArk

Trong phát triển tác tử phần mềm (AI coding agents), tinh chỉnh có giám sát (SFT) từ lâu được xem là khâu bắt buộc. Tuy nhiên, cách tiếp cận này thường khiến mô hình phụ thuộc vào các mẫu mã tĩnh, dễ gãy đổ khi đối mặt với lỗi runtime phức tạp trên terminal. RadixArk vừa tạo bước ngoặt lớn với DaisyRose-27B – mô hình mã nguồn mở 27 tỷ tham số được hậu huấn luyện 100% bằng học tăng cường (RL), loại bỏ hoàn toàn SFT lẫn chưng cất tri thức (distillation).

Được phát triển trên nền tảng Qwen3.8-27B dưới dạng giải pháp thay thế trực tiếp (drop-in replacement), DaisyRose-27B tái định nghĩa cách AI làm việc với môi trường lập trình thực tế.

Vòng Lặp Sandbox: Khám Phá Và Phục Hồi Lỗi Dựa Trên Thực Thi

Thay vì ép mô hình học vẹt văn bản mẫu, RadixArk hợp tác cùng Eigent AI thiết kế quy trình huấn luyện dựa trên phản hồi thực thi thực tế:

  • Tập bài toán mục tiêu: Xây dựng khoảng 1.200 bài toán thử thách chuyên sâu, chắt lọc từ hàng nghìn kịch bản nhằm đánh trúng các điểm mù của Qwen3.8-27B.
  • Ngân sách thực thi dài hạn: Trong môi trường sandbox, mỗi lượt thử nghiệm kéo dài tới 1,5 giờ, cho phép thực thi hơn 100 lệnh gọi công cụ (tool calls) và tạo ra hơn 256.000 token xuất ra.
  • Khả năng mở rộng ngữ cảnh: Các phiên tương tác agentic hỗ trợ mở rộng context window lên đến 1 triệu token.

Cơ chế tưởng thưởng dựa trên kết quả chạy lệnh thực tế giúp DaisyRose-27B hình thành năng lực của một mô hình tư duy (thinking model): tự phân tích lỗi, kiểm thử và linh hoạt sửa sai.

Dữ liệu thực nghiệm và sơ đồ kỹ thuật: Đánh giá hiệu năng: Bước nhảy vọt về năng lực thao tác dòng lệnh

Hiệu Năng Thực Nghiệm Trên Terminal Bench 4.1

Hiệu quả của hướng tiếp cận Pure RL được khẳng định qua các chỉ số benchmark ấn tượng:

  • Tỷ lệ pass@1 tăng vọt: Điểm số trên Terminal Bench 4.1 tăng từ 5,6% lên 12,0% (hơn gấp đôi mô hình nền tảng).
  • Hành vi phản tư (Self-reflection): Agent liên tục quan sát stdout/stderr, phân tích stack trace để tự điều chỉnh giải pháp thay vì rơi vào vòng lặp lỗi.
  • Tối ưu hóa trọng số: Hỗ trợ đầy đủ hai định dạng BF16 và FP8, cân bằng tối ưu giữa độ chính xác và tài nguyên tính toán.

Khảo sát bối cảnh triển khai: Kiến trúc lai hiện đại và phương thức triển khai thực tế

Ý Nghĩa Triển Khai Cho Kỹ Sư Hệ Thống

DaisyRose-27B chứng minh rằng học tăng cường thuần túy có thể mở khóa năng lực giải quyết vấn đề tự trị mà không cần đến dữ liệu gán nhãn SFT khổng lồ. Với giấy phép mở Apache 2.0, các kỹ sư phần mềm có thể đưa mô hình vào các pipeline CLI agent nội bộ một cách liền mạch.


🔗 Nguồn bài viết & Thảo luận đa nền tảng:

來源:DEV Community · dev.to