Hugging Face Blog·· 2024-04-29精選AI 評分67
StarCoder2-15B-Instruct-v0.1 採用全透明、寬鬆授權的程式碼生成自對齊流程
StarCoder2-Instruct: Fully Transparent and Permissive Self-Alignment for Code Generation
AI 導讀
StarCoder2-15B-Instruct-v0.1 採用全透明、寬鬆授權的自對齊流程訓練，未使用人工標註或大型專有 LLM 的蒸餾數據。流程以 StarCoder2-15B 從 The Stack V1 的種子函數生成指令，並透過沙箱執行測試篩選回答，最終形成包含 50k 組指令與回答的 SFT 數據集。
推薦理由
文章梳理了從 The Stack V1 種子函數生成指令，再以執行測試篩選回答的自對齊流程，説明程式碼模型如何利用自身生成數據進行微調。
來源：Hugging Face Blog · huggingface.co