LeMaterial 啟動開源材料研究計劃並發布含 6.7M 條目的 LeMat-Bulk 數據集
Hugging Face 與 Entalpic 宣佈啟動開源協作計劃 LeMaterial,並發布首個數據集 LeMat-Bulk,整合 Materials Project、Alexandria 和 OQMD,含 6.7M 條目及 7 項材料屬性,採用 CC-BY-4.0 授權。
Hugging Face 與 Entalpic 宣佈啟動開源協作計劃 LeMaterial,並發布首個數據集 LeMat-Bulk,整合 Materials Project、Alexandria 和 OQMD,含 6.7M 條目及 7 項材料屬性,採用 CC-BY-4.0 授權。
CoLLiE 是一套從零開始訓練大型語言模型的工具箱,提供資料預處理、模型微調、儲存及訓練指標監測,並整合並行策略、高效微調方法和優化器。它基於 DeepSpeed 和 PyTorch,支援 MOSS、InternLM、LLaMA 和 ChatGLM 等模型,以及 DP、PP、TP、ZeRO、LOMO、LoRA 和 Flash Attention。
FunAudioLLM-APP 提供 Voice Chat 和 Voice Translation 兩款應用,分別支援互動式語音對話及即時語音翻譯,方便不同語言的用戶溝通。項目運用語音理解及語音生成模型,並提供 CosyVoice、SenseVoice 的資源連結,以及安裝和執行指引。
RouteLLM 團隊公開一套以偏好數據訓練的大語言模型路由框架,按查詢在不同模型間分流。在 MT Bench、MMLU 和 GSM8K 上,相較只使用 GPT-4,成本分別降低逾 85%、45% 和 35%,同時維持 GPT-4 表現的 95%。研究團隊亦公開所有程式碼和數據集,包括用於路由器服務及評估的開源框架。
LiveCodeBench Leaderboard 推出,基於 UC Berkeley、MIT 和 Cornell 研究人員開發的 LiveCodeBench 基準評估程式碼大語言模型。
Ollama 推出 Python 和 JavaScript 程式庫的初始版本,讓新舊應用程式可用幾行程式碼整合 Ollama。兩個程式庫支援 Ollama REST API 的全部功能,並提供串流、多模態、文字補全及自訂模型等用例。Ollama 及兩個程式庫的 GitHub 倉庫現已位於新的 ollama 組織。
作者團隊推出 SGLang,這套 LLM 編程及推理系統以 RadixAttention 自動重用多次生成呼叫間的 KV cache。在 Llama-7B 和 Mixtral-8x7B 的多項基準測試中,SGLang 相較 Guidance、vLLM 等基線系統,吞吐量最高為基線系統的 5 倍,首 token 延遲亦有所改善。
FlagOpen/TACO 是供程式碼生成模型訓練與評估的演算法題資料集,含 25,443 道訓練題及 1,000 道測試題。題目來自程式競賽,附有主題、演算法、技能及難度等細粒度標籤,可透過 Hugging Face 或 BAAI DataHub 下載,並按難度或技能篩選。
Hugging Face 示範以其 GitHub 組織內按 stargazers 排名前 10 的公開程式碼庫,微調 StarCoder 製作個人化程式碼助手 HugCoder。
推薦理由:文章示範以 Hugging Face 公開程式碼庫微調個人化程式碼助手,並對照 QLoRA 與全量微調的成本和 HumanEval 結果,呈現訓練資源與表現的取捨。
MTEB 是一套評估文本嵌入模型在多種任務上表現的大型基準測試,並以排行榜彙整模型成績。該基準涵蓋 56 個數據集、8 類任務及最多 112 種語言,排行榜彙整 >2000 項結果。
推薦理由:MTEB 把 56 個數據集、8 類任務納入同一排行榜,並提供自行測試及提交結果的流程,方便按具體任務比較文本嵌入模型。