Gaia2 智能體基準與 ARE 框架推出,支援複雜互動評測
Hugging Face 推出 Gaia2 智能體基準及 Meta Agents Research Environments(ARE)框架,用於在更複雜、接近真實情境的環境中執行、除錯和評估智能體。
推薦理由:Gaia2 將智能體評測從唯讀檢索擴展至含模糊指令、時間要求和環境故障的互動任務,ARE 記錄執行 traces,便於分析智能體在複雜情境中的失誤。
Hugging Face 推出 Gaia2 智能體基準及 Meta Agents Research Environments(ARE)框架,用於在更複雜、接近真實情境的環境中執行、除錯和評估智能體。
推薦理由:Gaia2 將智能體評測從唯讀檢索擴展至含模糊指令、時間要求和環境故障的互動任務,ARE 記錄執行 traces,便於分析智能體在複雜情境中的失誤。
智能眼鏡在未來 5 年內不太可能完全取代智能手機,更可能與手機共存互補:眼鏡負責免提資訊顯示、空間導航和音訊體驗,手機則保留較強的運算、輸入和健康監測功能。顯示、電池、運算能力、佩戴體驗、私隱、應用生態和價格仍是普及障礙。Apple、Google 和 Meta 正加快佈局智能眼鏡市場。
智能眼鏡在未來五年內不太可能完全取代智能手機,較可能與手機共存並互相整合。顯示、續航、運算能力、佩戴體驗、私隱、應用生態及價格,仍是普及和獨立使用的障礙。Apple 預計約於 2026 年推出 AI 智能眼鏡,Google 正與眼鏡品牌合作推出 Android XR 平台,Meta 則計劃在 2025 年推出 Oakley 品牌 AR 眼鏡。
Meta CTO Andrew「Boz」Bosworth 的對談內容歸納出 10 條設計原則,指引設計師應對下一個設計範式轉變。原則包括從人的實際問題出發、質疑既有設計限制與互動範式,並分清自己是在創新還是優化。他亦主張盡可能製作原型、整體設計空間運算系統,打造具適當自主性的工具,持續迭代並讓介面淡出。
Ollama 的新引擎現已支援多模態模型,包括 Meta Llama 4、Google Gemma 3、Qwen 2.5 VL、Mistral Small 3.1 等視覺模型。引擎把每個模型封裝為自包含單元,並加入圖像處理中繼資料、圖像快取及 KV cache 優化,目標是提升本地推理的可靠性、準確度和記憶體使用效率。後續工作包括支援更長上下文、思考/推理、串流工具調用及電腦操作。
Meta 發佈 Llama Guard 4 多模態安全模型,以及兩款用於偵測提示詞注入和越獄的 Llama Prompt Guard 2 分類器,參數量分別為 86M 和 22M。
推薦理由:文章交代 Llama Guard 4 的圖文審核範圍與單張 24 GB VRAM GPU 部署條件,並附 Llama Prompt Guard 2 分類器規格及使用示例。
Hugging Face 將 Llama 4 Maverick (~400B) 與 Scout (~109B) 的權重上架 Hub,並宣佈 Transformers 與 TGI 支援。
推薦理由:文章整理了長上下文所用的 NoPE、分塊注意力與 temperature tuning 設計,讓讀者瞭解 Llama 4 延伸上下文窗口的架構取捨。
Config 2025 公佈首批舊金山講者,包括 Meta 技術總監 Andrew “Boz” Bosworth、YouTube Studio 產品管理總監 Ebi Atawodi、Anthropic 產品設計主管 Joel Lewenstein 等人。活動將於 5 月 6 至 8 日在三藩市及 5 月 14 日在倫敦舉行;倫敦實體門票已售罄,三藩市仍可購票,線上參與免費。
Ollama 現已提供 Llama 3.2 Vision 的 11B 和 90B 版本供用戶運行。使用者需下載 Ollama 0.4;11B 版本至少需要 8GB VRAM,90B 版本至少需要 64 GB VRAM。模型可透過終端機加入圖片提示詞,亦可使用 Ollama Python、JavaScript library 或 cURL 呼叫。
Ollama 已支援執行 Meta 的 Llama 3.2,1B 和 3B 純文字模型已可使用,11B 和 90B 視覺模型則即將推出。1B 和 3B 模型適合在手機或邊緣裝置本機運行,可用於個人化裝置端智能體;Ollama 表示,處理在本機進行,以免把訊息及其他資料傳送至第三方或雲端服務。
Meta 發佈 Llama 3.2,共有 10 個開放權重模型,包括 5 個多模態模型和 5 個純文字模型,涵蓋 11B、90B 視覺模型及面向裝置端的 1B、3B 純文字模型。
推薦理由:Llama 3.2 涵蓋 11B、90B 視覺模型與 1B、3B 裝置端純文字模型,並列出 Transformers、llama.cpp 等運行示例,可作為選擇部署路徑的參考。
LMSYS 的研究在 Chatbot Arena 的 Bradley-Terry 回歸中加入回答長度及 Markdown 特徵,以分離風格對模型排名的影響。
Hugging Face Blog 提供了在 Google Cloud Vertex AI 部署 Meta Llama 3.1 405B Instruct FP8 的操作教程,並示範如何以 Text Generation Inference(TGI)執行線上推理。
Meta 發佈 Llama 3.1,提供 8B、70B、405B 三種規模的 base 與 instruct 模型,均支援 128K tokens 上下文和 8 種語言。Instruct 版本加入工具調用能力,並支援自訂 JSON 函數;授權亦允許以模型輸出改進其他 LLM。Hugging Face 同時列出 Transformers、TGI 等整合,以及各型號在推理和微調時的記憶體需求。
推薦理由:文章將 8B、70B、405B 的部署定位、128K tokens 上下文及記憶體需求一併列出,可比較不同規模模型的使用取捨。
Max Buckley 在 Beren Millidge 的研究博客中測試整數 R2L token 化,結果顯示,以逗號強制採用 R2L 後,多個模型的大數加法準確率有所提升。
對多款現今開放 LLM 的無條件分佈進行比較,發現部分模型會輸出數學或編碼問答,顯示預訓練可能包含指令或評測類資料。Llama3 8B、Phi3 和 Olmo-v1.7 的輸出呈現這類模式,但 Mistral base、Gemma 和 JetMoE 等例子顯示,無條件分佈未必能可靠反映訓練方式。
GPT2 和 GPT3 的 tokenizer 曾以不一致的方式切分整數,令模型難以學習算術;新一代 tokenizer 的整數表示大致已解決這個問題。Llama、Mistral、Gemma、Deepseek 和 Yi 按十進制逐位切分,GPT4 和 Llama3 則將數字分組切分。分組方式可減少長整數運算所需的連續步驟,但可能較難學習。
LMSYS 團隊分析 Llama 3-70B 在 Arena 與五款排名靠前模型的對戰,發現它在開放式寫作和創意任務中的勝率較高,在封閉式數學及編碼任務中則較低。提示詞難度增加時,它對頂尖模型的勝率由高 50% 區間降至低 40% 區間;去重及按評審分層計算均未顯著改變勝率。Llama 3 的輸出較常呈現友善、正面和具對話感的特點,這些特點在勝出的對戰中較常見,但與勝率的關聯整體有限。
Ollama 表示,Llama 3 的錯誤拒答量不到 Llama 2 的三分之一,並可回應更廣泛的話題。文章展示 Llama 3 8B 與 Llama 2 7B 在三組提示詞下的回答對照,兩者均採 4-bit 整數量化。文中建議下載 Ollama,並執行 `ollama run llama3` 在本機使用 Llama 3。
Llama 3 已可透過 Ollama 執行,首批提供 8B 和 70B 參數版本。其訓練數據集規模達 Llama 2 的 7 倍,上下文窗口增至 8K,詞彙表含 128K tokens,錯誤拒答少於 Llama 2 的 1/3。
推薦理由:文中從訓練數據集、上下文窗口、詞彙表和錯誤拒答比例等方面比較 Llama 3 與 Llama 2,並提供 8B、70B 版本的執行命令。
Meta 發佈開源大語言模型 Llama 3,提供 8B、70B 兩種參數規模,各有 base 與指令微調版本。模型上下文窗口為 8K tokens,另有以 Llama 3 8B 微調的 Llama Guard 2;授權允許再分發、微調和衍生作品,並要求衍生模型名稱以 Llama 3 開頭,衍生作品或服務標示 Built with Meta Llama 3。
推薦理由:文章梳理了 Llama 3 的型號、授權要求,以及 Hugging Face 上的推理部署和微調入口,呈現從模型取得到實際使用的主要路徑。
Ollama 的指南示範如何為 Code Llama 的 Instruct、程式碼補全及 Python 變體編寫提示詞,並説明程式碼補全模型的 Infill 格式。示例使用 7 billion 參數、4-bit 量化的模型,涵蓋程式碼生成、程式碼檢視、單元測試和補全;文中亦提及 13 billion 和 34 billion 參數版本。這些提示詞亦可用於其他模型供應商和執行環境。
Code Llama 推出 7B、13B 和 34B 參數版本,是以 Llama 2 為基礎、專攻編碼任務的模型家族。基礎模型以 500 billion tokens 的程式碼資料訓練,另有 Python 專用版和指令微調版;模型採用與 Llama 2 相同的社羣授權,可商用。
推薦理由:文章並列 7B、13B、34B 參數規模、Python 與指令微調變體,以及 Hugging Face 接入方式,便於比較模型選擇和部署路徑。
Code Llama 已可透過 Ollama 在本機執行,提供 7B、13B 和 34B 參數版本。原文列出 `ollama run codellama:7b`、`ollama run codellama:13b` 和 `ollama run codellama:34b` 命令;13B 版本要求 16GB+ 記憶體,34B 版本要求 32GB+。
推薦理由:文章列出 13B 和 34B 版本的記憶體要求,以及基礎模型和 Python 專用版的 Ollama 命令,方便按本機資源選擇版本。
Ollama 示範如何在本機執行未經審查的 Llama 2 模型,並以相同提示詞比較 7B Llama 2 與 7B llama2-uncensored 的輸出。文中列出 llama2-uncensored、nous-hermes-llama2 和 wizard-vicuna 的執行指令,並提醒未經審查模型有其風險。
Meta 發佈 Llama 2 開放存取大語言模型系列,涵蓋 7B、13B 和 70B 參數規模,採用允許商業用途的社羣授權。Hugging Face Hub 上架 12 個模型,並整合 Transformers、Text Generation Inference 和 Inference Endpoints。
推薦理由:文中把 Llama 2 的商用授權與 Hugging Face 上的推理、部署和 QLoRA 微調方法連在一起,呈現從取得模型到接入開發流程的實用路徑。
Hugging Face Hub 現已託管 fastText 的官方鏡像,涵蓋 157 種語言的詞向量及最新語言識別模型。整合支援文字分類與特徵提取 widgets,亦可透過 `huggingface_hub` 下載及使用模型。
Hugging Face 發佈 StackLLaMA,這是一個以 LLaMA 7B 為基礎、經 RLHF 微調、用於回答 Stack Exchange 問題的模型;完整訓練流程納入 Hugging Face TRL library。文章逐步示範監督式微調、獎勵模型訓練及 PPO 強化學習,並介紹 Stack Exchange 數據的偏好評分與 LoRA 等記憶體效率方法。
推薦理由:文章串聯 SFT、偏好獎勵模型與 PPO 三階段,並示範以 8-bit 載入和 LoRA 降低 RLHF 微調的記憶體需求,呈現可復用的訓練流程。
CNET 推薦 20 份送給大童的禮物,涵蓋耳機、智能手錶、遊戲設備、創意用品及戶外玩具。例子包括 Apple Watch SE 3、Nintendo Switch 2、Fujifilm Instax Mini 12 即影即有相機及 DJI Neo 無人機。
CNET 精選並推薦 27 款 500 美元以下的禮物,涵蓋電子閲讀器、智能眼鏡、運動相機、便攜式顯示器、行李箱和平板電腦。推薦產品包括配備前置燈的 Kindle Scribe、Ray-Ban Meta Gen 2,以及折扣後售價低於 300 美元的 Apple iPad (11th gen)。