OpenAI 推出 ChatGPT search
OpenAI 推出 ChatGPT search,提供快速、及時的答案,並附上相關網頁來源連結。
推薦理由:ChatGPT search 提供快速、及時的答案並附相關網頁來源連結,材料呈現了它的核心搜尋回答形式。
OpenAI 推出 ChatGPT search,提供快速、及時的答案,並附上相關網頁來源連結。
推薦理由:ChatGPT search 提供快速、及時的答案並附相關網頁來源連結,材料呈現了它的核心搜尋回答形式。
Google DeepMind 與 Hugging Face 宣佈在 Transformers v4.46.0 推出 SynthID Text,讓生成時可加入文字水印,並透過分類器檢測水印。
推薦理由:文章梳理 SynthID Text 從生成端配置到分類器訓練的部署流程,並説明改寫、翻譯與事實性回答對水印效果的限制,便於評估適用場景。
dottxt 與 Hugging Face 合作推出 outlines-core,將 Outlines 的結構化生成核心算法移植至 Rust。項目現已公開並整合至 outlines,Python 綁定版本 0.1.0 已推出,索引編譯速度平均提升 2x。輕量化核心讓其他程式庫更易整合結構化生成,亦可建立 Python 以外語言的綁定。
Hugging Face 發佈 Transformers.js v3,新增 WebGPU 支援和量化格式選擇,支援架構總數增至 120 種。官方稱 WebGPU 最高可比 WASM 快 100 倍;此版本另提供 25 個示例專案與範本,以及超過 1200 個已轉換模型。
推薦理由:這次更新把 WebGPU、量化格式選擇及 120 種架構納入同一 JavaScript 庫,並兼容 Node.js、Deno、Bun,展示其瀏覽器與伺服器端部署路徑。
Gradio 5 推出穩定版,讓開發者可用 Python 建構面向生產環境的機器學習網頁應用,並改進效能、介面、即時串流及網絡安全。
推薦理由:Gradio 5 將 SSR、低延遲串流與網絡安全改進納入穩定版,並交代 Gradio 4.x 應用的相容條件,方便開發者評估升級影響。
OpenAI 推出 canvas,將其介紹為使用 ChatGPT 寫作與編碼的新方式。
OpenAI 推出 Realtime API,開發者現可在應用程式中構建快速語音到語音體驗。
OpenAI 為微調 API 加入圖像支援,開發者現在可用圖像與文本微調 GPT-4o。此功能旨在提升 GPT-4o 的視覺能力。
推薦理由:這項更新把圖像納入 GPT-4o 的微調資料,並可與文本一同使用,讓開發者能用兩種資料形式針對視覺能力進行調整。
OpenAI 在 API 提供 Prompt Caching,對模型近期見過的輸入自動提供折扣。詳情見 https://openai.com/index/api-prompt-caching
推薦理由:這項功能將模型近期見過的輸入與自動折扣直接連結,讓讀者瞭解 API 對重複輸入的費用處理方式。
OpenAI 的 API 模型蒸餾可在 OpenAI 平台上,使用大型前沿模型的輸出微調較具成本效益的模型。
推薦理由:這項 API 流程把大型前沿模型的輸出用於微調較具成本效益的模型,概述了在 OpenAI 平台內進行模型蒸餾的基本做法。
OpenAI 以基於 GPT-4o 的全新多模態審核模型升級 Moderation API,提升對有害文字和圖像的檢測準確度。此模型可協助開發者建立更穩健的審核系統。
明尼蘇達州企業翻譯辦公室使用 ChatGPT 跨越語言隔閡。
NERL 是致力推進具身基礎模型與大型資料集的開源社羣,目標是建立持續增長的資料、模型及基準測試生態。項目整合網絡、模擬及真實機械人資料,並提供涵蓋資料處理、模型訓練與評估的端到端工具套件及排行榜。NERL 正準備 Robo-VLM,這款具身多模態語言模型可接收圖像、影片、3D 場景及關鍵點,輸出文字回答與策略規劃。
Mercado Libre 推出名為 Verdi 的 AI 開發者平台,平台由 GPT-4o 驅動。原文未説明平台的功能細節或開放方式。
GPT-4 用於改善巴西的教學與學習,主題聚焦當地教育中的教學與學習提升。現有內容未交代具體做法或成效。
Mistral AI 公佈多項更新,包括 Mistral Small v24.09、la Plateforme 免費層、模型降價及 le Chat 免費提供 Pixtral 12B 圖像理解。
推薦理由:免費層涵蓋開發者的實驗、評估與原型製作,價格表亦列出模型新舊費率及降幅,呈現試用門檻和 API 成本的變化。
Hugging Face 在 Hub 的資料集頁面推出 SQL Console,讓用户直接在瀏覽器以 SQL 查詢和篩選資料集。它由 DuckDB WASM 驅動,不需伺服器或後端;非 Parquet 格式的資料集會自動轉換前 5GB,查詢結果可匯出為 Parquet,公開資料集的結果亦可透過連結分享。
推薦理由:SQL Console 以 DuckDB WASM 在瀏覽器查詢資料集,並示範用 SQL 將 Alpaca 格式轉為對話格式,提供一個可參照的資料整理流程。
HuggingChat 推出 Community Tools,讓使用者可把 Hugging Face 上的公開 Space 轉成模型可直接調用的工具。這些工具可用於理解圖片、生成影片或文字轉語音,也可建立文件 RAG 工具。建立助手時最多可選 3 個工具;該功能目前仍屬實驗階段。
推薦理由:文章展示如何把公開 Space、自建 Gradio 工具和文件 RAG 接入 HuggingChat,並在助手中組合最多 3 個工具,提供從建立到配置的實操路徑。
Hugging Face 發佈 Accelerate 1.0.0 首批候選版本,供社羣在正式版推出前試用及遷移。文章列出多項棄用項目及替代寫法,並提供 `pip install --pre accelerate` 試用方式。Accelerate 支援 CPU、GPU、TPU、XPU、NPU、MLU 六類硬件加速器,並可維持 99% 原有訓練迴圈。
OpenAI 現已開放 GPT-4o 微調。
Hugging Face 在 Transformers 中提供統一工具調用 API,讓同一套程式碼可跨多個熱門模型系列使用。API 支援 Mistral、Cohere、NousResearch 和 Llama;Transformers 亦加入輔助功能、完整文件與範例,並可將 Python 函式自動轉為 JSON schema。
推薦理由:文章説明統一 API 如何簡化工具定義與聊天紀錄格式,也交代模型輸出的工具呼叫仍需自行解析,呈現目前統一機制的範圍與缺口。
Mistral AI 宣佈在 La Plateforme 開放旗下旗艦及專用模型自訂,並推出 Agents 早期版本及 mistralai 1.0 客户端 SDK。
推薦理由:這次發布把模型自訂、Agents 工作流程與客户端 SDK 更新並列,呈現 Mistral AI 如何涵蓋應用構建中的模型調整、流程編排和程式接入環節。
OpenAI 在 API 中推出 Structured Outputs,模型輸出現在可可靠遵循開發者提供的 JSON Schema。
推薦理由:這項 API 更新説明 Structured Outputs 的核心作用,讓模型輸出可靠遵循開發者提供的 JSON Schema。
DeepSeek API 採用硬碟快取技術,並表示價格因此再降低一個數量級。更新詳情見文件「Context Caching is Available」,日期為 2024/08/02。
OpenAI 正測試 SearchGPT,作為全新 AI 搜尋功能的臨時原型。它提供快速、即時的答案,並附上清晰且相關的來源。
DeepSeek 更新 API,為 `/chat/completions` 加入 JSON Mode、Function Calling、Chat Prefix Completion(Beta)及 8K max_tokens(Beta),並為 `/completions` 加入 FIM Completion(Beta)。
Hugging Face 的 TGI 推出 Multi-LoRA serving,讓單一基礎模型可按請求動態選用不同 LoRA adapter,以一個部署服務多個微調模型。文中以 mistralai/Mistral-7B-v0.1 示範,載入 30 個 adapter 時 VRAM 增幅為 3%;實際可載入數量取決於 GPU 資源和所部署模型。
推薦理由:文章以 TGI 的部署及調用示例,展示單一基礎模型按請求選用不同 LoRA adapter 的做法,並比較多模型部署的成本與擴展管理。
OpenAI 為 ChatGPT Enterprise 新增合規與管理工具,支援大規模合規計劃、資料安全及使用者存取管理。工具包括 Compliance API 整合、SCIM 及 GPT 控制項。
Hugging Face 與 KerasHub 宣佈共用模型保存格式,讓 Hugging Face Hub 上部分 Transformers 模型可直接載入 KerasHub。首批涵蓋 Gemma 1、Gemma 2、Llama 3 和 PaliGemma;KerasHub 可透過 TensorFlow、JAX 或 PyTorch 後端運行這些模型。
推薦理由:共享模型保存格式讓受支援架構的 Transformers 模型可直接載入 KerasHub,並透過 TensorFlow、JAX 或 PyTorch 後端運行,呈現跨框架使用的實際路徑。
Hugging Face 正在 Dataset Hub 試驗 Presidio 報告功能,估算資料集內個人識別資訊(PII)的存在情況。Presidio 是開源 PII 偵測工具,透過偵測模式和機器學習模型識別 PII;報告可供使用者在訓練前評估資料集,也讓擁有者檢查 PII 過濾流程。示例報告在預訓練資料集中偵測到少量電郵地址及敏感 PII。
Hugging Face 宣佈,Google Cloud TPU v5e 現已支援 Inference Endpoints 和 Spaces,可用於部署生成式 AI 模型及運行 AI 示範應用。
Hugging Face 宣佈為 Dataset Search 加入四項功能,支援按資料模態、行數、格式及相容 library 篩選資料集。行數可設定最低和最高值;對於 metadata 未列出行數的超大型資料集,系統會根據前 5GB 內容估算總行數。新篩選條件可與 Language、Tasks、Licenses 及文字搜尋組合使用。
Color Health 正與 OpenAI 合作,探索運用 GPT-4o 加快癌症患者獲得治療的新方式。其 Cancer Copilot 應用程式可識別缺失的診斷項目並制定個人化檢查方案,協助醫療提供者就癌症篩查與治療作出循證決策。
Hugging Face 在 TRL 引入 RLOO Trainer,這是一種較 PPO 更易實作、較省 GPU 記憶體的線上 RLHF 訓練方法。測試顯示,RLOO 約比 PPO 少用 50–70% vRAM,1B 模型快 2 倍、6.9B 模型最高快 3 倍;6.9B checkpoint 的 GPT4 評審偏好率為 78.7%(k=2)。
推薦理由:文章對照 RLOO 與 PPO 的 GPU 記憶體用量、訓練速度及回答勝率,並披露 bf16 下 RLOO 有較多批次資料的梯度被清零。
Hugging Face 計劃重新設計 Transformers 文件,令內容更貼合開發者需要,並改善導覽與內容整合。文件原為機器學習工程師與研究人員而寫,後隨文本、LLM及優化等階段逐步擴充,造成內容分散、結構僵化和導覽困難。重設方向是以程式碼示例和解決方案為先,結合初階機器學習概念,並採用可自然擴展的靈活架構。
Hugging Face 宣佈 Embedding Container for Amazon SageMaker 正式 GA,AWS 客户可在 SageMaker 部署嵌入向量模型,支援包括 RAG 在內的生成式 AI 應用。
Mistral AI 在 la Plateforme 推出模型客製化方案,提供自有基礎設施微調 SDK、無伺服器微調服務和客製訓練三種入口。開源工具 mistral-finetune 採用 LoRA 訓練範式;平台微調服務目前支援 Mistral 7B 和 Mistral Small,並使用 LoRA adapters,以保留基礎模型知識及提升服務效率。
推薦理由:Mistral AI 同時提供開源微調 SDK、la Plateforme 無伺服器微調服務及客製訓練,呈現不同基礎設施與資料需求下的模型調整途徑。
Cubzh 與 Gigax 推出 NPC-Playground,讓玩家在瀏覽器的 3D 場景中與 LLM 驅動的 NPC 互動,並用 Lua 腳本教授新技能。Gigax 已開源推理堆疊;示範所用模型託管於雲端,微調版 Phi-3 和 Mistral-7B 可從 🤗 Hub 下載。
Hugging Face 為 Intel Gaudi 適配並優化輔助生成,並將支援納入 Optimum Habana。該方法先由草稿模型生成 K 個 tokens,再交由目標模型評估;大型 Transformer 模型通常可提速約 2x,並維持與自回歸採樣相同的採樣品質。
OpenAI 推出新計劃,旨在提升非牟利機構使用其工具的可及性,並為 ChatGPT Team 和 Enterprise 提供折扣。