Dell Enterprise Hub 支援企業在本地訓練及部署開源模型
Hugging Face 宣佈推出 Dell Enterprise Hub,讓企業透過 Dell 平台在本地訓練和部署開源模型。平台提供包括 Llama 3、Mixtral 和 Gemma 在內的精選開源模型,可按授權或模型大小篩選,並查看模型資訊及適用的 Dell 平台。
Hugging Face 宣佈推出 Dell Enterprise Hub,讓企業透過 Dell 平台在本地訓練和部署開源模型。平台提供包括 Llama 3、Mixtral 和 Gemma 在內的精選開源模型,可按授權或模型大小篩選,並查看模型資訊及適用的 Dell 平台。
Hugging Face 與 Microsoft 宣佈加深合作,擴充 Azure AI Studio 中可一鍵部署的 Hugging Face Collection,並推出 Spaces Dev Mode。
OpenAI 改進 ChatGPT 數據分析功能,加入表格和圖表互動能力。用户可直接從 Google Drive 和 Microsoft OneDrive 添加檔案。
推薦理由:更新將表格與圖表互動、直接從 Google Drive 和 Microsoft OneDrive 添加檔案納入 ChatGPT 數據分析,呈現這次功能改進涵蓋的操作範圍。
Hugging Face 將 KV cache 量化功能加入 Transformers,以較低精度儲存快取,減少長文本生成的記憶體佔用。int4 快取約帶來 x2.5 記憶體節省,品質接近 fp16,但較高 batch size 下生成速度會下降。
Hugging Face 發佈 Transformers Agents 2.0,新增 ReactCodeAgent 和 ReactJsonAgent,能根據過往觀察迭代。框架以簡潔、模組化,以及工具和提示詞透明為設計目標。使用 Llama-3-70B-Instruct 的智能體在完整 GAIA 基準中排名第 4,超越多個基於 GPT-4 的智能體。
推薦理由:文中比較 Code 與 JSON 智能體在不同模型上的表現,並展示 Llama-3-70B-Instruct 智能體於 GAIA 的名次,可作為評估 Agent 架構與模型搭配的具體參照。
Hugging Face 現可讓組織透過 AWS 帳户,在 AWS Marketplace 訂閲並升級至 Enterprise Hub,費用由 AWS 帳户管理。
OpenAI 推出新技術,協助研究人員識別由其工具生成的內容。OpenAI 亦加入 Coalition for Content Provenance and Authenticity Steering Committee,以推動業界標準。
OpenAI 説明其對數據與 AI 的方針,並介紹一款面向創作者及內容所有者的全新 Media Manager。ChatGPT 推出一年多後,AI 正改變人們的生活、工作與學習方式,亦引發關於 AI 時代數據的重要討論;OpenAI 並談及未來方向。
Hugging Face 引入 Artificial Analysis LLM Performance Leaderboard,集中比較逾 100 個無伺服器 LLM API 端點的品質、價格與速度。
推薦理由:榜單把逾 100 個無伺服器 LLM API 端點的品質、價格與速度指標集中呈現,並以多種提示長度和並行查詢組合供工程師比較。
OpenAI 推出 ChatGPT API 和 Whisper API。
OpenAI 宣佈 GPT-4 API 正式開放使用,並表示 GPT-3.5 Turbo、DALL·E 和 Whisper APIs 亦已正式開放。OpenAI 同時公佈 Completions API 舊模型的棄用計劃,稱相關舊模型將於 2024 年初退役。
推薦理由:公告並列 GPT-4 API 等服務的正式可用狀態與 Completions API 舊模型退役安排,讀者可據此辨識不同 API 的變更範圍。
OpenAI 為 API 客户增加企業級支援,涵蓋更多安全功能與控制措施、Assistants API 更新,以及更好管理成本的工具。
Hugging Face 推出 Open CoT Leaderboard,透過比較 LLM 使用與不使用 CoT 提示時的準確率差值,衡量 CoT 帶來的準確率增益。
Ryght 藉助 Hugging Face 的專家支援,打造面向醫療及生命科學領域的生成式 AI 平台。平台採用可插拔 LLM 架構,並整合 TGI、TEI 及 Inference Endpoints,支援模型切換與開源嵌入模型服務。Ryght Preview 已向生命科學從業者公開,並以免費、安全平台提供。
Hugging Face 推出 Deploy on Google Cloud 整合,讓用户可把 Hub 上的開放模型部署至 Vertex AI 或 GKE。所有帶有「text-generation-inference」標籤的模型均獲支援;Vertex Model Garden 提供數百個熱門開放 LLM 的即用測試硬件配置。
推薦理由:這項整合串起 Hugging Face 模型探索與 Google Cloud 部署,並為數百個熱門開放 LLM 提供測試硬件配置,呈現更直接的雲端部署流程。
OpenAI 為微調 API 增添新功能,並擴展自訂模型計劃,提供更多建立自訂模型的方式。新功能旨在讓開發者更能掌控微調。
OpenAI 讓用户無須註冊即可開始使用 ChatGPT。此舉旨在讓更多人更容易體驗 AI 帶來的益處。
推薦理由:這項免註冊安排聚焦 ChatGPT 的使用入口,呈現 OpenAI 如何降低初次體驗 AI 的前置門檻,並讓更多人更容易接觸產品。
OpenAI 分享從 Voice Engine 小規模預覽中汲取的經驗。Voice Engine 是一款用於建立自訂語音的模型。
OpenAI 自上月向全球介紹 Sora 後,一直與藝術家合作,瞭解 Sora 如何在創作過程中為他們提供協助。
Lighthouz AI 與 Hugging Face 推出 Chatbot Guardrails Arena,讓社羣以對抗式對話測試聊天機械人防止敏感資料外洩的能力。
Superhuman 與 OpenAI 以 AI 重新構想電郵體驗,開啟電郵新時代;現有內容未交代具體功能或推出安排。
Hugging Face 推出 TTS Arena,讓用户輸入文字、盲聽兩個文字轉語音模型合成的語音,並投票選出聽起來較自然的一方。模型名稱會在投票提交後揭示,結果將按類似 Elo 評分系統的算法生成公開排行榜,累積足夠票數後模型才會逐步顯示。啟動時納入 ElevenLabs(專有)、MetaVoice、OpenVoice、Pheme、WhisperSpeech 和 XTTS。
Hugging Face 的 PEFT 新增多種面向 LoRA adapter 的合併方法,使用者可透過 `add_weighted_adapter()` 試驗不同組合。
推薦理由:文章逐項比較 cat、linear、SVD、TIES 與 DARE 等 LoRA 合併方法,並整理 rank、density 和 GPU 記憶體需求對實作選擇的影響。
OpenAI 正測試 ChatGPT 記住使用者對話內容的能力,讓未來對話更有幫助。OpenAI 表示,使用者可以控制 ChatGPT 的記憶。
推薦理由:公告説明 ChatGPT 記憶功能的測試用途,並指出使用者可以控制記憶,呈現功能目標與控制權安排。
Hugging Face 宣佈 TGI 自 1.4.0 起提供兼容 OpenAI Chat Completion API 的 Messages API,並將其提供於 Inference Endpoints。
推薦理由:文中以 Python、JavaScript、LangChain 和 LlamaIndex 示範如何沿用 OpenAI 相容介面接入開放模型,並交代 function calling 等限制。
OpenAI 推出 ChatGPT Team,面向各種規模的團隊,提供安全、協作式工作空間,讓團隊在工作中使用 ChatGPT。
OpenAI 介紹 GPT Store。
WHOOP 透過 GPT-4 提供個人化健身與健康指導,將大語言模型應用於健康方案。
Mistral AI 開放 La Plateforme 首批平台服務的 Beta,提供三個文字生成聊天端點及一個嵌入端點,並支援透過 API 呼叫。
推薦理由:平台把不同成本與效能取捨的生成端點,連同嵌入服務及 API 接入放在同一入口,呈現其面向開發者部署的服務組合。
Explosion 推出 Prodigy-HF,將 Prodigy 與 Hugging Face 生態系直接整合,支援以標註資料訓練及重用 Hugging Face 模型。插件可透過命令列微調命名實體識別及文本分類模型,並將訓練模型儲存至磁碟後上載至 Hugging Face Hub。使用者亦可把已標註資料集發佈至 Hugging Face Hub,供社羣共享。
OpenAI 推出 GPTs,用户現在可以建立結合指令、額外知識與任意技能組合的自訂版 ChatGPT。
推薦理由:原文把 GPTs 的自訂方式拆為指令、額外知識與技能組合,讓讀者掌握建立自訂版 ChatGPT 的主要配置維度。
Hugging Face Hub 為 Enterprise Hub 推出 Storage Regions,讓組織選擇模型與資料集的儲存區域。Enterprise Hub 組織可查看現有儲存庫所在區域,並選擇新儲存庫的區域;目前支援 US、EU,亞太區即將推出。
Retool 使用 GPT-4,為企業提供快速、安全地構建 AI 驅動應用程式的方式。
ChatGPT 現可看、聽及説話。
Hugging Face 推出 Inference for PROs,為 PRO 用户開放精選模型的專屬 API 端點,並提高免費 Inference API 的使用速率限制。服務提供可直接使用的 HTTP 端點,方便試驗及原型開發;文章指出它不適合重型生產應用,並建議此類用途使用 Inference Endpoints。
推薦理由:文中列出 PRO 可用的精選模型、端點呼叫方式及服務不適用於重型生產應用的邊界,便於評估其原型測試用途。
OpenAI 推出 ChatGPT Enterprise,提供企業級安全與私隱,並稱其為迄今最強大的 ChatGPT 版本。
Hugging Face 將 AutoGPTQ 整合至 Transformers,支援以 GPTQ 將大語言模型量化至 8、4、3 或 2-bit。4-bit 量化的精度下降可忽略,小批次推理速度與 fp16 基準相若;整合支援 NVIDIA GPU 和 ROCm 驅動的 AMD GPU。
推薦理由:文章列出 4-bit 量化的精度變化與小批次推理速度,並説明 GPU 支援範圍及 TGI 大批次下的速度限制,呈現 GPTQ 的部署取捨。
OpenAI 宣佈 GPT-3.5 Turbo 微調功能及 API 更新。開發者現可使用自備數據,按自身用途定製 GPT-3.5 Turbo。
推薦理由:這項更新讓開發者可用自備數據微調 GPT-3.5 Turbo,呈現其面向不同使用場景的定製方式。
Hugging Face 推出 SafeCoder 企業程式碼助手方案,讓客户在自家基礎設施訓練及部署,程式碼於訓練和推理期間不離開 VPC。SafeCoder 初始版本以 StarCoder 為基礎,可按客户私有程式碼庫微調;程式碼補全建議會對照 The Stack,顯示其是否匹配資料集中的程式碼及相關授權。SafeCoder 與 VMware 合作推出,現向 VMware 企業客户提供。
Hugging Face 將 Hugging Face Hub 上架 AWS Marketplace,組織可透過 AWS 帳户訂閲並支付 Hugging Face 託管服務的用量費用。Inference Endpoints、Spaces Hardware Upgrades 和 AutoTrain 等服務的費用會併入 AWS 帳單,定價與 Hugging Face 公開價格相同。