Hugging Face 與 Lighthouz AI 推出 Chatbot Guardrails Arena,測試聊天機械人私隱防護
Lighthouz AI 與 Hugging Face 推出 Chatbot Guardrails Arena,讓社羣以對抗式對話測試聊天機械人防止敏感資料外洩的能力。
Lighthouz AI 與 Hugging Face 推出 Chatbot Guardrails Arena,讓社羣以對抗式對話測試聊天機械人防止敏感資料外洩的能力。
Superhuman 與 OpenAI 以 AI 重新構想電郵體驗,開啟電郵新時代;現有內容未交代具體功能或推出安排。
Hugging Face 推出 TTS Arena,讓用户輸入文字、盲聽兩個文字轉語音模型合成的語音,並投票選出聽起來較自然的一方。模型名稱會在投票提交後揭示,結果將按類似 Elo 評分系統的算法生成公開排行榜,累積足夠票數後模型才會逐步顯示。啟動時納入 ElevenLabs(專有)、MetaVoice、OpenVoice、Pheme、WhisperSpeech 和 XTTS。
Hugging Face 的 PEFT 新增多種面向 LoRA adapter 的合併方法,使用者可透過 `add_weighted_adapter()` 試驗不同組合。
推薦理由:文章逐項比較 cat、linear、SVD、TIES 與 DARE 等 LoRA 合併方法,並整理 rank、density 和 GPU 記憶體需求對實作選擇的影響。
OpenAI 正測試 ChatGPT 記住使用者對話內容的能力,讓未來對話更有幫助。OpenAI 表示,使用者可以控制 ChatGPT 的記憶。
推薦理由:公告説明 ChatGPT 記憶功能的測試用途,並指出使用者可以控制記憶,呈現功能目標與控制權安排。
Hugging Face 宣佈 TGI 自 1.4.0 起提供兼容 OpenAI Chat Completion API 的 Messages API,並將其提供於 Inference Endpoints。
推薦理由:文中以 Python、JavaScript、LangChain 和 LlamaIndex 示範如何沿用 OpenAI 相容介面接入開放模型,並交代 function calling 等限制。
OpenAI 推出 ChatGPT Team,面向各種規模的團隊,提供安全、協作式工作空間,讓團隊在工作中使用 ChatGPT。
OpenAI 介紹 GPT Store。
WHOOP 透過 GPT-4 提供個人化健身與健康指導,將大語言模型應用於健康方案。
Mistral AI 開放 La Plateforme 首批平台服務的 Beta,提供三個文字生成聊天端點及一個嵌入端點,並支援透過 API 呼叫。
推薦理由:平台把不同成本與效能取捨的生成端點,連同嵌入服務及 API 接入放在同一入口,呈現其面向開發者部署的服務組合。
Explosion 推出 Prodigy-HF,將 Prodigy 與 Hugging Face 生態系直接整合,支援以標註資料訓練及重用 Hugging Face 模型。插件可透過命令列微調命名實體識別及文本分類模型,並將訓練模型儲存至磁碟後上載至 Hugging Face Hub。使用者亦可把已標註資料集發佈至 Hugging Face Hub,供社羣共享。
OpenAI 推出 GPTs,用户現在可以建立結合指令、額外知識與任意技能組合的自訂版 ChatGPT。
推薦理由:原文把 GPTs 的自訂方式拆為指令、額外知識與技能組合,讓讀者掌握建立自訂版 ChatGPT 的主要配置維度。
Hugging Face Hub 為 Enterprise Hub 推出 Storage Regions,讓組織選擇模型與資料集的儲存區域。Enterprise Hub 組織可查看現有儲存庫所在區域,並選擇新儲存庫的區域;目前支援 US、EU,亞太區即將推出。
Retool 使用 GPT-4,為企業提供快速、安全地構建 AI 驅動應用程式的方式。
ChatGPT 現可看、聽及説話。
Hugging Face 推出 Inference for PROs,為 PRO 用户開放精選模型的專屬 API 端點,並提高免費 Inference API 的使用速率限制。服務提供可直接使用的 HTTP 端點,方便試驗及原型開發;文章指出它不適合重型生產應用,並建議此類用途使用 Inference Endpoints。
推薦理由:文中列出 PRO 可用的精選模型、端點呼叫方式及服務不適用於重型生產應用的邊界,便於評估其原型測試用途。
OpenAI 推出 ChatGPT Enterprise,提供企業級安全與私隱,並稱其為迄今最強大的 ChatGPT 版本。
Hugging Face 將 AutoGPTQ 整合至 Transformers,支援以 GPTQ 將大語言模型量化至 8、4、3 或 2-bit。4-bit 量化的精度下降可忽略,小批次推理速度與 fp16 基準相若;整合支援 NVIDIA GPU 和 ROCm 驅動的 AMD GPU。
推薦理由:文章列出 4-bit 量化的精度變化與小批次推理速度,並説明 GPU 支援範圍及 TGI 大批次下的速度限制,呈現 GPTQ 的部署取捨。
OpenAI 宣佈 GPT-3.5 Turbo 微調功能及 API 更新。開發者現可使用自備數據,按自身用途定製 GPT-3.5 Turbo。
推薦理由:這項更新讓開發者可用自備數據微調 GPT-3.5 Turbo,呈現其面向不同使用場景的定製方式。
Hugging Face 推出 SafeCoder 企業程式碼助手方案,讓客户在自家基礎設施訓練及部署,程式碼於訓練和推理期間不離開 VPC。SafeCoder 初始版本以 StarCoder 為基礎,可按客户私有程式碼庫微調;程式碼補全建議會對照 The Stack,顯示其是否匹配資料集中的程式碼及相關授權。SafeCoder 與 VMware 合作推出,現向 VMware 企業客户提供。
Hugging Face 將 Hugging Face Hub 上架 AWS Marketplace,組織可透過 AWS 帳户訂閲並支付 Hugging Face 託管服務的用量費用。Inference Endpoints、Spaces Hardware Upgrades 和 AutoTrain 等服務的費用會併入 AWS 帳單,定價與 Hugging Face 公開價格相同。
OpenAI 正推出自訂指示功能,讓使用者更能掌控 ChatGPT 的回應方式。設定偏好後,ChatGPT 會在之後所有對話中記住這些偏好。
推薦理由:內容交代自訂指示如何把使用者設定的回應偏好延續至之後所有對話,呈現 ChatGPT 個人化回應的設定方式與適用範圍。
OpenAI 宣佈 API 更新,內容包括更可控的模型、函數調用能力、更長上下文及更低價格。
推薦理由:更新同時涵蓋 API 模型的可控性、函數調用、上下文長度與價格,讀者可從能力與成本兩方面掌握這次調整的範圍。
Hugging Face Hub 新增 DuckDB 整合,讓使用者可用 SQL 分析 Hub 上逾 50,000 個資料集。Dataset Viewer 會將 Hub 上所有公開資料集自動轉為 Parquet,檔案 URL 可透過 `/parquet` endpoint 取得。
推薦理由:這項整合把 Hub 公開資料集自動轉為 Parquet,並讓 DuckDB 對遠端檔案執行 SQL,提供直接探索資料集內容的操作路徑。
Hugging Face Hub 現已託管 fastText 的官方鏡像,涵蓋 157 種語言的詞向量及最新語言識別模型。整合支援文字分類與特徵提取 widgets,亦可透過 `huggingface_hub` 下載及使用模型。
Hugging Face 推出適用於 Amazon SageMaker 的 LLM Inference DLC,讓用户在安全、受管理的環境中部署開源 LLM。文章以 Open Assistant 12B 示範使用 ml.g5.12xlarge(4 張 NVIDIA A10G GPU、96GB GPU 記憶體)部署模型、執行推理並建立 Gradio 聊天介面。
Hugging Face 與 Microsoft 將 Hugging Face Hub 的開源模型目錄原生整合至 Azure Machine Learning Studio,讓用户可將模型部署到受管端點。
Hugging Face、EleutherAI 與 Stability AI 完成 safetensors 外部安全審計,未發現可導致任意程式碼執行的嚴重漏洞。
推薦理由:審計未發現可導致任意程式碼執行的嚴重漏洞,並修正規格與驗證問題,讓團隊推進 safetensors 成為預設格式有了外部檢查依據。
OpenAI 推出 iOS 版 ChatGPT app,讓用户可在 iOS 裝置使用 ChatGPT。應用支援對話同步和語音輸入,並帶來 OpenAI 最新模型改進。
推薦理由:公告列出對話同步、語音輸入及最新模型改進,呈現 iOS 版 ChatGPT app 在對話延續與語音使用上的主要變化。
ChatGPT 用户現可關閉聊天記錄,選擇哪些對話可用於訓練模型。
推薦理由:原文把關閉聊天記錄與對話訓練用途選擇連在一起,具體呈現 ChatGPT 用户管理資料使用方式。
Hugging Face 推出中文博客 hf.co/blog/zh,面向中文讀者提供文章及學習資源。志願者翻譯的內容包括博客文章,以及關於 Transformers、擴散模型和強化學習的完整課程。Hugging Face 表示會繼續與中國 AI 社羣合作,並在博客分享社羣進展和未來合作消息。
OpenAI 為 ChatGPT 加入初步插件支援,插件可協助 ChatGPT 存取最新資訊、執行計算或使用第三方服務。插件是專為語言模型設計、以安全為核心原則的工具。
推薦理由:ChatGPT 初步支援以安全為核心原則的插件,涵蓋最新資訊、計算及第三方服務,呈現模型透過外部工具擴展能力的方式。
Khan Academy 在一項有限範圍的試點計劃中,探索 GPT-4 為課堂虛擬教育提供支援的潛力。
Be My Eyes 使用 GPT-4 推動視覺無障礙體驗轉型。
Hugging Face 發佈 trl 與 peft 整合,介紹以 RLHF 在 24GB 消費級 GPU 上微調 20B 大語言模型的方法。示例以 gpt-neox-20b 為基礎,結合 8-bit 載入與 PEFT 低秩適配器,並透過停用適配器讓同一模型提供參考與當前 logits。
推薦理由:文章拆解 8-bit 載入、PEFT 低秩適配器與共用參考模型的組合,呈現降低 RLHF 微調大型模型顯存需求的實作思路。
Hugging Face 的 Diffusers for Mac 1.1 已在 Mac App Store 提供,更新效能與介面,並會按電腦自動選擇加速器。文中稱,視乎電腦配置,文字生成圖像速度最高可達原來的兩倍;測試列出 GPU 與 ANE 在不同 Mac 上的表現。
推薦理由:文章按多款 Mac 和 Stable Diffusion 型號列出 GPU、ANE 的生成基準,並指出 M1 Max 上 GPU 較快、標準 M1 上 ANE 較快,呈現加速器選擇受硬件配置影響。
Hugging Face 推出 🤗 PEFT 函式庫,整合 🤗 Transformers 與 🤗 Accelerate,支援以參數高效微調大型語言模型。該方法凍結預訓練模型的大部分參數,只訓練少量參數並保存增量權重,以降低計算和儲存成本,同時達到與完整微調相若的效能。文中 LoRA 範例為 bigscience/T0_3B 保存的 adapter_model.bin 僅 19MB。
推薦理由:文章以 LoRA 範例展示 🤗 PEFT 如何接入 🤗 Transformers 的微調流程,並説明只保存增量權重可減少儲存負擔,另交代訓練參數設定與權重載入方式。
Hugging Face 推出開源工具 AI vs. AI,透過多智能體對戰和 ELO 排名評估強化學習模型的相對實力。
OpenAI 推出 ChatGPT 的試行訂閲計劃 ChatGPT Plus。ChatGPT 是一款對話式 AI,可與用户交談、回答後續問題,並質疑錯誤假設。
OpenAI 推出一款經訓練、用於區分 AI 撰寫文字與人類撰寫文字的分類器。