推出 Prodigy-HF:與 Hugging Face 直接整合
Explosion 推出 Prodigy-HF,將 Prodigy 與 Hugging Face 生態系直接整合,支援以標註資料訓練及重用 Hugging Face 模型。插件可透過命令列微調命名實體識別及文本分類模型,並將訓練模型儲存至磁碟後上載至 Hugging Face Hub。使用者亦可把已標註資料集發佈至 Hugging Face Hub,供社羣共享。
Explosion 推出 Prodigy-HF,將 Prodigy 與 Hugging Face 生態系直接整合,支援以標註資料訓練及重用 Hugging Face 模型。插件可透過命令列微調命名實體識別及文本分類模型,並將訓練模型儲存至磁碟後上載至 Hugging Face Hub。使用者亦可把已標註資料集發佈至 Hugging Face Hub,供社羣共享。
OpenAI 推出 GPTs,用户現在可以建立結合指令、額外知識與任意技能組合的自訂版 ChatGPT。
推薦理由:原文把 GPTs 的自訂方式拆為指令、額外知識與技能組合,讓讀者掌握建立自訂版 ChatGPT 的主要配置維度。
OpenAI 在 DevDay 公佈 GPT-4 Turbo、GPT-4 Turbo with Vision、DALL·E 3 API、新的 Assistants API 等模型與開發者產品。GPT-4 Turbo 配備 128K 上下文窗口,價格較低。
推薦理由:GPT-4 Turbo 的 128K 上下文窗口與較低價格,連同 Vision 及多項 API,勾勒出 DevDay 公佈的模型與開發者產品範圍。
Hugging Face Hub 為 Enterprise Hub 推出 Storage Regions,讓組織選擇模型與資料集的儲存區域。Enterprise Hub 組織可查看現有儲存庫所在區域,並選擇新儲存庫的區域;目前支援 US、EU,亞太區即將推出。
Hugging Face 示範以其 GitHub 組織內按 stargazers 排名前 10 的公開程式碼庫,微調 StarCoder 製作個人化程式碼助手 HugCoder。
推薦理由:文章示範以 Hugging Face 公開程式碼庫微調個人化程式碼助手,並對照 QLoRA 與全量微調的成本和 HumanEval 結果,呈現訓練資源與表現的取捨。
OpenAI 正在制定應對高能力 AI 系統災難性風險的準備方案,以支援此類系統的安全。相關工作包括組建 Preparedness 團隊及發起一項挑戰。
OpenAI 聯同 Anthropic、Google 及 Microsoft 宣佈 Frontier Model Forum 的新任執行董事,並公佈一項新的 $10 million AI Safety Fund。
Renumics Spotlight 可直接讀取 Hugging Face datasets,讓使用者以一行程式碼建立互動式視覺化,檢視資料樣本與羣集。文章以 speech_commands 和 CIFAR-100 示範加入模型預測與嵌入向量,並利用相似度圖、混淆矩陣等視圖分析資料羣集及模型失敗模式。
Hugging Face 在 🤗 Diffusers 中測試多種 SDXL 推理優化方法,並於 A100 GPU(40 GB)比較其記憶體佔用和推理延遲。未優化管線為 28.09GB、72,200.5ms;fp16 + SDPA 降至 21.72GB、11,413.0ms,加入 torch.compile 後延遲為 10,296.7ms。
推薦理由:文章以 A100 測試數據對照 SDXL 加速與省記憶體方案的取捨,並説明 Tiny Autoencoder 可能省略部分圖像細節,提供按硬件限制與生成用途選擇配置的參考。
Retool 使用 GPT-4,為企業提供快速、安全地構建 AI 驅動應用程式的方式。
Mistral AI 發佈 Mistral 7B,這是其首個 7B-parameter 模型;公司稱該模型在所有標準英文及代碼基準上,超越所有目前可用、參數量不超過 13B 的開放模型。
推薦理由:Mistral 7B 的比較對象涵蓋不超過 13B 參數的可用開放模型,文章亦交代 Apache 2.0 授權,便於一併理解其基準定位與開放使用方式。
Mistral AI 發佈 7.3B 參數的 Mistral 7B,稱其在多項基準測試中勝過或追平 Llama 2 13B。模型以 Apache 2.0 授權發佈,團隊亦提供使用公開指令數據微調的 Mistral 7B Instruct 聊天版。
推薦理由:文章以重跑評測比較 Mistral 7B 與 Llama 系列,並説明 SWA 如何降低長序列的推理計算與快取成本。
ChatGPT 現可看、聽及説話。
Hugging Face 推出 Inference for PROs,為 PRO 用户開放精選模型的專屬 API 端點,並提高免費 Inference API 的使用速率限制。服務提供可直接使用的 HTTP 端點,方便試驗及原型開發;文章指出它不適合重型生產應用,並建議此類用途使用 Inference Endpoints。
推薦理由:文中列出 PRO 可用的精選模型、端點呼叫方式及服務不適用於重型生產應用的邊界,便於評估其原型測試用途。
OpenAI 宣佈公開招募 OpenAI Red Teaming Network 成員,邀請有意協助提升 OpenAI 模型安全性的領域專家加入。
OpenAI 透過在愛爾蘭都柏林設立辦公室,擴大其在歐洲的業務佈局。
OpenAI 將於 11 月 6 日在三藩市舉行首屆開發者大會。現場出席的報名將於未來數週開放,全球各地的開發者均可觀看主題演講直播。
OpenAI 發佈一份供教師在課堂使用 ChatGPT 的指南。指南涵蓋建議提示詞、ChatGPT 的運作方式與限制、AI 偵測器的效能,以及偏見。
Hugging Face Blog 示範在 Diffusers 中優化 AudioLDM 2 推理,將 10.24 秒音頻樣本的生成時間由約 14 秒縮短至不足 1 秒,音質下降幅度輕微。
OpenAI 推出 ChatGPT Enterprise,提供企業級安全與私隱,並稱其為迄今最強大的 ChatGPT 版本。
Code Llama 推出 7B、13B 和 34B 參數版本,是以 Llama 2 為基礎、專攻編碼任務的模型家族。基礎模型以 500 billion tokens 的程式碼資料訓練,另有 Python 專用版和指令微調版;模型採用與 Llama 2 相同的社羣授權,可商用。
推薦理由:文章並列 7B、13B、34B 參數規模、Python 與指令微調變體,以及 Hugging Face 接入方式,便於比較模型選擇和部署路徑。
OpenAI 與 Scale 合作,為希望微調模型的企業提供支援。OpenAI 客户可藉助 Scale 的 AI 專業知識,自訂 OpenAI 最先進的模型。
Hugging Face 將 AutoGPTQ 整合至 Transformers,支援以 GPTQ 將大語言模型量化至 8、4、3 或 2-bit。4-bit 量化的精度下降可忽略,小批次推理速度與 fp16 基準相若;整合支援 NVIDIA GPU 和 ROCm 驅動的 AMD GPU。
推薦理由:文章列出 4-bit 量化的精度變化與小批次推理速度,並説明 GPU 支援範圍及 TGI 大批次下的速度限制,呈現 GPTQ 的部署取捨。
OpenAI 宣佈 GPT-3.5 Turbo 微調功能及 API 更新。開發者現可使用自備數據,按自身用途定製 GPT-3.5 Turbo。
推薦理由:這項更新讓開發者可用自備數據微調 GPT-3.5 Turbo,呈現其面向不同使用場景的定製方式。
Hugging Face 推出 SafeCoder 企業程式碼助手方案,讓客户在自家基礎設施訓練及部署,程式碼於訓練和推理期間不離開 VPC。SafeCoder 初始版本以 StarCoder 為基礎,可按客户私有程式碼庫微調;程式碼補全建議會對照 The Stack,顯示其是否匹配資料集中的程式碼及相關授權。SafeCoder 與 VMware 合作推出,現向 VMware 企業客户提供。
Hugging Face 發佈 IDEFICS,作為 Flamingo 的開放取用復現模型,可接收圖像與文字序列並生成文字。模型提供 9B 和 80B 規模及對話用途的 instruct 版本,訓練資料包括 Wikipedia、Public Multimodal Dataset、LAION 和 115B tokens 的 OBELICS。
推薦理由:IDEFICS 同時交代訓練資料、互動式資料集瀏覽工具、對抗提示評估與基礎模型授權,呈現開放多模態模型的建構和使用邊界。
OpenAI 收購 Global Illumination,該公司的整個團隊已加入 OpenAI。
Hugging Face 將 Hugging Face Hub 上架 AWS Marketplace,組織可透過 AWS 帳户訂閲並支付 Hugging Face 託管服務的用量費用。Inference Endpoints、Spaces Hardware Upgrades 和 AutoTrain 等服務的費用會併入 AWS 帳單,定價與 Hugging Face 公開價格相同。
教程提供以生成式 AI 製作 PS1 風格 3D 資產的逐步流程,從 Shap-E 依文字生成模型,到在 Unity 中查看成品。流程包括用 Blender 將模型減面、以 Dream Textures 生成貼圖、完成 UV 展開並匯出 FBX;文中説明,PS1 風格較能包容現階段文字生成 3D 模型的低保真表現。
Segmind 開源 SD-Small 與 SD-Tiny 的知識蒸餾程式碼及預訓練權重;兩款模型參數量分別較基礎模型少 35% 和 55%,圖像保真度相若。兩者推理速度最高較基礎模型快 100%,預訓練檢查點可於 Hugging Face 取得。模型仍處早期階段,輸出未必達生產級,且在組合性與多概念生成方面表現有限。
OpenAI 正籌組 Frontier Model Forum,建立新的業界組織,旨在促進前沿 AI 系統安全、負責任地發展。該組織將推進 AI 安全研究、識別最佳做法與標準,並促進政策制定者和業界之間的資訊共享。
Hugging Face 與 Creative Commons、Eleuther AI、GitHub、LAION 及 Open Future 聯署立場文件,針對 EU AI Act 提出五項開放式 ML 發展建議。
推薦理由:文件把開放式 ML 的模組化協作、透明度與法案要求相連,並將建議落在 AI 元件、研發豁免和基礎模型等條文安排。
OpenAI 與其他領先 AI 實驗室透過自願承諾,強化 AI 安全性、保安性及可信賴性,藉此推進 AI 治理。
OpenAI 正推出自訂指示功能,讓使用者更能掌控 ChatGPT 的回應方式。設定偏好後,ChatGPT 會在之後所有對話中記住這些偏好。
推薦理由:內容交代自訂指示如何把使用者設定的回應偏好延續至之後所有對話,呈現 ChatGPT 個人化回應的設定方式與適用範圍。
OpenAI 與 American Journalism Project 展開一項 $5+ million 合作,探索人工智能發展如何支持蓬勃、創新的本地新聞業。合作亦旨在確保本地新聞機構能塑造這項新興技術的未來。
Meta 發佈 Llama 2 開放存取大語言模型系列,涵蓋 7B、13B 和 70B 參數規模,採用允許商業用途的社羣授權。Hugging Face Hub 上架 12 個模型,並整合 Transformers、Text Generation Inference 和 Inference Endpoints。
推薦理由:文中把 Llama 2 的商用授權與 Hugging Face 上的推理、部署和 QLoRA 微調方法連在一起,呈現從取得模型到接入開發流程的實用路徑。
Hugging Face Blog 作者以 Transformers.js 製作 Doodle Dash,並示範如何構建可在瀏覽器本地運行的即時機器學習遊戲。遊戲模型以 Google Quick, Draw!
推薦理由:文章串連 Quick, Draw! 數據微調、ONNX 轉換與 Transformers.js 瀏覽器推理,呈現把圖像分類模型接入即時網頁遊戲的實作路徑。
Hugging Face Blog 示範如何使用 Hugging Face Inference Endpoints 部署開源 LLM,並以 API 提供服務。示範以 Falcon 40B instruct 建立端點、測試生成參數,並透過 Python 和 JavaScript 串流生成結果。
Jeff Boudier 與 Writer 聯合創辦人兼 CTO Waseem Alshikh 對談,探討 Writer 運用 Hugging Face 處理複雜生成式 AI 用例。
OpenAI 分享其在 22 個國家的交流中學到的內容,並説明未來將如何納入這些見解。