ChatGPT 推出自訂指示功能,讓回應偏好延續至後續對話
OpenAI 正推出自訂指示功能,讓使用者更能掌控 ChatGPT 的回應方式。設定偏好後,ChatGPT 會在之後所有對話中記住這些偏好。
推薦理由:內容交代自訂指示如何把使用者設定的回應偏好延續至之後所有對話,呈現 ChatGPT 個人化回應的設定方式與適用範圍。
OpenAI 正推出自訂指示功能,讓使用者更能掌控 ChatGPT 的回應方式。設定偏好後,ChatGPT 會在之後所有對話中記住這些偏好。
推薦理由:內容交代自訂指示如何把使用者設定的回應偏好延續至之後所有對話,呈現 ChatGPT 個人化回應的設定方式與適用範圍。
OpenAI 宣佈 API 更新,內容包括更可控的模型、函數調用能力、更長上下文及更低價格。
推薦理由:更新同時涵蓋 API 模型的可控性、函數調用、上下文長度與價格,讀者可從能力與成本兩方面掌握這次調整的範圍。
Hugging Face Hub 新增 DuckDB 整合,讓使用者可用 SQL 分析 Hub 上逾 50,000 個資料集。Dataset Viewer 會將 Hub 上所有公開資料集自動轉為 Parquet,檔案 URL 可透過 `/parquet` endpoint 取得。
推薦理由:這項整合把 Hub 公開資料集自動轉為 Parquet,並讓 DuckDB 對遠端檔案執行 SQL,提供直接探索資料集內容的操作路徑。
Hugging Face Hub 現已託管 fastText 的官方鏡像,涵蓋 157 種語言的詞向量及最新語言識別模型。整合支援文字分類與特徵提取 widgets,亦可透過 `huggingface_hub` 下載及使用模型。
Hugging Face 推出適用於 Amazon SageMaker 的 LLM Inference DLC,讓用户在安全、受管理的環境中部署開源 LLM。文章以 Open Assistant 12B 示範使用 ml.g5.12xlarge(4 張 NVIDIA A10G GPU、96GB GPU 記憶體)部署模型、執行推理並建立 Gradio 聊天介面。
Hugging Face 與 Microsoft 將 Hugging Face Hub 的開源模型目錄原生整合至 Azure Machine Learning Studio,讓用户可將模型部署到受管端點。
Hugging Face、EleutherAI 與 Stability AI 完成 safetensors 外部安全審計,未發現可導致任意程式碼執行的嚴重漏洞。
推薦理由:審計未發現可導致任意程式碼執行的嚴重漏洞,並修正規格與驗證問題,讓團隊推進 safetensors 成為預設格式有了外部檢查依據。
OpenAI 推出 iOS 版 ChatGPT app,讓用户可在 iOS 裝置使用 ChatGPT。應用支援對話同步和語音輸入,並帶來 OpenAI 最新模型改進。
推薦理由:公告列出對話同步、語音輸入及最新模型改進,呈現 iOS 版 ChatGPT app 在對話延續與語音使用上的主要變化。
ChatGPT 用户現可關閉聊天記錄,選擇哪些對話可用於訓練模型。
推薦理由:原文把關閉聊天記錄與對話訓練用途選擇連在一起,具體呈現 ChatGPT 用户管理資料使用方式。
Hugging Face 推出中文博客 hf.co/blog/zh,面向中文讀者提供文章及學習資源。志願者翻譯的內容包括博客文章,以及關於 Transformers、擴散模型和強化學習的完整課程。Hugging Face 表示會繼續與中國 AI 社羣合作,並在博客分享社羣進展和未來合作消息。
OpenAI 為 ChatGPT 加入初步插件支援,插件可協助 ChatGPT 存取最新資訊、執行計算或使用第三方服務。插件是專為語言模型設計、以安全為核心原則的工具。
推薦理由:ChatGPT 初步支援以安全為核心原則的插件,涵蓋最新資訊、計算及第三方服務,呈現模型透過外部工具擴展能力的方式。
Khan Academy 在一項有限範圍的試點計劃中,探索 GPT-4 為課堂虛擬教育提供支援的潛力。
Be My Eyes 使用 GPT-4 推動視覺無障礙體驗轉型。
Hugging Face 發佈 trl 與 peft 整合,介紹以 RLHF 在 24GB 消費級 GPU 上微調 20B 大語言模型的方法。示例以 gpt-neox-20b 為基礎,結合 8-bit 載入與 PEFT 低秩適配器,並透過停用適配器讓同一模型提供參考與當前 logits。
推薦理由:文章拆解 8-bit 載入、PEFT 低秩適配器與共用參考模型的組合,呈現降低 RLHF 微調大型模型顯存需求的實作思路。
Hugging Face 的 Diffusers for Mac 1.1 已在 Mac App Store 提供,更新效能與介面,並會按電腦自動選擇加速器。文中稱,視乎電腦配置,文字生成圖像速度最高可達原來的兩倍;測試列出 GPU 與 ANE 在不同 Mac 上的表現。
推薦理由:文章按多款 Mac 和 Stable Diffusion 型號列出 GPU、ANE 的生成基準,並指出 M1 Max 上 GPU 較快、標準 M1 上 ANE 較快,呈現加速器選擇受硬件配置影響。
Hugging Face 推出 🤗 PEFT 函式庫,整合 🤗 Transformers 與 🤗 Accelerate,支援以參數高效微調大型語言模型。該方法凍結預訓練模型的大部分參數,只訓練少量參數並保存增量權重,以降低計算和儲存成本,同時達到與完整微調相若的效能。文中 LoRA 範例為 bigscience/T0_3B 保存的 adapter_model.bin 僅 19MB。
推薦理由:文章以 LoRA 範例展示 🤗 PEFT 如何接入 🤗 Transformers 的微調流程,並説明只保存增量權重可減少儲存負擔,另交代訓練參數設定與權重載入方式。
Hugging Face 推出開源工具 AI vs. AI,透過多智能體對戰和 ELO 排名評估強化學習模型的相對實力。
OpenAI 推出 ChatGPT 的試行訂閲計劃 ChatGPT Plus。ChatGPT 是一款對話式 AI,可與用户交談、回答後續問題,並質疑錯誤假設。
OpenAI 推出一款經訓練、用於區分 AI 撰寫文字與人類撰寫文字的分類器。
Hugging Face 與 PaddlePaddle 宣佈開源合作,PaddlePaddle 將逐步把其程式庫整合至 Hugging Face Hub。Hub 當時已收錄超過 75 個 PaddlePaddle 模型,後續整合範圍預計涵蓋文字、圖像、音訊、影片及多模態預訓練模型。
OpenAI 使用 GPT-3 創作新一代由 AI 驅動的角色。
Hugging Face 推出模型卡建立工具及配套指南,並在 huggingface_hub library 發佈更新版模型卡範本。工具以圖形介面支援不同背景與角色的團隊毋須編程或使用 Markdown 協作撰寫,範本加入預設提示文字,特別涵蓋偏差、風險與限制。這項工作亦包括 Hugging Face 的模型卡使用者研究,以及機器學習文檔現況分析和文獻回顧。
Hugging Face 與 arXiv 合作,將 Hugging Face Spaces 整合至 arXivLabs,並在論文摘要頁加入 Demo 標籤,方便讀者瀏覽相關演示。讀者可直接試用社羣或作者製作的開源 Demo,毋須執行程式碼。文中以 BERT 為例,其論文頁面有超過 200 個社羣 Demo。
OpenAI 宣佈 DALL·E API 開放公測,開發者可開始用它構建應用。
推薦理由:公告交代 DALL·E API 已開放公測及開發者可開始構建應用,呈現了這次開放對應的對象與實際用途。
Hugging Face 宣佈 Optimum Intel 整合 Intel OpenVINO,可透過 OpenVINO Runtime 在多種 Intel 處理器上推理 Transformers 模型,並使用 NNCF 量化多種 encoder 模型。
Hugging Face 推出 Inference Endpoints,讓用户可從 Hugging Face Hub 將機器學習模型部署至所選雲端的受管基礎設施。
推薦理由:文章逐步展示從 Hugging Face Hub 將模型部署至 AWS,並比較 Protected 與 Private 端點的存取範圍和 VPC 設定。
Hugging Face Hub 現已支援為模型或資料集生成 DOI,任何人都可在資源頁點擊「引用此模型/資料集」來引用。註冊 Hub 用户可在 repo 設定中申請 DOI;Hugging Face 與 DataCite 合作,申請者填妥必要元資料後即可取得。
Hugging Face 的 Evaluation on the Hub 現已支援免寫程式對 Hub 上的因果語言模型進行零樣本分類評估,最高支援 66 billion parameters。
推薦理由:文章説明如何用 Evaluation on the Hub 比較不同規模模型,並以 WinoBias 案例展示零樣本評估如何檢視職業性別偏見。
OpenAI 宣佈 DALL·E 不再設候補名單,新用户可立即開始創作。OpenAI 表示,部署過程累積的經驗及安全系統改進,讓服務得以擴大開放。
推薦理由:DALL·E 取消候補名單後,新用户可立即開始創作;OpenAI 同時交代擴大開放所依據的部署經驗與安全系統改進。
Hugging Face 為 AutoTrain 新增圖像分類任務,擴展其 Computer Vision 支援,讓用户可透過免配置流程訓練圖像分類模型。AutoTrain 可載入本地資料或 Hugging Face Hub 上的資料集,並嘗試多個模型候選;文中的蝴蝶分類例子中,最佳模型準確率為 84%。使用 5 個候選模型及少於 500 張圖片訓練免費。
Hugging Face 與 Intel Labs、UKP Lab 共同介紹 SetFit,這是一套無需提示詞、以少量標註資料微調 Sentence Transformers 的少樣本學習框架。
推薦理由:文章比較 SetFit 與其他少樣本方法在 RAFT 等基準的表現,並列出訓練時間與成本,提供分類效能和訓練效率的直接參照。
Hugging Face 團隊介紹 Diffusers 0.3 的功能更新,涵蓋圖生圖、Textual Inversion、實驗性修補管線及推理優化。Textual Inversion 可用 3-5 張樣本個人化 Stable Diffusion;啟用優化後,Stable Diffusion 僅需 3.2GB VRAM,生成結果相同但速度降低 10%。
推薦理由:Diffusers 0.3 把圖生圖、模型個人化等功能更新,連同小顯存、Mac 與 ONNX 的操作示例一併呈現,便於對照 Stable Diffusion 在不同環境的操作與部署方式。
DALL·E 推出 outpainting 功能,讓圖像可延展至任意尺寸,以擴展創作並講述更大的故事。
Hugging Face 推出 Skops,這個程式庫可將 scikit-learn 模型託管至 Hugging Face Hub,並建立模型卡以記錄模型資訊及促進協作。
OpenAI 推出改進版內容審核工具 Moderation endpoint,該端點改進了 OpenAI 先前的內容過濾器。它免費供 OpenAI API 開發者使用。
OpenAI 宣佈 DALL·E 開放 Beta,並將在未來數週邀請候補名單中的 1 million 人使用。用户可使用每月補充的免費點數創作,也可按每 115 次生成 $15 的價格購買額外點數。
推薦理由:材料同時列出候補邀請規模、免費點數補充頻率及額外點數價格,能讓讀者瞭解 Beta 開放初期的使用方式與成本。
OpenAI 正在為 DALL·E 推行一項新技術,令其生成的人物圖像更準確反映世界人口多樣性。這項措施旨在減少 DALL·E 2 的偏見並改善安全性。
Hugging Face 推出由 AutoTrain 驅動的 Evaluation on the Hub,讓使用者無需編寫程式,即可用任意資料集與指標評估 Hub 上的模型。評估結果會提交至模型卡的 Hub pull request,平台亦提供排行榜,方便比較模型在不同資料集切分與指標上的表現。
推薦理由:它讓使用者可在 Hub 選擇模型、資料集和指標,免寫程式完成評估;結果回寫模型卡,排行榜便於比較表現及重用評估設定。
Hugging Face 宣佈 Intel 加入其 Hardware Partner Program,雙方將透過 Optimum 加速 Transformers 訓練、微調和推理。示例以 Optimum Intel 對微調後的 DistilBERT 分類模型進行訓練後動態量化,準確率由 0.574 降至 0.546,評估步驟快 1.34x。
Graphcore 與 Hugging Face 擴大 Hugging Face Optimum 的 IPU-ready Transformers 陣容,現提供涵蓋自然語言處理、語音及電腦視覺的 10 款模型。各模型附有 IPU 設定檔,以及可直接使用的預訓練和微調權重。開源函式庫 Hugging Face Optimum 提供針對 Graphcore IPU 最佳化的現成模型,方便開發者使用。