OpenAI 推出民主制定 AI 規則的資助計劃,提供十筆各 $100,000 資助
OpenAI, Inc. 推出資助計劃,將提供十筆各 $100,000 的資助,支持建立決定 AI 系統應遵守規則的民主程序。相關探索須在法律界定的範圍內進行。
OpenAI, Inc. 推出資助計劃,將提供十筆各 $100,000 的資助,支持建立決定 AI 系統應遵守規則的民主程序。相關探索須在法律界定的範圍內進行。
Hugging Face 與 Microsoft 將 Hugging Face Hub 的開源模型目錄原生整合至 Azure Machine Learning Studio,讓用户可將模型部署到受管端點。
Hugging Face、EleutherAI 與 Stability AI 完成 safetensors 外部安全審計,未發現可導致任意程式碼執行的嚴重漏洞。
推薦理由:審計未發現可導致任意程式碼執行的嚴重漏洞,並修正規格與驗證問題,讓團隊推進 safetensors 成為預設格式有了外部檢查依據。
OpenAI 表示,現在正是開始思考超級智能治理的好時機。超級智能指能力遠超 AGI 的未來 AI 系統。
OpenAI 推出 iOS 版 ChatGPT app,讓用户可在 iOS 裝置使用 ChatGPT。應用支援對話同步和語音輸入,並帶來 OpenAI 最新模型改進。
推薦理由:公告列出對話同步、語音輸入及最新模型改進,呈現 iOS 版 ChatGPT app 在對話延續與語音使用上的主要變化。
Hugging Face 獲法國數據保護局 CNIL 選中,參與其加強支援計劃。該計劃從逾 40 間候選公司中選出 3 間具「經濟發展潛力」的企業,協助其理解並履行數據保護責任。Hugging Face 表示,CNIL 的協助將支持其推進 GDPR 合規,並為用户社羣釐清私隱及數據保護問題。
OpenAI 使用 GPT-4 自動撰寫大型語言模型中神經元行為的解釋,並為這些解釋評分。OpenAI 發佈的數據集涵蓋 GPT-2 每個神經元的解釋與評分,並指出這些解釋並不完美。
Hugging Face Blog 梳理文字生成影片模型的發展,對比 GAN、Transformer 與擴散模型路線,並概述生成能力限制。空間與時間一致性、配對資料稀缺及影片描述困難,令模型訓練成本高,長影片生成亦受上下文限制。Hugging Face Diffusers 可下載、執行及微調 Text2Video-Zero 和 ModelScope,Hub 亦提供多個示範及本地運行指引。
推薦理由:文章梳理文字生成影片模型從 GAN、Transformer 到擴散模型的演進,並交代資料與長影片生成的核心限制。
Hugging Face Blog 示範如何在 Unity 專案安裝及使用 Hugging Face Unity API,透過 Hugging Face Inference API 呼叫模型。
ChatGPT 用户現可關閉聊天記錄,選擇哪些對話可用於訓練模型。
推薦理由:原文把關閉聊天記錄與對話訓練用途選擇連在一起,具體呈現 ChatGPT 用户管理資料使用方式。
Hugging Face 推出中文博客 hf.co/blog/zh,面向中文讀者提供文章及學習資源。志願者翻譯的內容包括博客文章,以及關於 Transformers、擴散模型和強化學習的完整課程。Hugging Face 表示會繼續與中國 AI 社羣合作,並在博客分享社羣進展和未來合作消息。
Hugging Face Blog 示範如何使用 Transformers 中的 Graphormer 模型進行圖分類,涵蓋資料載入、預處理及微調訓練。示例採用 OGB/ogbg-molhiv 資料集,載入 clefourrier/pcqm4mv2_graphormer_base,將任務設為二分類後以 Trainer 訓練。
Hugging Face 與 Substra 合作製作互動空間,介紹聯邦學習如何在數據不離開本地的情況下協同訓練模型。Substra 是面向真實生產環境的開源聯邦學習框架,模型權重在多個伺服器間傳遞,讓研究者利用不同來源的數據訓練模型。空間可調整樣本分佈並觀察簡單模型的反應;文中稱,聯邦學習模型在驗證數據上的表現幾乎總是優於單一來源訓練的模型。
OpenAI 宣佈推出漏洞賞金計劃,邀請外界協助其開發安全、可靠且值得信賴的 AI 技術與服務。OpenAI 指,這項計劃對其發展安全、先進 AI 的承諾至關重要。
Snorkel AI 與 Hugging Face 合作,透過 Hugging Face Inference Endpoints 擴展 Snorkel Flow 可用的基礎模型,協助企業開發 AI 應用。
OpenAI 指出,確保 AI 系統能安全地建構、部署及使用,對其使命至關重要。
Hugging Face 發佈 StackLLaMA,這是一個以 LLaMA 7B 為基礎、經 RLHF 微調、用於回答 Stack Exchange 問題的模型;完整訓練流程納入 Hugging Face TRL library。文章逐步示範監督式微調、獎勵模型訓練及 PPO 強化學習,並介紹 Stack Exchange 數據的偏好評分與 LoRA 等記憶體效率方法。
推薦理由:文章串聯 SFT、偏好獎勵模型與 PPO 三階段,並示範以 8-bit 載入和 LoRA 降低 RLHF 微調的記憶體需求,呈現可復用的訓練流程。
這篇教程示範如何結合 Hugging Face 與 Flower,在多個客户端聯邦微調預訓練的 distilBERT,將 IMDB 評分分類為正面或負面。客户端在本地訓練模型並將參數傳回伺服器,由 FedAvg 聚合參數,無需共享數據。另有使用 Flower 的 simulation 功能在 Google Colab 模擬聯邦環境的 Notebook。
OpenAI 公佈 3 月 20 日 ChatGPT 故障的調查結果、已採取的行動,以及相關 bug 的技術細節。
Hugging Face Blog 示範使用 diffusers 為 Stable Diffusion 訓練 ControlNet,並以 FaceSynthetics 的 100K 張合成臉製作人臉姿勢條件資料。
推薦理由:文章以 FaceSynthetics 示範從人臉關鍵點製作 ControlNet 條件圖、整理訓練資料到配置低顯存參數的流程,可供類似訓練任務參照。
OpenAI 為 ChatGPT 加入初步插件支援,插件可協助 ChatGPT 存取最新資訊、執行計算或使用第三方服務。插件是專為語言模型設計、以安全為核心原則的工具。
推薦理由:ChatGPT 初步支援以安全為核心原則的插件,涵蓋最新資訊、計算及第三方服務,呈現模型透過外部工具擴展能力的方式。
Khan Academy 在一項有限範圍的試點計劃中,探索 GPT-4 為課堂虛擬教育提供支援的潛力。
Stripe 利用 GPT-4 簡化使用者體驗並打擊欺詐。
Be My Eyes 使用 GPT-4 推動視覺無障礙體驗轉型。
冰島正利用 GPT-4 保存冰島語。
OpenAI 發佈 GPT-4,這是一款可接收圖像和文字輸入、輸出文字的大型多模態模型。它在多項專業及學術基準上達到人類水平表現,但在許多真實場景中的能力仍不及人類。
推薦理由:材料同時交代 GPT-4 的圖像與文字輸入、文字輸出形式,以及基準表現和真實場景能力的差異,可幫助讀者把握其能力描述的範圍。
Hugging Face 在 🤗 Transformers 中提供 Informer,並示範如何以該模型進行多變量機率時間序列預測。Informer 以 ProbSparse attention 將注意力運算複雜度降至 O(T log T),並透過 distilling 將記憶體複雜度降至 O(N·T log T),而非 O(N·T²)。
Hugging Face 發佈 trl 與 peft 整合,介紹以 RLHF 在 24GB 消費級 GPU 上微調 20B 大語言模型的方法。示例以 gpt-neox-20b 為基礎,結合 8-bit 載入與 PEFT 低秩適配器,並透過停用適配器讓同一模型提供參考與當前 logits。
推薦理由:文章拆解 8-bit 載入、PEFT 低秩適配器與共用參考模型的組合,呈現降低 RLHF 微調大型模型顯存需求的實作思路。
Kakao Brain 與 Hugging Face 公開 ViT、ALIGN 視覺語言模型,以及由 700 million 對圖文構成的開源 COYO 資料集。
推薦理由:ViT 與 ALIGN 連同 COYO 訓練資料一併開放,並提供與 Google 版本的任務比較,呈現資料可取得性對視覺語言研究復現的價值。
OpenAI 的使命是確保通用人工智能(AGI)造福全人類;文中將 AGI 描述為普遍比人類更聰明的 AI 系統。
Hugging Face 的 Diffusers for Mac 1.1 已在 Mac App Store 提供,更新效能與介面,並會按電腦自動選擇加速器。文中稱,視乎電腦配置,文字生成圖像速度最高可達原來的兩倍;測試列出 GPU 與 ANE 在不同 Mac 上的表現。
推薦理由:文章按多款 Mac 和 Stable Diffusion 型號列出 GPU、ANE 的生成基準,並指出 M1 Max 上 GPU 較快、標準 M1 上 ANE 較快,呈現加速器選擇受硬件配置影響。
Hugging Face 與 Amazon Web Services(AWS)擴大長期策略合作,讓開發者更容易在 AWS 上訓練、微調及部署機器學習模型。用户可在 Amazon SageMaker 和 EC2 上,只需幾下點擊便微調及部署 Hugging Face 模型,並使用 AWS Trainium 和 AWS Inferentia 加速器。
OpenAI 正闡明 ChatGPT 的行為如何形成,並説明改善其行為的計劃。計劃亦包括讓用户有更多自訂空間,並增加公眾參與相關決策的機會。
Hugging Face 推出 🤗 PEFT 函式庫,整合 🤗 Transformers 與 🤗 Accelerate,支援以參數高效微調大型語言模型。該方法凍結預訓練模型的大部分參數,只訓練少量參數並保存增量權重,以降低計算和儲存成本,同時達到與完整微調相若的效能。文中 LoRA 範例為 bigscience/T0_3B 保存的 adapter_model.bin 僅 19MB。
推薦理由:文章以 LoRA 範例展示 🤗 PEFT 如何接入 🤗 Transformers 的微調流程,並説明只保存增量權重可減少儲存負擔,另交代訓練參數設定與權重載入方式。
《AI for Game Development》第 5 篇示範以 ChatGPT 為農場遊戲生成故事摘要、遊戲內故事及商店物品描述,並透過多輪對話修訂內容。初稿與 Stardew Valley 的故事極為相似,長篇生成亦出現質素下降和重複。文章提醒直接採用生成內容可能帶來法律、倫理及商業風險,建議以 AI 協助構思,並由人手撰寫定稿。
Hugging Face 推出開源工具 AI vs. AI,透過多智能體對戰和 ELO 排名評估強化學習模型的相對實力。
OpenAI 推出 ChatGPT 的試行訂閲計劃 ChatGPT Plus。ChatGPT 是一款對話式 AI,可與用户交談、回答後續問題,並質疑錯誤假設。
OpenAI 推出一款經訓練、用於區分 AI 撰寫文字與人類撰寫文字的分類器。
Hugging Face Hub 已收錄超過 3000 個電腦視覺模型和超過 100 個資料集,並支援 8 項核心電腦視覺任務。
這篇教程示範如何把 Stable Diffusion 的 Image2Image 納入 2D 遊戲素材製作流程,從手繪草圖迭代生成素材。作者以玉米圖示説明先用 denoising strength 0.8 生成,再手動修改並以 0.6 重新生成,不到 10 分鐘便完成可直接用於遊戲的圖示。