跳到正文
10月6日 · 周二

最新精選

10月3日週六
  1. OpenAI Developers:Blog76

    OpenAI 分享以 Skills、託管 shell 與服務端 compaction 建構長時間運行智能體的實作技巧

    OpenAI 分享以 Skills、託管 shell 和服務端 compaction 構建長時間運行智能體的實作模式,涵蓋技能路由、容器復用與網絡配置。Glean 面向 Salesforce 的 skill 將評測準確率由 73% 提升至 85%,並令 time-to-first-token 縮短 18.1%。

    推薦理由:文章將 Skills、shell 與服務端 compaction 的分工整理成長流程建構方法,並涵蓋技能路由、產物交接及網絡隔離等可複用設計。

  2. AWS Machine Learning Blog61

    Claude Platform on AWS 多環境存取實作指南

    AWS Machine Learning Blog 提供 Claude Platform on AWS 多環境存取指南,示範為 AWS 工作負載、開發者筆電及外部環境配置推理存取。

    推薦理由:文章按 AWS 工作負載、開發者筆電與外部環境,示範 cross-account SigV4、workspace-scoped API key 和 OIDC federation 如何配置,並維持 workspace 隔離。

10月2日週五
  1. AWS Machine Learning Blog69

    使用 Amazon Quick 與 Adjudicated Query 模式,對數萬份租約進行合規掃描

    AWS 介紹並部署 Adjudicated Query 模式,讓 Amazon Quick 的自然語言合規查詢透過固定 MCP 操作交由確定性規則引擎判定,而非由模型作出決策。

    推薦理由:文章把自然語言查詢與合規判定分開,並以完整性收據和逐筆證據鏈展示如何核對大量檢查結果。

10月1日週四
  1. Johann Rehberger / Embrace The Red77

    SQL Copilot(SSMS)CVE-2026-65669 攻擊鏈可令 db_owner 取得 SYSADMIN 權限

    Johann Rehberger 揭示 SQL Server Management Studio(SSMS)中的 SQL Copilot 存在 CVE-2026-65669,攻擊者可繞過唯讀限制,令任意 T/SQL 以受害者的資料庫連線權限執行。

    推薦理由:文章拆解間接提示詞注入如何串連唯讀限制繞過與資料庫權限提升,並指出唯讀約束應由權限機制落實。

9月26日週六
  1. GitHub Blog · AI & ML66

    GitHub Copilot app 初學者指南:如何用 canvases 建立自訂工作流程

    GitHub Copilot app 的 canvases 可按用户描述生成自訂介面,讓用户與智能體在共享畫布中同步查看和更新工作內容。用户在 Agent 工作階段輸入 /create-canvas,描述所需工作流程、介面操作和智能體可執行的事項,毋須手動編寫程式或設計。畫布建立後會保存為擴展,可留在專案中供團隊共用,也可保存為個人擴展重用。

    推薦理由:文章從描述工作流程、介面操作與智能體職責開始,示範如何建立、反覆調整並保存可重用的畫布擴展,呈現把日常流程轉成協作介面的具體步驟。

8月21日週五
  1. Hugging Face Blog63

    Hugging Face Inference Endpoints、Jobs 和 Buckets 如何支撐 Papers with Code 搜尋

    Hugging Face 以 Inference Endpoints、Jobs 和 Storage Buckets 建立 Papers with Code 混合搜尋系統,為來自 arXiv 和 Daily Papers 的超過 110,000 篇論文維護嵌入向量。

    推薦理由:文章拆解離線批次建向量與線上查詢的分工,並説明端點冷啟動時如何回退全文檢索,呈現混合搜尋進入生產環境的工程取捨。

8月18日週二
  1. Hugging Face Blog72

    Sentence Transformers v6.0 多向量(Late Interaction)嵌入模型使用指南

    Sentence Transformers v6.0 新增 MultiVectorEncoder,支援 ColBERT 式多向量檢索。文中示範載入 PyLate 與 Stanford-NLP ColBERT checkpoint、接入檢索索引,以及以同一 API 執行 ColPali 視覺文件檢索。

    推薦理由:文章對照 LateOn 與 DenseOn 在 NanoBEIR 13 個資料集的結果,並以索引體積數據呈現多向量檢索表現與儲存成本的取捨。

7月10日週五
  1. Hugging Face Blog62

    PyTorch 效能分析(第 3 部分):用 profiler 剖析 Attention

    Hugging Face Blog 的《PyTorch 效能分析》第 3 篇以 profiler traces 對照手寫注意力與 PyTorch SDPA 各後端的執行情況。

    推薦理由:文章對照 CPU 與 GPU trace,展示如何從 kernel 數量、資料搬移及 CPU 開銷,辨認注意力實作的效能收益與成本。

6月26日週五
  1. Hugging Face Blog68

    用一條命令在 HF Jobs 上執行 vLLM 伺服器

    Hugging Face Blog 示範用一條命令在 HF Jobs 上以 vLLM 啟動私有、OpenAI-compatible 的 LLM 端點。內容提供 curl 和 Python OpenAI client 呼叫範例,並示範以 SSH、Gradio 及 Pi 延伸使用;每次請求須附上具該 Job 讀取權限的 HF token。

    推薦理由:文章把 HF Jobs、vLLM 與 OpenAI-compatible API 的部署、驗證和停止流程串成可複用命令,並説明私有端點的 token 權限與成本控制。

6月18日週四
  1. Hugging Face Blog68

    Hugging Face 以 agent-eval 評測開源模型操作 transformers 的成功率與成本

    Hugging Face 測試開源模型使用 transformers,CLI 與 Skill 縮短大型模型耗時,卻可能降低小模型成功率。Qwen3-14B 在 classify-sentiment 任務中,clone 環境的匹配率為 100%,Skill 環境則降至 0%。agent-eval CLI 可套用於其他命令列工具,並記錄匹配率、tokens、耗時、錯誤、行為標記及執行軌跡。

    推薦理由:評測不只看任務是否成功,也追蹤 tokens、耗時與操作路徑,呈現 CLI 與 Skill 對大小模型的影響並不一致。

6月11日週四
  1. Hugging Face Blog61

    PyTorch 效能分析(第二部分):從 nn.Linear 到融合式 MLP

    Hugging Face Blog 第二篇 PyTorch 效能分析教程,從 nn.Linear 追蹤至 GeGLU MLP。

    推薦理由:文章對比 eager、torch.compile 與 Liger,展示 MLP 融合如何減少 HBM 往返,以及固定形狀特化與跨形狀通用的取捨。

6月9日週二
  1. Hugging Face Blog70

    智能體如何串接兩個 Hugging Face Spaces 建成巴黎地標 3D 畫廊

    編碼智能體串接兩個 Hugging Face Spaces,生成巴黎地標圖像及 3D Gaussian splats,並將畫廊部署為靜態 Space mishig/monuments-de-paris。

    推薦理由:案例展示了透過 Hugging Face Spaces 的 agents.md 串接圖像生成與單圖 3D 重建,並以各一句提示複用到日本及埃及主題畫廊,呈現多媒體工作流的可遷移性。

  2. Hugging Face Blog65

    如何將 GitHub CI 遷移至 Hugging Face Jobs

    Hugging Face Blog 示範如何把 GitHub Actions 的 CI 工作交由 Hugging Face Jobs 執行,並以 Trackio 展示透過臨時 self-hosted runner 連接兩者的方式。

    推薦理由:文章給出 GitHub Actions 接入 Hugging Face Jobs 的操作流程,並説明 workflow 標籤設定。

5月29日週五
  1. Hugging Face Blog64

    PyTorch 效能分析(第 1 部分):torch.profiler 初學者指南

    Hugging Face Blog 發佈 PyTorch 效能分析系列首篇入門指南,示範 torch.profiler 的設定,以及 profiler 表格和 CPU、GPU 軌跡的讀法。

    推薦理由:文章以矩陣乘加示範如何結合 profiler 表格與 CPU、GPU 軌跡辨認瓶頸,並區分調度層融合與實際 GPU kernel 融合。

5月25日週一
  1. Hugging Face Blog60

    AI 智能體中的 Harness、Scaffold 等術語解析

    Hugging Face 梳理 AI 智能體常見術語,解釋 Model、Scaffolding、Harness、Agent 等概念及其區別。文中將 Harness 定義為調用模型、處理工具調用及決定何時停止的執行層,Scaffolding 則涵蓋系統提示詞、工具描述、回應解析和上下文管理等行為定義層。

    推薦理由:文章以模型、Scaffolding、Harness 與 Agent 的分工建立實用心智模型,並把這套脈絡延伸至訓練術語,便於理解智能體系統的組成與相關討論。

4月29日週三
  1. Hugging Face Blog61

    Granite 4.1 LLM 如何構建:預訓練、微調與強化學習流程

    Granite Team(IBM)詳述 Granite 4.1 的 3B、8B 和 30B 模型構建流程,涵蓋預訓練、監督式微調和多階段強化學習。預訓練以約 15T tokens 分五階段進行,並將上下文窗口擴至最高 512K tokens;其後以約 4.1M 經整理樣本作微調,採用 on-policy GRPO 配合 DAPO loss 進行強化學習。

    推薦理由:文章梳理 Granite 4.1 從約 15T tokens 預訓練、約 4.1M 樣本微調到多階段強化學習的流程,呈現 dense 模型的訓練設計取捨。

4月23日週四
  1. Hugging Face Blog62

    如何在 Chrome 擴充功能中使用 Transformers.js:Manifest V3 架構指南

    Hugging Face Blog 提供 Transformers.js 在 Chrome Manifest V3 擴充功能中運行本地 AI 的實作指南。範例將模型初始化、推理和工具執行集中在背景 service worker,側邊欄提供聊天介面,content script 負責網頁內容擷取及元素標記。

    推薦理由:文章拆解 Manifest V3 擴充功能內模型推理、對話狀態與頁面操作的分工,並説明背景 service worker 如何協調模型載入、工具執行與介面訊息。

4月9日週四
  1. Hugging Face Blog66

    Sentence Transformers v5.4 多模態嵌入與 Reranker 模型使用指南

    Sentence Transformers v5.4 的同一 API 現可編碼並比較文字、圖像、音訊和影片,文章示範其多模態嵌入與 reranker 用法。嵌入模型將不同模態映射至共享嵌入空間;預訓練多模態 reranker 目前主要處理文字與圖像配對。示例涵蓋跨模態檢索、混合模態文件重排及先檢索再重排流程,並列出輸入格式、支援模型和安裝依賴。

    推薦理由:文章展示 Sentence Transformers v5.4 的跨模態檢索與 reranker 重排流程,並整理支援模型和輸入格式,提供實作參考。

4月1日週三
  1. Hugging Face Blog68

    Gradio 介紹 gradio.Server,讓自訂前端使用 Gradio 後端

    Gradio 介紹 gradio.Server,讓自訂前端可使用 Gradio 的後端能力,同時採用自選的前端框架。gradio.Server 擴展 FastAPI,提供自訂路由等功能,並加入 Gradio 的佇列、SSE 串流、並發控制和 gradio_client 相容性。

    推薦理由:文章以圖像去背示例展示如何讓自訂 HTML/CSS/JS 前端透過 gradio.Server 使用 Gradio 佇列、並發控制與 ZeroGPU,提供兼顧介面自由度和後端管理的實作參考。