使用 Inspect Scout 分析 AI 對話紀錄的七步流程
英國 AI Security Institute 與 Meridian Labs 合作開發開源對話紀錄分析工具 Inspect Scout,並在新論文中提出使用它進行分析的七步流程。Inspect Scout 建基於 Inspect,可平行分析數千份對話紀錄,並透過掃描器把紀錄中的特定內容轉為易讀結果。流程涵蓋界定研究問題、整理及抽查資料、設計和驗證掃描器,並將結果用於即時排查或後續研究。
英國 AI Security Institute 與 Meridian Labs 合作開發開源對話紀錄分析工具 Inspect Scout,並在新論文中提出使用它進行分析的七步流程。Inspect Scout 建基於 Inspect,可平行分析數千份對話紀錄,並透過掃描器把紀錄中的特定內容轉為易讀結果。流程涵蓋界定研究問題、整理及抽查資料、設計和驗證掃描器,並將結果用於即時排查或後續研究。
英國 AI Security Institute 發佈 AISI Engineering Playbook,整理其評估前沿 AI 系統時建立的方法與實踐。手冊將評估所需基建分為 Evaluate、Isolate、Connect、Run 和 Scale 五層,並提供技術介紹及現有開源程式碼連結。研究人員可採用個別組件,機構亦可參照五層架構建立自己的評估平台。
Cerebras 分享一份 GPT-5.3-Codex-Spark 編碼實踐指南,建議以快速、密集的互動取代長提示詞和多代理並行。GPT-5.3-Codex-Spark 在 Cerebras WSE 硬件上運行,生成速度超過 1,200+ tokens/second。指南建議將工作拆成小目標,逐步執行測試,並以文件和 Git 保存跨工作階段狀態。
作者以 Codex、Figma MCP 和多智能體協作流程,將網站 5 個頁面近乎完美地複製到 Figma,耗時不到 5 分鐘。流程由主協調 Agent 為每個子 Agent 分配一頁,再審核結果並按需派發修正;作者先用 GPT-5.4-Medium 反覆調整指示,再以 GPT-5.3-Codex-Spark 執行。
Tinker 邀請開發者和研究人員提交社羣項目,並計劃定期在網誌刊出精選成果。徵集涵蓋機器學習研究、微調模型應用、產品原型、數據集及基礎設施;投稿應附研究説明,最好開源程式碼,並展示嚴謹評估和透明結果。
Eugene Yan 以 Semantic IDs 微調 Qwen3-8B,訓練出可根據用戶互動及自然語言指令調整推薦的 LLM 推薦系統混合模型。他以 RQ-VAE 將商品嵌入向量編碼為階層式 Semantic IDs,並建立 4.2 million 組涵蓋 ID 與商品描述互轉、下一項預測等任務的對話訓練例子。
Eugene Yan 提出產品評測的三步流程:標註小型數據集、校準 LLM 評估器,並在每次配置變更後執行實驗與評測。他建議採用二元標籤,在 200 個以上樣本中準備 50–100 個失敗案例,並以 75% 樣本校準、25% 留作測試;不同評測維度應使用獨立評估器。
Eugene Yan 分享一套與 AI 協作、讓工作成果持續累積的方法,涵蓋整理上下文、將個人偏好寫入設定、降低驗證成本、委派較大任務及持續修正流程。他建議以專案索引和 CLAUDE.md 保存背景與偏好,把每週至少做一次的工作整理成按需載入的技能,並根據工作階段紀錄修訂設定。
Eugene Yan 梳理多個網絡安全基準,歸納智能體評測的共同設計模式,並比較它們衡量漏洞發現、重現與利用能力的方法。文章將常見設計概括為沙盒目標環境、影響任務難度的資訊、工具和評分器,並介紹 Cybench、CVE-Bench、CyberGym 等基準如何提供部分分數或按攻擊階段分級。
企業可用生成式 AI 搜尋及整合知識、創作內容、提供對話支援、協助軟件開發與數據分析,並自動化多步工作流程。用得其所可提升生產力和工作質素、擴大個人化體驗,並加快創新。採用時須先確認生成式 AI 能否切合具體業務需要並值得投資,避免在缺乏明確商業理據下增加成本與複雜程度。
Prime Intellect 探討全球分散式訓練方法,説明如何整合各地 GPU 資源訓練 AI 模型。文中介紹 Google DeepMind 的 DiLoCo,利用內外層最佳化,讓各運算島約每 500 次更新才同步梯度,以減少通訊負擔。全球部署仍要應對頻寬有限、硬件規格不一、算力變動及容錯等問題。
Fireworks AI 的文章梳理企業邁向專門化智能的路徑,從租用封閉式前沿模型、加入開源模型,逐步走到微調自有模型。在 UIPad 測試中,Kimi K3 與 GPT 5.6 Sol 整體同為 87.7 分,但 Kimi K3 執行成本為 $56,GPT 5.6 Sol 為 $115;按題型分流,可把座標題交給 Sol,其餘題目交給 K3。
Suno 分享了使用 Voices 製作高質素人聲的 6 個技巧,涵蓋安靜錄音、事前練習及按曲風配搭聲線。可行的話,建議錄製至少一分鐘的人聲參考;較長錄音能讓 Suno 學習更多內容,令整首曲目的人聲結果更一致。Voices 現已可在 Web、iOS 和 Android 使用,並提供免費試用及付費方案。
Anthropic 的前線部署工程師分享企業籌備 AI 驅動程式碼現代化項目的六步方法,涵蓋界定目標、驗收條件、變更上線政策、前置準備、智能體工作流程及正式執行。文章建議以 Claude Code 建立按項目調整的工作流程,先在小部分程式碼上端到端試行,再擴展至完整程式碼庫。試行期間可量度 tokens 用量以估算成本,並把計算量大的驗證安排在較簡單的檢查通過後執行。
Suno 鼓勵創作者發佈音樂作品,讓作品接觸數以百萬計的聽眾。發佈有助創作者獲得聽眾回饋、瞭解哪些內容引起共鳴,並改善下一首作品。公開作品亦可讓社羣其他創作者重新混音,為彼此帶來靈感。
Anthropic 以 Claude Managed Agents(beta)建立購買智能體,協助企業客戶瞭解方案並從查詢走到購買。智能體每日處理數千段對話,回答定價、安全及數據問題,並按情況引導結帳、即時答覆或轉交銷售代表。轉交銷售團隊的客戶轉化為銷售機會的比例,是舊表單線索的兩倍以上,成交時間約快五天;客戶可在開始時選擇與智能體或銷售代表洽談。
Google Cloud 介紹以 Memorystore for Valkey 和 AlloyDB AI 分別處理短期會話快取與長期記憶的 AI 智能體雙層架構。
小米 MiMo 團隊介紹 MiMo-V2.5 系列的全流程推理工程優化,涵蓋 KVCache 管理、排程、Prefill/Decode 執行流程及多模態推理。多模態 Encoder 的 QPS 由 15 增至 30,平均延遲由 78.39 ms 變為 80.28 ms;1 小時影片的 Encoder 端到端延遲由 156 s 降至 23 s。
Cerebras 建立內部 console-prompt-tests 框架,讓 LLM 智能體透過真實瀏覽器,以自然語言執行 Cloud Console 端到端測試。框架可從 PDF 測試計劃或 DOM 基線生成測試,並檢查 PR 覆蓋、評估發布風險和分類失敗;自動修復僅用於 UI 漂移,模型提出修改後須經實時重跑驗證,合併仍由人員批准。發布流程亦會生成發布説明,整個流程約需 20 分鐘。
Databricks 分享一套挑選首批 Genie Agents 的方法,建議團隊按五項準則評估候選工作流程,篩選適合作為試點的項目。準則涵蓋業務影響、需求頻率與重複性、數據與元數據準備度、範圍清晰度,以及治理和風險適配度;各項按 1–5 分評分,總分 20–25 可立即開發,14–19 需進一步完善,低於 14 則暫不適合。若沒有業務負責人或高層主管積極支持,即使評分高也應暫緩。
AWS 示範如何透過 Amazon Bedrock AgentCore Evaluations,衡量多智能體系統的有用性、任務成功率、業務準確性與可解釋性。文章以虛構零售商 AnyCompany Retail 的供應鏈決策方案為例,逐層結合內置評估器、自訂業務規則及六項可解釋性評估。框架支援開發階段的按需評估及生產環境的線上持續監察,並分開衡量業務準確性與解釋透明度。
AWS 文章示範如何以 LangChain 在 Amazon Bedrock Knowledge Bases 建立 RAG 應用,並比較標準檢索與 Agentic retrieval 處理多部分問題的方式。
AWS 示範以部署在 Amazon Bedrock AgentCore 的 Quick Resource Migrator MCP 伺服器,自動化 Amazon Quick 資源的跨帳戶推廣。
作者分享共同帶領面向法律及治理從業者的 AI 安全訓練營時學到的內容。現有資料只有標題及 Hacker News 貼文資訊,沒有文章正文,無法確認具體心得。
北京首都機場發布免費 Wi-Fi 使用攻略,旅客完成認證後,認證有效期可達 3 個月,期內再次到訪可自動連線。認證方式包括手機短信、護照、現場 Wi-Fi 取號機,以及首都機場官方微信及小程序一鍵登入;T2、T3 設有 46 台取號設備。Wi-Fi 覆蓋航站樓及停車樓所有旅客可達區域,每名旅客可獨享 15M 帶寬。
OpenAI 發佈 GPT-6 系列模型指南,介紹按工作負載選擇模型、優化提示詞及調整推理強度的方法。指南推薦 GPT-6 Astra 處理高難度推理、GPT-6.1 Sol 處理複雜編程、研究和電腦使用,GPT-6 Luna 則用於大規模特定任務及明確的日常重複工作。提示詞應交代期望結果、受眾、上下文、限制及完成標準;最高推理強度適合複雜分析、除錯或深度研究。
LlamaIndex 提供一套無需 ground-truth labels 的 QA 系統評估流程,依次生成問題、答案與來源節點,再檢查查詢、回答及來源是否匹配。
LlamaIndex 與 MongoDB 可將私有資料接入 LLM,透過索引檢索相關內容,讓模型據此回答問題。示範以 100 頁的《GPT-4 Technical Report》PDF 查詢,結果指出 GPT-4 在 Uniform Bar Exam 的成績位居考生前 10%。LlamaIndex 也可將文件與索引持久化至 MongoDB,方便後續查詢。
LlamaIndex 發現,較弱模型驅動的 ReAct 智能體在金融分析資料任務中較難取得相關結果。限制智能體互動,並提供更多能明確執行複雜操作的工具,可改善這類模型的查詢表現。相比之下,GPT-4 較能可靠地運用 ReAct 執行多種複雜資料查詢。
LlamaIndex 與 Weaviate 的教程示範如何為 Weaviate 部落格內容建立問答系統。流程包括載入並切分文件、將內容寫入 Weaviate 向量庫,再由 query engine 執行語義搜尋及答案合成。
TruLens 最新版本加入對 LlamaIndex 大語言模型應用的追蹤功能,讓開發者評估和記錄實驗,並檢視輸入輸出、模型呼叫及檢索內容。文章示範以回饋函數檢查語言匹配、答案相關性和檢索片段相關性,並在 TruLens 儀錶板查看彙總結果及個別互動紀錄。文中的錯誤回答案例顯示,檢索到相關性不足且不含答案的上下文時,應用可能產生模型幻覺。
LlamaIndex 與 Ray 示範構建查詢引擎,根據 Ray 文件及網誌文章回答問題並生成洞察。流程以 Ray Datasets 平行處理索引建置,並用 Ray Serve 部署查詢引擎,涵蓋文件載入、解析、嵌入向量生成及儲存。
LlamaIndex 示範以 Text2SQL 結合 RAG 分析產品評論,從資料庫查詢並整理產品洞見。示範資料由 GPT-4 生成,涵蓋 iPhone13、SamsungTV 和 Ergonomic Chair,並存於記憶體 SQLite 資料庫。流程先把自然語言問題拆成主、輔助查詢,再以 Text2SQL 擷取資料,最後透過 List Index 根據輔助問題生成答案。
LlamaIndex 示範使用 Response Evaluation 評估 RAG 系統的理想分塊大小,並比較不同設定下的平均回應時間、Faithfulness 與 Relevancy。實驗以 Uber 2021 年 10-K 文件生成問題,使用 GPT-3.5-turbo 產生回答,再以 GPT-4 評估回答的忠實度與相關性。
作者使用 LlamaIndex 打造 FinSight,這款在 Streamlit LLM Hackathon 勝出的應用,可從公司年報提取洞見並生成摘要。其 Annual Report Analyzer 以 RAG 和 FAISS 記憶體向量資料庫處理年報,並把查詢拆成子問題,檢索多處脈絡。
文章介紹 LayoutPDFReader 解析具文字層的 PDF,保留章節層級、段落、表格和清單結構,並據此生成供 RAG 使用的分塊。文中示範以 LLMSherpa API 讀取 PDF,並用 LlamaIndex 建立向量索引及執行查詢。工具目前不支援 OCR,只能處理帶有文字層的 PDF;原文亦指出,並非所有 PDF 都能完美解析。
LlamaIndex 使用 Retrieval Evaluation 比較 RAG 流程中的嵌入模型與重排序模型,並以 Hit Rate 和 MRR 評估檢索表現。
作者以 KOSMOS-2、Google PaLM API 和 LlamaIndex 建構 Streamlit 多模態原型,讓使用者上載圖片並就圖像內容對話。KOSMOS-2 生成圖片描述,PaLM 負責對話,LlamaIndex 串接流程;示範版每個工作階段最多可傳送 20 則訊息。
LlamaIndex 示範微調 Cohere reranker,並報告自訂 reranker 在該測試中的檢索指標有所改善。
LlamaIndex 介紹多模態 RAG 的評估方法,建議沿用文字型 RAG 的檢索與生成兩階段框架,並分別計算文字和圖片的檢索指標。生成評估則可使用能處理文字及圖像上下文的 LMM 作裁判,衡量相關性與忠實度;文中亦介紹其 beta Multi-Modal Evaluator abstractions。