OpenLIT OpenTelemetry 如何為 LLM 應用程式加入追蹤
OpenLIT 以 OpenTelemetry 為 LLM 應用程式加入追蹤,讓每次模型呼叫的 span 記錄模型、token 數量及成本。SDK 提供 Python、TypeScript 和 Go 版本,列出超過 70 項整合,並介紹 openlit.init()、openlit-instrument 和 TypeScript 靜態匯入的設定方式。
OpenLIT 以 OpenTelemetry 為 LLM 應用程式加入追蹤,讓每次模型呼叫的 span 記錄模型、token 數量及成本。SDK 提供 Python、TypeScript 和 Go 版本,列出超過 70 項整合,並介紹 openlit.init()、openlit-instrument 和 TypeScript 靜態匯入的設定方式。
文章整理五種有研究依據的智能體編排模式,包括建置與驗證分工、平行拆分任務、Best of N、多模型評議和多角色審查。一項涵蓋 652 項編碼任務的 2026 年研究發現,兩個智能體編輯重疊程式碼時,成功率比單一智能體低約 30%;任務可獨立拆分時,多智能體在金融基準的得分最多高 80.8%,但在步驟互相依賴的規劃基準低 39% 至 70%。
Colorado State University Extension 區域專員 Xue “Alice” Dong 為科羅拉多州農戶開發 AI-Powered Agritourism Chatbot(AgriTourismAI.com),並舉辦工作坊,教授如何用 AI 發展及管理業務。
EveryInfra 提出補貨產品應由變體、地點和庫存狀態出發,串連補貨建議、採購任務及收貨流程,而非只依賴產品級庫存提醒。其抽查 10 間 Shopify 商店的 1,589 件多變體商品,發現 802 件(50.5%)有部分變體缺貨。文章再以需求波動、交貨期、可售與在途數量及供應商起訂量示範訂貨量計算,並討論 API 同步、採購單和收貨記錄如何更新補貨建議。
制裁名單篩查流程以模糊姓名匹配篩出候選對象,並把名單版本、候選結果及審核決定記入可逐步重播的決策紀錄。以 OFAC SDN 名單的 44,489 個拉丁字母姓名及別名測試,匹配分數為 0.95 時,六個常見姓名找到 6 個候選;降至 0.85 時找到 240 個候選,並涵蓋六個拼寫變體。名單在 30 天內有 9 天出現變更,更新監察需記錄每名客戶上次篩查所用的名單版本。
文章以系統設計面試 walkthrough 講解支付欺詐偵測系統,核心是把即時評分與離線特徵計算、模型訓練拆成兩條流程。即時評分須在約 100–200ms 的授權時限內完成,模型超時時可退回只用規則評分。退款爭議標籤可能延遲 30–90 天,設計因此包括成熟度窗口、分析員代理標籤及漂移偵測。
旅遊行程規劃器可為檢索設定 300 ms p95 預算,先以高召回檢索縮小候選範圍,再把時間分配給重新排序和上下文組裝。Node.js 架構以絕對截止時間控制各階段,超時時回傳已有候選結果,並追蹤各階段延遲、召回率和回退情況。
作者於 19 November 2026 測試六個託管記憶 API,無金鑰及假金鑰請求均回覆 401,當中兩者會回傳不同錯誤訊息。六個 API 使用四種標頭格式,包括 Authorization 中的 Bearer、Token、Api-Key,以及獨立的 X-Api-Key。若兩種測試回覆相同,401 不能證明金鑰已送達,應改用必須成功的請求(例如列出自己的資源)驗證。
Public Rows 作者介紹其建立的 Apify actor,可無需編碼查詢 10,000 個關鍵字的 Google Ads 月搜尋量、CPC 和競爭度,費用約 $31.50。每次最多可查詢 100,000 個關鍵字,結果可下載為 CSV、Excel 或 JSON;數據是每次執行時由 DataForSEO 授權的 Google Ads Keyword Planner 數據,並非抓取所得。
作者主張,若能在開始前列明每一步及分支,便應採用工作流程;只有後續步驟須視乎前一步結果而定時,才在相關步驟使用 AI 智能體。作者以客服系統為例,讓程式決定各步驟的路徑,只在確實需要探索的部分使用設有步數上限的智能體。他亦建議在工具説明中寫明調用時機,並把查詢結果區分為找到、確認不存在、部分找到及無法查詢,以免把查詢失敗誤作沒有相關資料。
文章逐步講解鄰近服務的系統設計,核心是用地理索引產生候選地點,再按精確距離篩選並排序。內容比較 geohash、S2、H3 與 quadtree 的取捨,並説明查詢時需讀取所在網格及周邊網格,以免漏掉跨界地點。對讀取量遠高於更新的靜態商戶資料,可透過快取、複本和非同步索引更新承載查詢;移動對象則改用按位置更新的記憶體網格。
作者根據團隊在多語言客服電郵及即時聊天中的實際經驗,歸納 AI 智能體在生產環境中失效的 5 個原因及相應修正方法。原因包括把原始材料整批交給模型、提示詞規則互相衝突、缺少判斷所需事實、前處理刪除業務內容,以及人工審核配置不當。作者建議逐案列印並檢查模型實際收到的內容,長內容應摘要而非截斷,並按輸出能否撤回決定人工介入方式。
Public Rows 介紹 Google Trends Bulk,透過授權的 DataForSEO Keywords Data API 一次查詢最多 1,000 個關鍵詞,不作網頁爬取。
React 自訂 Hook 可將共用的有狀態邏輯從 UI 元件抽取出來,減少重複程式碼並提升重用性。建立時應以 `use` 開頭、組合 React 內置 Hook,並只處理邏輯,不要回傳 JSX。文章列出 10 種實用模式,涵蓋焦點、延遲、視窗尺寸、表單、資料擷取及儲存等。
Express Entry 申請人可按清單整理技術工作經驗證據,讓申請所述工作與實際職責及可靠文件相互印證。清單協助整理材料,但不判定工作是否符合資格或申請人可獲多少分。申請人應核對工作日期、職責、地點及工作許可記錄,並如實説明缺失文件或資料不一致之處。
Blanco Brand 將部署時間由一小時縮短至五分鐘,平台承載 25 個項目,由三人核心開發團隊維護,服務可用率為 99.95%。團隊採用 DigitalOcean App Platform 等託管服務、重複使用相近的後端架構,並以 CI 測試把關變更。AI 模組透過 OpenRouter 接入語言模型,另設值班、警報及監控應對快速部署帶來的風險。
WordPress 主機託管的月費由約 £3 至數百英鎊不等,價格反映的不只是資源,也包括 PHP 版本、數據庫引擎、快取層、營運工作,以及處理無法快取請求的容量。
作者以 World Labs Atlas 的 Chisel 製作莫卧兒—都鐸宮殿,展示同一 3D 佈局如何生成風格一致的多視角圖像、鏡頭影片及 3D Gaussian splat。
推薦理由:文章以同一座可編輯 3D 宮殿對照文字生成影片工具,展示共用場景佈局對多鏡頭一致性的作用,並交代 splat 轉網格供遊戲使用仍需清理。
人類評審透過比較 AI 回應、指出錯誤及缺漏,協助開發者改善大型語言模型的回應品質、準確性和指令遵循。回饋成效並非必然,亦受評審對任務的理解、評估標準是否清晰及審核是否一致影響。
Mudassir Khan 提出管理 Vercel AI Gateway 虛擬模型路由變更的實務做法,建議記錄實際回應模型、明確訂出可觸發回退的錯誤,並在路由變更前後比較評測結果。虛擬模型 ID 讓程式碼使用固定名稱,由 Gateway 集中決定供應商、模型及回退鏈,毋須重新部署應用程式。文中亦示範以 OpenTelemetry GenAI 屬性追蹤請求與回應模型,並保留固定模型作評測和回滾基準。
Skyflow 與 Amazon Bedrock AgentCore Gateway 結合請求及回應攔截器,在智能體工具呼叫抵達工具前去識別化資料,並按模式處理返回內容。
推薦理由:文章以 AgentCore Gateway 攔截點為核心,對照工具、模型與文件三種資料保護模式,説明敏感資料在智能體工作流中的處理方式。
Cisco 在 2026 年 Cisco Transformation Fest 4.0 舉辦 AWS AI League 賽事,讓 1,200 名工程師透過實作培養智能體 AI 技能。冠軍 Nishanth Aluhonnu 在決賽累積 27,008 分;其智能體採用單一智能體架構,並以 AWS Lambda 執行路線規劃,按挑戰價值選擇路徑。
LiveKit 的教學示範如何透過 Recall.ai,讓 LiveKit Agents 加入 Zoom、Google Meet 和 Microsoft Teams 會議;LiveKit 負責對話、語音處理、模型推理及工具呼叫,Recall.ai 負責連接會議。
Google 在 MaxText 實作 Streaming DiLoCo,將模型參數分片並錯開同步,以避免每隔 H 步傳送完整模型造成的週期性停頓。
跨雲訓練工作應在分配 GPU 前,按實際作業規模預檢數據讀取、工作節點互傳和 checkpoint 寫入,避免網絡或儲存瓶頸令加速器閒置。檢查應模擬並發讀取、all-reduce 或 broadcast、實際大小的 checkpoint 寫入,並核對端點 DNS、配額及事先訂明的門檻。若未達標,可調整工作位置、先把數據暫存至運算附近,或縮小工作規模;預檢結果應隨每次作業記錄。
作者 Vadim Albarov 公開 ASP.NET Core 開源函式庫 BehaviorLock,以測試記錄 API 端點的 SQL 及外連行為,並封鎖未列入設定檔的存取。
作者在自建的 Claude Code 程式碼審查插件中測試直接採用依賴掃描結果,盲測將 15 項結果歸為 10 個問題,沒有一項完全成立。其中 6 個部分成立、4 個不成立;調整三項規則後,報告由 15 項減至 5 項,但餘下 5 個仍有 2 個部分成立、3 個不成立。作者建議只有在工具確認易受攻擊函式有被呼叫時,才自動列為審查發現;單憑套件匯入或鎖檔版本,不能證明程式碼會觸及漏洞。
GitLab CLI !4485 修正 glab mr view 將輸出重新導向至檔案時遺漏衝突狀態的問題,純文字輸出現在會顯示 true、false 或 unknown。
文章提供一套約 15 分鐘的 Google Workspace AI 權限審查流程,讓管理員列出已獲授權的第三方應用程式並查看它們要求存取的 Google 服務。
文章説明如何構建 AI Gateway,將多個模型供應商的接入、路由、身份驗證、用量政策與故障處理集中到共用基礎設施層。文章區分任務選模、供應商路由及部署負載平衡,並説明重試、供應商回退與模型回退的不同作用。文中以 Vercel AI Gateway 和 LiteLLM 示範託管整合及自建部署,並指出預算控管、模型能力相容性和串流故障處理須按實際部署驗證。
作者以 Zambo 的一次任務示例,展示如何透過逐步保存的收據、SHA-256 雜湊及任務封裝,核對 AI 智能體有否按指示執行。紀錄將僅規劃但未執行的步驟明確標示,並顯示改動收據中的一項數值後,重新計算的雜湊與原提交值不符。收據只能證明保存結果未被事後更改,不能證明工具的詐騙判斷正確;此託管設定的簽名及鏈檢查亦標示為未檢查。
Nettrux 在其 Agent 指南以純文字列出部署閘門,明示 x402 發現、真實款項結算及訪客結帳均未啟用。
Bison 分享一段 40 行的 Node 程式,透過 OpenRouter 並行向 GPT、Claude、Gemini 和 Grok 發送同一提示詞。程式以 Node 20+ 運行;作者提醒模型 ID 經常變動,使用前應先查閲 OpenRouter 目錄。
AI 智能體評測可對同一任務進行多次獨立試驗,以衡量成功一致性並找出單次執行可能漏掉的失敗。新任務及驗證可先跑 1 次,探索不一致行為建議跑 3–5 次,產品版本比較則建議每個版本跑 5–10 次;要檢測小幅改善或罕見失敗,所需試驗次數會更多。
AgentSearch 插件可為 OpenClaw 的 web_search 工具加入免 API key 的網頁搜尋,無需帳戶,免費模式每個 IP 每日最多 25 次。插件需從 npm 安裝,並由用戶手動選為搜尋供應商;設置錢包後,每次搜尋收費 $0.003 USDC(Base),預設每個 gateway process 支出上限為 $1.00。
文章説明如何在真實 Android 手機或 iPhone 上測試地理位置行為,指出單改 GPS 不足以模擬特定城市用戶的體驗。GPS、出口 IP、時區和語言/地區設定須逐項核對;SIM 電訊商及 App Store/Google Play 帳戶國家不受這些設定影響,代理流量亦可能因 DNS、QUIC 等路徑繞過代理。
作者分享租用雲端 GPU 微調克里米亞韃靼語模型時的成本教訓,指出填充運算及周邊流程故障會增加訓練費用和耗時。短對話填充至 seq_len = 1024 時,有用 token 比例約為 5%;採用 packing 後升至 99%,第二階段成本由舊方法估算的 $331 至 $413 降至 $14 至 $17。文章亦提出按實際處理量估算成本、按工作時長設定檢查點,以及在本機完整演練訓練流程等做法。
文章説明,50,500 bytes 的檔案在以 1,024 bytes 為單位的系統中可顯示為「49 KB」,但會超出 50,000 bytes 的上載上限。KB 可指 1,000 bytes,KiB 則指 1,024 bytes;PHP 和 nginx 的 `50K` 設定採 1,024 bytes 計算,與 50,000 bytes 的程式檢查不同。
Perplexity 發佈企業 AI 託管式 RAG 指南,説明供應商可管理向量資料庫、嵌入模型、檢索器及資料攝取等流程,並把這種模式稱為 RAG as a service(RaaS)。指南比較本地 RAG、自建雲端系統及 RaaS 三種部署模式,並列出內部知識管理、客戶支援和銷售協助等用途,以及部署、維護、成本和擴展方面的取捨。
Monumental Labs 宣佈其首個同類端到端自主 CNC 石材雕刻系統,使用 KUKA KR240 機械人。系統可將 3D 模型和石材轉換成數以百萬計的刀具路徑點及方向,並生成運動學資料和模擬。團隊的目標是在機械人製造流程中實現無人介入,但雕塑定稿仍由藝術家和設計師決定,最後表面修整則由人工完成。