零伺服器 AI:如何透過 WebGPU 在瀏覽器內執行大語言模型與向量搜尋
WebGPU 可讓大語言模型推理、嵌入向量與 RAG 在瀏覽器內執行,並透過 OPFS 持久儲存模型權重及向量索引,完成初次下載和快取後可離線運作。
WebGPU 可讓大語言模型推理、嵌入向量與 RAG 在瀏覽器內執行,並透過 OPFS 持久儲存模型權重及向量索引,完成初次下載和快取後可離線運作。
CheapClankers 發佈瀏覽器端 API 設定工具,可按 API base URL、可選模型 ID 和輸出上限產生 Node.js、Python 及 Bash/cURL 範例,頁面不設 API key 欄位,也不會發出推理請求。
NGINX 的 CVE-2026-123633 和 CVE-2026-123007 於 11 月 18 日披露,兩者均要求啟用 HTTP/2,且無需身份驗證;攻擊者連接相關連接埠後,可能在伺服器執行程式碼。指南説明如何盤點 HTTP/2 服務、在修補與停用 HTTP/2 之間取捨,並從錯誤日誌和異常連線跡象監測利用行為。升級後還要重啟 NGINX,否則舊 worker 仍會執行有漏洞的程式碼。
IEC 提出的「Total Contribution」框架,主張評估 AI 數據中心可持續性時,除能源、水和排放等環境足跡外,也納入電網關係、經濟生產力及公共服務。
Celigo 提供 Platform MCP 和 Celigo CLI 兩種在 integrator.io 帳戶介面外操作帳戶的官方方式。Platform MCP 是 Celigo 託管的 MCP 伺服器,Celigo CLI 則透過命令操作 REST 資源;兩者使用相同 REST API 和權限。
Arize Phoenix 的 CVE-2026-53998 漏洞可讓攻擊者在預設安裝中免登入讀取 PHOENIX_SECRET,並偽造管理員 token,CVSS 10.0。
AI 數據中心接駁高壓輸電網可提供所需供電容量,但會增加電力系統的複雜程度與調試風險;高壓調試須作為專業工程範疇規劃,不能只視為低壓調試的延伸。66kV、110kV 和 150kV 電網接駁日益受關注,變電站、電力變壓器、高壓電纜、開關設備及保護系統均須檢查、測試和驗證。
Nvidia 公佈第三季數據中心收入為 $107.6 billion,按年增長 110%,並披露與 AI 基建項目相關、最高達 $118 billion 的財務擔保。
推薦理由:Nvidia 的擔保與長期供應承諾顯示,AI 基建擴張不只受晶片供應制約,也牽涉供電設施融資及記憶體、封裝等產能。
Social Department 構建 QuickSearch,將娛樂行銷中的編輯判斷轉化為可執行的影片檢索流程,讓用戶透過單一操作尋找合適片段。QuickSearch 提供 Shareable Scenes、Quotable Quotes、Memeable Moments 和 Trend Align 四項功能,結合影片內容理解與持續更新的趨勢資訊。
Salesforce 將 Amazon SageMaker AI 跨區域推理路由接入 Internal Gateway,讓流量可在多個區域及帳戶中已部署的端點間轉送,並由路由層處理健康判斷與故障切換。
推薦理由:文章以 Salesforce 的實作説明如何將跨區路由接入既有閘道、保留資料駐留限制,並以回應欄位和 CloudWatch 指標追蹤流量切換。
美國與菲律賓計劃在克拉克設立 Pax Silica AI 樞紐,規劃 1,620 公頃興建晶片工廠、關鍵礦物加工廠及數據中心。兩國官員預計年底簽署框架協議,Pax Silica 旨在應對中國在半導體製造及關鍵礦物加工領域的主導地位。
長時間執行的檢查工作應在建立記錄時解析一次設定,並把帶有版本、時間戳及雜湊值的快照存入記錄,後續行為檢查均讀取該快照。必須即時生效的設定則明確列入即時讀取清單;文章亦示範舊快照的版本升級,並提供 10 項 Python 測試。
文章建議金融研究儀錶板採用具成本核算與追蹤能力的檢索管線,監測索引新鮮度、證據品質和延遲。文中附有 OpenTelemetry API 的 TypeScript 範例,記錄候選數、新鮮結果數和耗時,並建議追蹤索引工作中的文件、分塊、嵌入請求及索引大小。同時提醒避免把文件內容及帳戶識別碼寫入追蹤屬性,並在遙測資料離開程序前遮蓋查詢內容。
Gherkin Studio 開發者分享在 Atlassian Forge 為 Jira Cloud 開發 Gherkin 編輯器及雙向 Git 同步功能時,遇到的八項限制與處理經驗。
GitLab CLI 的 `glab ci view` 有一項修正提案,避免工作重試令其後的下游觸發工作從顯示結果中消失。新方法保留工作首次出現的位置,並以最後一次嘗試更新該項;回歸測試確認第二次嘗試和下游觸發工作均按順序顯示。修正及測試見 GitLab CLI 合併請求 !4483,相關檢查使用 `go test ./internal/commands/ci/view`。
Ian 的 workkit 0.94 為根目錄 npm test 和 workkit prove 加入監督,連續兩次檢查均無日誌輸出或處理器活動時,會以 exit code 124 結束執行。
Linnix 是一個以 eBPF 和 PSI 分析 Linux 節點停頓來源的可觀測性項目,並可選用語言模型生成事件説明。Span Observer 根據 README、文件及程式庫作出評估,沒有安裝或執行 Linnix;文章指出授權和 DaemonSet 權限説法不一致,效能數據亦沒有獨立驗證。作者建議先在非生產節點測試、暫不啟用 AI,並確認授權及安全設定。
HighPoint 宣佈進軍企業網絡市場,推出基於 Intel E810 架構的 Rocket 9500A 系列 25GbE 和 100GbE 網絡介面卡。首批產品包括 Rocket 9512A、Rocket 9511A 和 Rocket 9504A,售價分別為 $379.00、$349.00 和 $399.00,並提供 3 年有限硬件保養。
theCUBE 對 monday.com Elevate 活動的報道歸納出三項企業 AI 工作流程自動化洞見,涵蓋智能體部署、營運可視度及擴展組織能力。monday.com 內部推行計劃產生逾 3,600 個智能體後,設立 monday Frontier,協助客戶找出工作流程瓶頸並推行 AI 專案。
Stripe Billing、Chargebee 與 Lago 的用量計費方案,涉及外部 API 開銷、自建事件佇列維護、按總收入比例收費,以及帳本可檢視程度等架構取捨。系統若每秒處理 50,000 個 API 請求,用量管道便須以相同速率接收、去重、彙總及儲存財務事件。
保險業的 guardrail 可在 AI 系統執行前、中、後施加技術限制,協助處理承保、理賠和客戶服務中的風險。文章指出,Circular SUSEP nº 695/2024 未明文要求使用 guardrail,但要求保險公司識別、評估和減低 AI 風險;guardrail 是配合相關治理要求的做法。文中亦提到,2023 年有 72% 的巴西數碼保險公司表示已開始實施 AI 技術控制。
Hugging Face分析272次生產環境監督式微調(SFT)工作,發現CatBoost能更準確地預測端到端耗時。測試涵蓋約7,382 GPU 小時;CatBoost的R²為0.98,平均絕對誤差為1.71小時,中位誤差為0.51小時。相比之下,FLOP估算的R²為0.31,平均絕對誤差為12.41小時。
AWS Quick User Group DC 首次聚會展示企業如何以受管治、可信的數據基礎,推進 AI 分析及智能體工作流程。AWS Quick 整合分析、自然語言互動及多步驟任務協調,並連接 Salesforce、Slack、Google Drive 和 Microsoft 365。所有出席者在 50 分鐘內設計並推出自訂應用程式,另有六名參加者製作自動化流程。
AWS 提出一種 Amazon Bedrock AgentCore Gateway 私有 API 接入架構,將 VPC Lattice 資源閘道放在網絡帳戶的專用 VPC,並由其子網經 Transit Gateway 路由,使資源閘道與私有後端之間的請求及回覆經中央防火牆。
推薦理由:文章梳理資源閘道部署、跨帳戶設定與防火牆路由,並附驗證檢查,為企業在網絡集中管控下接入私有 Agent 工具提供具體架構參考。
Factory 擴大與 Microsoft 的合作,讓企業可在自己的 Microsoft Azure 環境部署自主軟件工程系統,並沿用現有程式碼、身份及管治系統。
OpenAI 表示,其 AI 模型令 AMD 旗艦 GPU 設計的功耗、效能與面積指標改善最高 14%,部分改動已用於送交製造的晶片。模型改寫描述晶片電路的程式碼,並以 Synopsys 軟件檢查改動;OpenAI 稱這相當於不足五個月取得約一年的進展。
推薦理由:部分 AMD 旗艦 GPU 設計改動已進入製造,文章亦交代模型改寫電路描述程式碼並用 Synopsys 軟件逐項檢查,具體呈現 AI 參與晶片設計的流程。
Maritime 推出面向生產環境 AI 智能體的託管雲端服務,為每個智能體提供獨立、持久的 microVM 和可配置環境。服務亦提供持久狀態、休眠與喚醒編排、觸發器、排程、監控、網絡設定、更新、回滾和故障恢復等功能。每個 2gb RAM 智能體每月收費 $1,該價格包含不限量使用,並可按需增加資源。
Jack Ma 對照 Express、Hono、Next.js、Cloudflare Workers、Django REST framework 及 LiteLLM 相關流程,説明按客戶設定 API 限額時,檢查、預留配額和記錄用量的位置。實作差異集中在認證時序、路由識別及回應送出後的處理;LiteLLM 用例則應在 API 層辨認客戶,並於模型呼叫後記錄實際 token 用量。
文章説明如何在 Node.js 以 Multer 接收頭像及訓練素材,並在寫入前驗證租戶、檔案大小與內容,再以不可變鍵保存至私有物件儲存。作者建議在需要共用 REST 整合面的情況下評估 Infrai,並以資料庫記錄 ObjectRef、租戶關係及保留日期,透過冪等鍵處理重試。
Shadeform 的替代方案各有取向,關鍵分別在於啟動後由誰負責持續執行工作及處理失機。Nodus 可從最近一次提交的檢查點恢復工作,H100 SXM 價格為每小時 $2.60;SkyPilot 是開源選擇,Vast.ai 提供低價 GPU,Runpod 則提供按秒計費的容器 Pod。
文章以 URL 縮短器比較 AI 快速生成的原型與工程化實作,説明原型雖能建立短連結及轉址,仍缺少輸入驗證、持久化儲存、碰撞處理和濫用防護。改進版本使用 TypeScript、Express、SQLite 和 Zod,加入 HTTP/HTTPS 網址驗證、持久化儲存及短碼重試,並處理 302 轉址和 404 錯誤。
Design Den Solutions 查核自家網站的 22 個查詢表格,發現全部沒有 action 或 method 屬性,提交完全依賴 JavaScript。停用 JavaScript 時,表格會以 GET 方式重新載入首頁,輸入內容亦會出現在網址列、瀏覽器記錄及伺服器請求記錄中。直接加入原生表格提交屬性也行不通,因為端點會回傳 HTTP 409;團隊建議先提供清晰可見的查詢備用方式。
Aico Grounding 已開源,這個本機定位元件可將自然語言介面目標轉換成螢幕位置,供 Agent 執行操作。它會識別畫面上的互動元素、為元素分配參照,並返回預測目標位置;即使介面語言不同,也能識別元素。在 Aico 硬件本機執行可減少雲端路由造成的延遲,並避免把螢幕內容傳到外部伺服器。
Niyi 在 DEV Community 分享其創辦的 Kilimanjaro,並以穩定性、安全性和標準作為受監管行業軟件的三項關鍵要求。Kilimanjaro 將資料庫、檔案、即時串流、AI 防護措施、無伺服器運算、加密、存取控制和審計記錄整合為一組服務,並內置資料存放位置及存取規則。
作者打造了開源 Android 防火牆 TacUNS Firewall,讓未取得 root 權限的裝置也可在本機過濾網絡封包,阻止未經授權的連線。它使用 Android VpnService API,內置涵蓋逾 700,000 個威脅及追蹤網域的封鎖清單,並提供 AI Radar,即時偵測及封鎖外發 AI 流量。防火牆不需帳戶或雲端服務,亦不包含分析 SDK。
Physical AI 將感測器收集的工業數據交由 AI 分析並作出決策,再透過已批准的操作控制設備或機械人,並以回饋確認行動是否達成目標。文章介紹設備診斷與預測性維護、品質檢查、機械人、數碼孿生及互聯工業系統等應用,並指出安全邊界、測試、數據品質和網絡安全等工程考量。
這套僅使用 Python 標準庫的驗證器檢查墨西哥 RFC 和 CURP 的格式、日期及校驗位,涵蓋 13 或 12 個字元的 RFC,以及 18 個字元的 CURP。驗證器會回傳錯誤原因,並將兩種通用 RFC 分開處理;離線驗證不足以確認識別碼是否屬於真實人士。
作者為客戶建置 Amazon OpenSearch Service 向量搜尋 POC,並撰寫 README 和 RECREATE.md,分別記錄設計理由與重建流程。
OpenAI 詳解 Codex 沙盒如何透過作業系統的隔離機制,在用戶現有環境中限制命令對檔案系統及網絡的存取。內建 :workspace 權限設定允許工作區內寫入、廣泛讀取檔案並預設停用網絡,用戶亦可自訂權限設定檔,或透過 codex sandbox 將沙盒執行整合到其他工具。
推薦理由:文章串連權限設定、網絡代理與 macOS、Linux、Windows 的隔離實作,説明 Codex 如何在沿用本機開發環境時約束命令存取。
藝術家兼史丹福講師 Miguel Novelo 利用 Modal 建立快速流程,將二維瑪雅文字圖像轉成三維模型,探索以 AI 和雲端運算開發瑪雅銘文研究工具。他以約 100 個瑪雅音節符號起步,並計劃用展覽收集的訪客畫作持續改進流程。專用模型可結合文字形態與文化背景,補足通用大型語言模型未涵蓋的尤卡坦半島在地知識。