甚麼是 Computer Use?AI 智能體如何操作軟件
Computer Use 是讓 AI 智能體透過軟件介面讀取畫面並操作軟件的方式,智能體會循環讀取介面、選擇動作、執行操作和檢查結果。它可透過截圖、DOM 或無障礙樹讀取介面,並用瀏覽器或桌面工具操作;文章亦比較 API、固定腳本、RPA 與自適應介面智能體。文章指出,任務可能出錯、耗時及產生費用,並建議限制帳戶權限、記錄操作,對傳送訊息、購買或刪除資料等動作要求批准。
Computer Use 是讓 AI 智能體透過軟件介面讀取畫面並操作軟件的方式,智能體會循環讀取介面、選擇動作、執行操作和檢查結果。它可透過截圖、DOM 或無障礙樹讀取介面,並用瀏覽器或桌面工具操作;文章亦比較 API、固定腳本、RPA 與自適應介面智能體。文章指出,任務可能出錯、耗時及產生費用,並建議限制帳戶權限、記錄操作,對傳送訊息、購買或刪除資料等動作要求批准。
Google Developers Blog 示範如何在單台 Cloud TPU v6e-8 上,使用 Tunix 和 Gemma 4 E2B 訓練多輪工具型智能體。
建立全球郵政編碼參考數據,難點不在郵政編碼本身,而在各地的覆蓋情況、地區代碼系統、行政區劃資料和多語名稱。ISO 3166-1 列出 249 個國家和地區,文章發布其中 131 個的郵政編碼;其餘 118 個包括沒有郵政編碼制度、資料不公開或尚未納入開放資料的地區。文章建議分開建立郵政編碼、行政區劃和代碼對照資料,並為每個代碼註明所屬系統。
作者列出 GitHub Actions 工作流程中 4 類可能讓攻擊者取得機密或寫入權限的錯誤,並逐項提出修正方法。修正涵蓋將不可信文字經環境變數傳入、避免在 pull_request_target 工作中執行 PR 程式碼、以完整 commit SHA 固定 Actions,以及設定最小權限。
AppFirstAid 的指南説明,Supabase 42P17 錯誤源於兩條互相查詢的 RLS 政策,並介紹如何透過共用 security definer 函數解除循環而不關閉 RLS。
Ali Ahmed 提供 Python 實作,示範在 LLM 應用的系統提示詞中加入隨機 Canary Token,以偵測提示詞洩漏。方法建議每個部署、租戶或工作階段使用不同 Canary Token,並在工具執行前檢查回覆文字及所有工具呼叫參數,涵蓋大小寫、標點和簡單編碼變體。
Ali Ahmed 示範如何在 Node.js 中以約 15 行、無需額外套件的 Promise 池限制並行呼叫數量。各工作通道從共用索引取項目,結果按輸入順序保存,單項錯誤會記錄為結果而不阻斷其他工作;測試中 20 項、上限 4 時,峯值並發為 4。針對 LLM API,文章指出並行上限不能代替 token-bucket 速率限制,建議兩者配合使用。
文章建議企業以 30 天試點,而非直接推出首個面向客戶的 AI 智能體,並先限定單一工作範圍、預設成功指標,再於第 30 天決定擴大、修正或停止。試點期間要界定智能體不處理的事項,安排人手接管超出範圍的請求,並記錄無人介入完成任務、人工修正及客戶重複提問等指標。文章亦建議預先訂明暫停條件,並記下最終決定及原因,供下一次試點參考。
MinHash 和 LSH 可在 RAG 索引前找出近似重複文件:先以重疊詞組計算 Jaccard 相似度,再用 MinHash 簽名及 LSH 分桶篩出候選文件。測試中,政策原文與改版的 Jaccard 相似度為 0.66;相似度門檻設為 0.5 時兩者會被標記為重複,設為 0.8 則只找到副本。文章建議副本保留一份,不同版本則按日期或版本資料保留當前版本並封存舊版,避免只按相似度刪除文件。
MRZ OCR 會混淆形似字元,文章説明如何利用校驗位修正護照機讀區(MRZ)的 OCR 錯誤。純數字欄位可直接將字母映射回數字;混合欄位則應搜尋替換候選,但單一校驗位有十分之一機會讓錯誤讀法通過。保留原本已通過校驗的讀法,只接受改動最少且唯一的修正,否則要求重新拍攝。
NVIDIA 探討如何透過 GPU 原生資料擷取,讓科學儀器支援即時 AI。即時分析感測器測量數據可讓 AI 調整流程、指引實驗及搜尋更佳操作條件,而數據傳輸和處理速度限制,往往影響儀器設計。
EverXCloud 公開免費 LLM VRAM 計算器及 GitHub 原始碼,並説明其估算推理、微調和圖像模型記憶體需求的公式。推理估算將權重與 KV cache 相加後計入額外開銷;例如 70B 模型在 BF16 下,權重需要 140 GB,尚未計入 KV cache 和額外開銷。多 GPU 估算未計互連和框架開銷,結果只適合作規劃參考;長租前應在目標 GPU 上測試。
作者以 17,698 篇證據級 PubMed 文章建立膳食補充劑 RAG,並評估系統何時應拒答。Golden run 中所有拒答均正確,沒有危險回答漏出,但約 45% 可回答問題也遭拒;評測分為 126 條 golden.jsonl(迭代用)和 199 條互不重疊的 heldout.jsonl(只作測量)。
測試 LaTeX 與 Quarto 履歷 PDF 的文字擷取結果發現,pdfLaTeX 產生的 PDF 中,pypdf 會把兩條項目的字詞連在一起,但 pdfminer.six 能正確擷取。改用 LuaLaTeX 後,pypdf 可擷取正常空格;Quarto PDF 則沒有字詞連在一起的問題。pdfminer.six 按位置分組文字,可能令標題與所屬內容錯位。
TronEnergyFrog 展示 AI 智能體如何透過 x402 在 Base 支付 USDC 租用 TRON Energy,待能量委派至 TRON 後即可發送 USDT 而毋須燃燒 TRX。流程先取得免費報價,價格鎖定 10 分鐘,再簽署付款並輪詢租用狀態;服務亦接受 Solana 上的 USDC。文章並介紹 MCP server 整合方式,以及報價核對、付款驗證和支出上限等安全設計。
Igor Ganapolsky 修正了 Mac YOLO Safeguards 憑證防護 hook 的判斷規則,避免它把自身健康檢查及設定檔讀取誤判為修改防護設定。新規則會拆分命令並逐段檢查寫入目標;若命令含有直譯器並指向受保護路徑,仍會封鎖。新增測試涵蓋 17 條應放行的唯讀命令及 15 條應封鎖的寫入命令。
Gio Rich 示範如何透過 Shopify 公開產品 feed(https://competitor-store.com/products.json)和 Apps Script,將商品、變體、價格及庫存狀態匯入 Google Sheets,追蹤競爭商店。
Ollama 模型即使能載入 GPU 記憶體,較長的上下文仍可能因 KV cache、執行緩衝區及其他 GPU 工作而導致 CPU 卸載、回應變慢,或無法按預期上下文長度執行。
Cristian Calabro 分享由 Grok Bot 負責構思和規劃、再交由專用備用 MacBook 上的編碼智能體 CLI 執行程式碼的工作流。用戶批准計劃後,啟動器透過 SSH 在獨立 git worktree 執行所選 CLI,再推送分支並建立草稿 pull request;智能體不能合併、推送至 main 或刪除分支。
Alan West 分析如何以 nvidia/Qwen3.5-4B-Qwen3.8-27B-Draft 草稿模型或 Qwen3.8-27B 內置 MTP,在 llama.cpp 加速 Qwen3.8-27B;他指出單張消費級 GPU 上,草稿模型未必更快。
文章提出一套建構可靠 AI 銷售智能體的實務架構,把公司研究、身份確認、客戶資格評估、個人化訊息及執行分成可獨立檢查的階段。各智能體之間應傳遞經驗證的結構化資料,並以系統控制防止重複發送及執行退訂要求,重要操作則應保留人手監督。
AI 卡通濾鏡會把單張照片轉成靜態插畫,照片轉影片效果則會將單張照片生成短片。目前使用的照片轉影片效果約長四至五秒,較像短暫鏡頭移動或場景變化,並非可製作任意長度影片、設定精確鏡頭路徑或編輯完整時間軸的工具。收費方式各有不同,部分產品按點數或月費、年費計價,也可能不設免費方案。
MLV 切換驗證不能只比對行數,應依序檢查行數、鍵值及欄位彙總,以識別數值、日期或狀態的靜默偏差。文章建議按資料類型設定比較方法和容差,並為每個欄位記錄負責人、檢查方法及簽核。驗證工作應輸出機器可讀結果和有限的差異樣本,作為發布證據,並在 MLV 有重大變更時重新執行。
Hu Jin 以 AI 影片工具製作約 90 秒短片《Mei 2036》,並分享利用 ffmpeg 檢查及修正生成瑕疵的流程。他以兩張角色參考圖、固定描述和每個鏡頭的首幀圖維持人物一致,並將片段抽取至每秒 4 格逐格檢查。文章亦提供簡化人物動作、剪短問題片段及以腳本串接影片的做法;最終剪輯長約 1:27。
make.fun 是 EZO Labs Inc. 營運的編碼賞金競賽平台,AI 智能體提交程式碼參賽並由沙盒評分,排名靠前者可領取以 Solana 上 USDC 支付的獎勵。參賽者須提交公開 GitHub 儲存庫及建置過程的工作階段紀錄,平台會以相同方式評分兩次,並在截止後決定正式排名。大部分賞金可免費參加,但模型費用一般由參賽者承擔,只有列明的獲獎名次可領取獎勵。
zram 可壓縮記憶體,讓 Linux 用戶從現有硬件取得更多容量,減少添置 RAM 的需要。作者測試顯示,5.7G 數據只佔用 1.7G RAM,壓縮比為 1:3.35。記憶體壓縮會稍微增加 CPU 負載,並令部分程序延遲增加。
文章示範如何在 Amazon EKS 設定 NVIDIA Run:ai GPU Fractioning,並以自訂 AL2023 映像及 G5/A10G 配置驗證 GPU 記憶體共享。
推薦理由:文章以 G5/A10G 實測展示 Pod 記憶體合約、用量監測及超限拒絕的驗證流程,並交代這項測試未涵蓋的隔離與效能範圍。
教學提出以 Flutter 作為操作呈現層,將設備專屬或高運算量工作交由穿戴式 SDK、Jetson 服務、ROS 2 節點及 NVIDIA 加速推理處理。文章建議限制佇列容量、合併高頻狀態更新,並以 p50、p95、p99 事件至顯示延遲等指標量度效能。安全關鍵控制應留在機械人端,並在網絡延遲、記憶體不足及熱節流等情況下驗證降級表現。
文章示範如何編寫能讓編碼智能體遵循的 SKILL.md,並以 code-review 技能對比含糊版本與具體重寫。重寫版明確設定適用情境、檢查步驟和固定輸出格式,並規定 diff 超過 800 行時先説明、優先檢查風險最高的檔案。
作者團隊的平台首頁及登入頁停擺 56 分鐘,連線池上限為 10,並行購買交易互相等待第二條連線,令請求掛起且沒有告警。原因是交易內透過注入的 Repository 查詢設定,另行取得連線;團隊把讀取移至交易前,並將 DB_POOL_MAX 設為 20、連線取得逾時設為 10 s。團隊亦把交易內不得另取連線寫入審查規則;13 天後,另一條資金流程的同類問題在程式碼審查中被發現。
網絡狀況轉差時,機械人儀錶板應按資料優先級調整更新頻率,避免持續請求全速更新令介面無法使用。設計建議包括量度連線質素、以遲滯機制和指數退避處理重連,並由 Jetson 閘道器整理摘要或調整遙測速率。介面須標示數據是否經抽樣、延遲或過時,並在目標硬件上測試效能。
文章核對 Claude Code 文件並檢查本機檔案,指出 CLAUDE.md 與 AGENTS.md 不會重複載入。作者在本機找到九份指示檔,其中項目 CLAUDE.md 為 1,474,604 B;是否每次完整載入這 1.4 MB,文中稱尚未測量。文章建議在 CLAUDE.md 開首加入 @AGENTS.md 共用指示,並因 Windows 環境而選用匯入而非符號連結。
NVIDIA 説明工具呼叫解析器如何把模型輸出的 token ID 或解碼文字,轉換成應用程式可用的可見文字、推理內容和工具呼叫。文章將示範如何使用 AI Agent,為新模型建構解析器。
舊有應用程式可透過逐步現代化改善維護,毋須全面重寫,並減少對業務依賴系統造成的幹擾。工程團隊應先評估架構、技術、數據庫、基建及業務流程,再按業務重要性、技術複雜度和風險選擇起步模組。Strangler Fig Pattern 是大型應用程式逐步現代化的其中一種實用方法。
pdf2md 的 npm 套件 @dudko.dev/pdf-to-md-core 0.3.6 預設會清除重複頁眉頁腳,但保留與固定文字同列的帶頁碼頁腳。作者提供按頁轉換、遮蔽數字後比對頁邊文字的腳本;測試中,它移除了全部六個編號頁腳,也保留了內置清理會刪除的重複正文句子。逐頁轉換可能改變標題層級;若下游依賴標題層級,作者建議保留整份文件轉換所得的 Markdown,只用腳本判斷要移除的行。
Postman 介紹其 Quality Pod 如何由多個分工智能體協作處理智能體故障,並由人員審批修正結果。Triage 從 traces 找出故障模式及可能原因,Fixer 草擬提示詞或工具修改並在出錯與正常對話中重播,Test Writer 把確認的故障保存為測試案例,Watcher 則監察故障會否再次出現。
作者以 22 條寫入語句測試 MySQL 8.4.13 和 MariaDB 11.4.13,發現 sql_safe_updates = 1 會攔截無 WHERE 寫入,卻放過部分可改動全表的條件。
文章説明如何在主機端使用 Google Antigravity,透過 SSH 連接隔離的 Kali Linux 虛擬機,並在執行命令前保留人工審批。作者建議先學 Linux 命令列、網絡及 Bash 和 Python,並在自有或獲授權的靶場練習 Nmap、Wireshark、Burp Suite 等 Kali 工具。
未通過 TikTok Content Posting API 審核的應用程式不能自動公開發佈影片,只能向私人帳戶發佈私人可見內容,或上載為待創作者確認的草稿。私人模式每 24 小時最多供 5 名用戶發佈;作者的追蹤器記錄 2,400 次平台投放和 642 篇貼文,但 TikTok、Instagram、YouTube 等影片平台均無記錄。各平台檔案容量上限不同,單一影片檔未必適用所有平台。
這篇 n8n 教學示範如何設定 Webhook、Edit Fields(Set)和 Respond to Webhook,讓網站表單收到根據提交資料生成的確認回覆,而非預設的「Workflow was started」。