如何測試 AI pipeline,而不必每次呼叫模型
可將模型置於簡單介面後,以 FakeLLM 測試提示詞建構、檢索、解析及路由等程式碼,避免每次測試都呼叫真實模型。測試亦可涵蓋空白、非 JSON 及截斷回覆;CI 每次提交執行非 live 測試,真實模型測試則另行按排程或在發佈前執行。
可將模型置於簡單介面後,以 FakeLLM 測試提示詞建構、檢索、解析及路由等程式碼,避免每次測試都呼叫真實模型。測試亦可涵蓋空白、非 JSON 及截斷回覆;CI 每次提交執行非 live 測試,真實模型測試則另行按排程或在發佈前執行。
一項觀察性研究比較 663 組 AI 輔助提交與人工作業提交,未能判斷 AI 輔助提交是否更常被撤銷或後續修復。30 日內,AI 輔助組有 1 次撤銷,對照組有 2 次;信賴區間很寬,研究樣本不足以得出明確結論。研究者指出,修復判定方法雜訊較大,可靠解答需要約 10 倍的配對數及經驗證的修復追蹤方法。
阿里雲萬小智 AI 建站活動推出輕量版首月 9.9 元優惠,標準版為 81.67 元 1 個月,GEO 套餐為 99 元 1 個月。萬小智 3.0 是阿里雲旗下的 AI 建站與經營平台,支援以自然語言建立網站,並提供 GEO、SEO 診斷、內容創作、AI 客服及經營分析等功能。
作者探索開發者如何同時使用多個 AI 編碼智能體處理不同任務,並保持工作井然有序。文中提到一個旨在簡化並行 AI 編碼工作流程的開源項目,採用 CLI 方式,適用於使用 Claude Code 和 Git worktrees 的開發者。
這個 Python SQLite 範例示範如何在批次預約遇到重疊時,回滾整個交易,避免保留批次中先前已成功的預約。範例以半開區間判斷重疊,並用資料庫 CHECK 約束拒絕結束時間早於開始時間的預約。
《Prompts Blend Requirements and Solutions》提出,提示詞可作為不斷演進的需求工程產物。研究概述提示詞如何變化、如何支援驗證與確認,以及如何影響軟件質素,並提出透過受控實驗測試逐步改進提示詞能否提升生成軟件的質素。
作者測量 Python 3.13 標準程式庫後發現,常見 cat -n 行號格式會令程式碼輸入 token 數增加 42.4%。測試涵蓋 131 個檔案及 107,041 行;不補空格、以 Tab 分隔行號與程式碼的格式只增加 18.5%,作者建議只為相關片段編號。
作者以 205 輪審查、涉及 126 個任務的記錄,核對 AI 程式碼審查器與後續處置,得到 90% 的替代指標一致率,並指出這不代表準確率。Claude Sonnet 放行的 81 次中有 9 次其後被退回重做(11%),兩位審查器合計有 6 次封鎖被作者推翻並照常合併。作者新增每項任務的次數與預算上限、允許修改路徑檢查,以及記錄覆寫操作的 review-audit 命令。
避免 Agent 為單一葉元件新增 React Context Provider,應先用 props、父層狀態或頁面現有的 store 管理狀態。新增 Provider 應有至少兩個相距較遠的消費者,並對應清晰的共享邊界;作者亦建議在提示詞中明確禁止不必要的 Context,並在 diff 搜尋 createContext、Provider 和 useContext。
作者以 guard 0.4.11 評估 83 份公開 anthropics/claude-code issue 報告中的 107 條命令,結果為 24 條拒絕、52 條詢問及 31 條未作判定。
Nova 完成監督式微調(SFT),並以 57.2M 個參數達到 100% 嚴格 JSON schema 工具呼叫準確率,消費級硬件上的 token 生成延遲低於 50ms。
Anthropic於11月19日登陸納斯達克,IPO發行規模約813億美元,上市首日股價升17%,市值超過1.7萬億美元。截至今年9月底,公司約有5300名員工,第三季度營收170億美元;員工調查顯示,他們平均在約60%的工作中使用Claude,並自評生產效率提升約50%。第三季度算力及基礎設施費用達99億美元、佔營收58%,文章據此討論AI提高產出之際,企業在人手配置與算力投入上的取捨。
推薦理由:文章把人均營收、Claude內部使用調查與算力開支放在同一脈絡,呈現AI提高團隊產出之際,企業在人手配置和算力成本上的取捨。
Anthropic 上市後的核心挑戰,是在 Claude Code 之外找到更大的收入來源。Claude Code 不足兩年已為公司帶來數十億收入;Anthropic 在 IPO 募得 $81 billion,並在同期股份出售中再募得 $26 billion,將網絡安全、生命科學和機械人列為探索方向。
推薦理由:文章把 Claude Code 帶來的收入增長,與 Anthropic 拓展生命科學等市場及龐大算力投資並置,呈現上市後增長預期與支出承諾之間的張力。
git-guardrails-claude-code 以 Claude Code 的 PreToolUse 鈎子和 20 行 Bash 腳本,按 9 個模式攔截危險 Git 命令,退出碼 2 會阻止工具呼叫執行。文章亦提供安裝及驗證步驟,並指出缺少 jq 會令鈎子靜默放行,且 git branch --delete --force 未被規則涵蓋。它不會阻止提交含密鑰的檔案,也不是安全沙箱。
千問 Qwen3.7-Max 面向 Agent 任務,支援多輪工具呼叫、擴展思考及程式碼工程,並提供 API 呼叫方式。模型上下文窗口最高支援 100 萬 token,長文本輸出最高支援 64000 token,亦支援函數呼叫、結構化 JSON 輸出及 MCP。思考模式會增加 token 消耗和回應時間;目前版本暫不支援自訂微調。
Qwen3.7-Plus 入門教程拆解其多模態 Agent 能力、底層架構及 API 調用方法,涵蓋文本、圖片和影片輸入、工具調用與 GUI 操作。模型上下文窗口最高支援 100 萬 token,並提供上下文緩存;當前版本不支援自訂微調。教程亦提供 Python 和 curl 調用示例。
Qwen3.8-Flash 採用 MoE 架構及 GDN+QSA 混合稀疏注意力,原生支援百萬 token 上下文;在百萬上下文場景下,文件預填充速度提升 7 倍以上。模型兼容 OpenAI 與 Anthropic API 協議,並提供雲端 API 呼叫及開源權重本地部署方案。
同一 Codex 模型執行同一任務時,T3 Code 用時 10 分 26 秒,原生 CLI 用時 6 分 07 秒;扣除等待人工批准清理步驟的 6 分 6 秒後,T3 Code 的實際工作時間為 4 分 20 秒。T3 Code 預先準備環境,減少了工具呼叫;測試中,Codex 的兩個版本各有一項可重現缺陷。作者指出,這只是每種方式各跑一次,尚不足以證明速度差異。
文章説明如何利用 App Runner 的 VPC connector 連接私有 DynamoDB 向量搜尋,建構安全的 AI 程式碼審查服務。服務可搜尋程式碼片段的嵌入向量,並請 Claude 提供建議;示例設定 1536 維 L2 向量索引及 DynamoDB VPC endpoint。
千問大模型可透過網頁端免費對話及 API 新人免費 Token 額度使用,文章整理由開通、建立密鑰到以 curl、Python 呼叫模型的實操流程。網頁端支援文件解析、問答創作,API 適合腳本開發及原型測試。開啟「免費額度用盡即停」,可在額度耗盡時攔截 API 請求,避免轉為按量計費。
Ethan Lowman 的 Jujutsu(jj)版本控制系統指南,介紹如何在 Git 儲存庫中並用 jj,並以提交圖管理工作。指南示範 jj 如何自動快照工作副本、自動 rebase 後代提交,並容許延後處理衝突及使用 jj undo 復原操作。文章亦介紹以 bookmarks 對應 Git branches,並透過堆疊式 PR 將大型變更拆分成較小的審查步驟。
CodeNewbie Podcast 將推出 Season 28,聚焦以 AI 開發,第一集定於 12 月 2 日(星期三)推出。作者回憶,2017 年前往 Ada Developers Academy 途中,一邊聽節目一邊在巴士上温習抽認卡;節目嘉賓轉行的經歷,也令作者相信自己同樣做得到。
Meta 研究人員提出 SWE-sweep 基準測試,要求編碼智能體在沒有錯誤提示的真實程式碼庫中自行找出並修復程式錯誤。在涵蓋 100 個程式碼庫、22 種語言的 4,068 個已知錯誤中,最佳受測模型只修復了 4.7%,並由隱藏測試驗證。
文章建議準備 OpenAI 編碼面試時,將無 AI 編碼與 AI 輔助編碼視為兩種不同技能分開練習。作者以 Python 租約有效期函式作練習,要求按合約處理到期邊界、缺失或非整數的 granted_at,以及避免修改輸入資料。無 AI 練習時先自行寫測試和修正;使用 AI 時則審查補丁,特別檢查到期比較、複製行為和 bool 被視為 int 的陷阱。
兩項受控研究對 AI 輔助編碼的速度得出相反結果:GitHub 的 Copilot 實驗中,開發者用 AI 從空白檔案編寫 HTTP 伺服器快 55%;METR 則在大型既有程式庫的問題修復任務中測得慢 19%。
文章將使用 Agent 開發軟件視為一種新型「奶頭樂」,指出開發者可能不斷製作功能、打磨產品,藉此逃避尋找用戶和驗證市場需求。有人持續支付 Claude 和 Codex 訂閲費、消耗 Token,產品仍沒有用戶;單純製作軟件和功能已很容易被複製。
Kilo 作者用同一提示詞,透過 Kilo 比較 GPT-6.2 Astra 和 GPT-6.2 Sol 建造互動式 3D 金字塔的表現;兩款模型都以 Three.js、Vite 和 TypeScript 建成有 204 塊石、8 層的金字塔。
David León Gómez 提出為 AI 編碼智能體加入操作合約,界定自主權上限、可用工具、停止條件、最低核查證據和預期風險。112 個提示詞中,46 個為 A0、57 個為 A1、8 個為 A2,另有 1 個編排器採動態權限,沒有 A3;發布權另由人或預先訂明的政策決定。
這篇指南提供 Codex 權限設定檔的 config.toml 範例,示範如何限制命令對本機檔案和網絡的存取,並設定 API 開發允許清單。api-work 設定允許工作區寫入、拒絕讀取 .env 和 secrets,並只允許指定 API 主機及 Apidog 網域;作者以 codex sandbox 測試拒絕規則。
在 NVIDIA Hopper 上,較大的 tile 可能造成暫存器壓力,令較小配置反而快約 30%。FlashAttention-2 案例中,128×128 tile 達 208.7 TFLOPs/s,低於 128×64 的 295.7 TFLOPs/s;採用每個 CTA 一個 warpgroup,可避免額外暫存器競爭。
意法半導體推出 STM32Cube for Agentic AI,為 STM32 開發提供上下文資訊、開發指南及經驗證的參考程式碼,協助 AI 智能體提高程式準確度。測試中,獲得支援的 AI 智能體生成了可正常運行的程式碼,Token 消耗只有未獲支援組別的十五分之一。該工具目前處於 Beta 測試階段,正籌備於近期公開發布。
這份指南整理 Claude Code auto mode 無法啟用或分類器阻擋操作時的排查方法,並將兩類問題分開處理。可用性檢查涵蓋支援模型、服務供應商及管理設定;若工作階段仍以 Manual 啟動,文中指出 defaultMode 設為 auto 應放在 ~/.claude/settings.json,而非項目設定檔。
文章比較多款開發者時間追蹤工具,指出 WakaTime 適合查看逐檔、逐語言及 AI 程式碼指標,ActivityWatch 適合免費本機追蹤,TimeUno 則追蹤整個桌面及 AI 智能體工作階段。
Akko 將於今晚 20:00 開售面向氛圍編程的多功能輸入設備靈動 Key,標價 268 元。設備支援三模連接,配備 3 顆按鍵、1 個旋鈕及全向麥克風,但藍牙模式不支援收音。收音系統針對低音量優化,並適配騰訊 WorkBuddy,亦支援辦公會議控制及手機/平板遙控。
Akko 將於今晚 20:00 開售面向氛圍編程開發的多功能輸入設備靈動 Key,現標價 268 元。設備支援三模連接,配備 3 顆按鍵、1 個旋鈕及全向麥克風,藍牙模式不支援收音。靈動 Key 適配騰訊 WorkBuddy,亦支援辦公會議控制及手機、平板遙控。
文章主張,Agent 開發應先改善 harness 的工具設計、驗證迴圈與執行環境,待提升停滯後才考慮微調模型。
作者提出一套約 200 行、僅使用 Python 標準庫的腳本,從智能體工作階段紀錄找出重複的工具調用序列,並只在證據達標時草擬技能頁供人工審核。判定門檻包括至少 3 個工作階段、接受率至少 75%,以及最近 30 天內出現;已核准的技能不會被覆寫,腳本亦會標示過時或與近期操作不符的技能。
Windows 上 Python 命令未被識別、pip 不可用或套件無法匯入,成因可能是 Python 未安裝、PATH 缺少相關資料夾,或套件與執行程式使用了不同 Python 版本。
作者提出把 Claude Opus 4.8 用作 Pull Request 審查的紅隊,從系統風險而非程式碼風格檢視改動。方法包括提供相關 API、資料庫、測試及部署脈絡,並檢查合約、權限、狀態與併發、營運風險。作者建議先在 CI 以建議模式運行,要求輸出列明嚴重程度、信心、失效情境及修正建議,不應單憑模型輸出阻擋合併。
Onlook 推出面向設計師的開源桌面開發工具,讓用戶在畫布上查看並視覺化調整本機運行的真實應用,再由接入的 Agent 編輯 Git 專案中的實際檔案。它不附帶自有模型,可連接 Claude Code 或 ChatGPT/Codex 帳戶,並支援匯出 HTML、PNG、JPEG 或 PDF;其原始碼採用 Apache 2.0 授權。