跳到正文
目前篩選:教學
  1. DEV Community76

    Google Gemini 4 Neon:開發者需要了解的成本、上下文與推理

    Google 於 11 月 18 日發佈 Gemini 4 Neon,面向複雜編碼與分析工作,提供統一的 1,048,576-token 上下文窗口及 low、medium、high、xhigh 四個思考層級。

    最新進展11月20日 06:31Google Gemini 4 使用攻略:4 款模型、5 個套餐及優惠整理

    推薦理由:文章把比較重點由每 token 價格轉到成功完成任務的總成本,並列出重試、驗證、延遲及人工審核等評估項目,提供可套用的測試思路。

  1. DEV Community76

    DeepSeek V4.1 Flash 1017 的 Agent 管線遷移指南

    作者整理 DeepSeek V4.1 Flash 1017 的 Agent 管線遷移指南,指出 deepseek-flash alias 已指向新 build,端點、模型名稱和價格未變,但 thinking 預設開啟、reasoning_effort 預設為 high。

    推薦理由:文章把 thinking 預設開啟、工具回合須完整保留 assistant message 等遷移風險整理成檢查清單,並區分作者實測與轉述數據,方便判斷各項調整依據。

  2. 新浪科技76

    GPT-6.2 官方指南整理 8 段提示詞及 API 遷移要點

    文章整理 OpenAI 為 GPT-6.2 提供的兩份官方使用指南,列出 8 段提示詞,並説明在 ChatGPT、Codex 或 API 中套用的方法。指南涵蓋回覆風格、持續完成任務、程式碼與設計要求,以及 Codex 的驗收標準、推理強度、子智能體和 AGENTS.md。

    推薦理由:文章把官方指南中的提示詞、Codex 任務設定和 Responses API 遷移事項按使用情境整理,讀者可對照自己的工作流程選用相關做法。

  3. Hugging Face Blog65

    Transformers 如何在 32GB Mac 上推理 180B MoE 模型,解碼速度接近 Strata

    Transformers 的 MoE 專家串流實作在 32GB Mac M5 上運行 Qwen3.8-Flash-Next,200-token 解碼達 13.9 tok/s,與 Strata 的 14.8 tok/s 相差約 6%。

    推薦理由:文章以同一台 M5 和相同提示詞比較 Transformers 與 Strata,呈現專家串流優化後短文本解碼差距約 6%,並指出剩餘效能瓶頸。

  1. AWS Machine Learning Blog63

    Amazon Bedrock 四項推理設定如何影響成本

    AWS Machine Learning Blog 説明,Amazon Bedrock 的快取時長、服務層級、推理力度及 maxTokens 均會影響推理成本,並展示如何測試和核對效果。

    推薦理由:文章將四項請求設定納入同一測試流程,逐項核對模型支援、token 或成本變化及任務完成度,提供可套用於不同工作負載的評估方法。

  2. AWS Machine Learning Blog65

    如何在 Amazon Bedrock 上優化每項任務成本並衡量智能體投資回報

    AWS Machine Learning Blog 提出一套在 Amazon Bedrock 上按任務而非 token 核算成本、優化智能體支出及衡量投資回報的方法。

    推薦理由:文章把每項任務成本、成功率與人工投入納入同一評估框架,並説明如何以人類基線和 holdout 測試核算智能體投資回報。

  1. Hugging Face Blog64

    Hugging Face 生態系如何支援決策模型

    Hugging Face 將決策模型支援整合至 Transformers,並以共通介面讓模型根據狀態、問題及允許答案輸出結構化決策和機率。

    推薦理由:文章比較決策模型與傳統分類、零樣本分類的定位差異,並展示 Transformers 與 llama.cpp 如何透過共通介面處理選項、序位評分及是非判斷。

  1. DEV Community80

    Cloudflare 如何將 AI 程式碼審查的推理成本降低 68%

    Cloudflare 將 AI 程式碼審查的單次推理成本由高峯期 $2.43 降至 $0.77,減少 68%,中位審查時間亦由 4 分鐘 9 秒縮短至 1 分鐘 32 秒。

    推薦理由:文章拆解快取、模型選擇與無效呼叫對單次審查成本的影響,並展示品質評估如何找出降本後退步的審查器,整理出可複用的優化與驗證方法。

  1. DEV Community76

    如何在自己的電腦上執行 Mistral Large 4

    Mistral Large 4 可下載權重後以 vLLM、SGLang、Transformers 或 llama.cpp 自行部署,也可選用 API 或託管服務。

    推薦理由:文章並列 Mistral Large 4 的 API、託管及自行部署路徑,並整理各方案的硬件門檻與授權限制,便於比較不同部署方式的成本與要求。

  1. DEV Community76

    GPT-6.1 Terra:智能體成本重估與模型路由規則

    Shivam Kumar 建議把 GPT-6.1 Terra 設為日常智能體任務的預設模型,複雜編碼和最難推理任務則改用 Sol 或 Astra。

    推薦理由:文章把模型選擇拆成任務路由與推理力度兩個維度,並提出以完成率、錯誤率及每項完成任務成本,檢視 Terra 是否適合作為日常預設模型。

  1. DEV Community76

    GPT-4o 退役日期、替代型號與遷移指南

    文章整理 GPT-4o 系列在 OpenAI API、Azure OpenAI 和 ChatGPT 的退役時程、替代型號及遷移檢查流程。

    推薦理由:文章把不同平台的退役日期與替代型號整理成遷移依據,並列出重複評測、影子測試及分階段流量切換的順序,提醒逐項驗證工具呼叫與結構化輸出。

  1. DEV Community76

    Claude Opus 5.5 實用指南:定價、API 變更與 Bifrost 部署

    這份實用指南整理 Claude Opus 5.5 的定價、推理設定與 API 變更,並介紹以 Bifrost 管理部署和流量。

    推薦理由:文章把 adaptive thinking、effort 設定和快取讀取價格連到 API 遷移與網關部署,整理升級模型及管理生產流量時可核對的實作要點。

  1. AWS Machine Learning Blog64

    如何在 Amazon Bedrock 上以 Grok 4.7 建立長時程智能體

    文章展示如何在 Amazon Bedrock 上以 Grok 4.7 建立工具呼叫智能體,並以三項需要搜尋的任務比較 low、medium、high、xhigh 四種推理力度。

    推薦理由:文章以三項答案可窮舉驗證的任務比較推理力度與 token 用量,並提供可移用於自有 Agent 評測的測試設計和生產監控方法。

  1. Hugging Face Blog61

    Granite 4.1 LLM 如何構建:預訓練、微調與強化學習流程

    Granite Team(IBM)詳述 Granite 4.1 的 3B、8B 和 30B 模型構建流程,涵蓋預訓練、監督式微調和多階段強化學習。預訓練以約 15T tokens 分五階段進行,並將上下文窗口擴至最高 512K tokens;其後以約 4.1M 經整理樣本作微調,採用 on-policy GRPO 配合 DAPO loss 進行強化學習。

    推薦理由:文章梳理 Granite 4.1 從約 15T tokens 預訓練、約 4.1M 樣本微調到多階段強化學習的流程,呈現 dense 模型的訓練設計取捨。

  1. Andrej Karpathy:Blog79

    Andrej Karpathy 用 200 行純 Python microgpt 解説 GPT 訓練與推理

    Andrej Karpathy 以 microgpt 示範如何用一個 200 行、無依賴的純 Python 檔案訓練及推理 GPT。程式涵蓋資料集、Tokenizer、自動微分、GPT-2-like 架構、Adam 及生成流程;示例以約 32,000 個名字訓練,模型有 4,192 個參數。文中亦對照生產級 LLM 在數據、模型規模、訓練和推理工程上的差異。

    推薦理由:文章將 GPT 的演算法核心與生產級 LLM 的規模化工程逐項對照,呈現數據、模型規模、訓練及推理流程的差異。

  1. Hugging Face Blog61

    用 React Native 在手機上本地執行 LLM 的入門指南

    Hugging Face Blog 的教程示範以 React Native 建立手機應用,在裝置本地執行 LLM 聊天。應用從 Hugging Face Hub 下載 GGUF 模型,並以 llama.rn(llama.cpp 的 binding)載入,教程涵蓋 Android 和 iOS。文章亦介紹 GGUF 量化格式、手機選模取捨,以及逐 token 生成與推理速度追蹤等功能。

    推薦理由:文章按模型選擇、GGUF 下載與載入、聊天介面逐步拆解 React Native 實作,並説明量化格式與設備能力的取捨,可作為端側 LLM 應用的開發參考。

  1. Hugging Face Blog60

    Hugging Face + Dask 如何擴展 AI 資料處理

    Hugging Face Blog 示範以 Dask 和 Coiled 把 FineWeb-Edu 網頁分類流程,從 pandas 本機處理 100 行擴展至雲端多 GPU 處理 211 million 行。

    推薦理由:FineWeb-Edu 分類案例呈現了由 pandas 本機小批次測試,擴展至 Dask 與 Coiled 雲端多 GPU 處理 211 million 行資料的完整流程,為大型資料集推理提供可參照的工程做法。

  1. Hugging Face Blog60

    甚麼令對話智能體有用?

    Hugging Face Blog 梳理對話智能體的訓練方法,涵蓋 IFT、SFT、RLHF 和 CoT。文中指出,IFT 所需指令數據僅為數百例量級,SFT 以人工標註改善有用性和安全性,RLHF 則根據人類偏好訓練獎勵模型,再用強化學習訓練對話智能體。

    推薦理由:文章把 IFT、SFT、RLHF 與 CoT 放在對話智能體訓練脈絡中梳理,並比較多個系統的訓練資料和評估方向,呈現各方法的分工。

  1. Hugging Face Blog63

    BLOOM 推理優化實錄:延遲降低 5x、吞吐量提升 50x

    Hugging Face 團隊記錄了為 BLOOM 建置推理伺服器的優化過程,稱數週內將延遲降低 5x、吞吐量提升 50x。改用 Tensor Parallelism 後,延遲由 300ms/token 降至 91ms/token,吞吐量升至 10RPS;其後透過 torch.jit.script 和自訂 kernel 將延遲再降至 71ms/token。

    推薦理由:文章以 BLOOM 的實測串連並行策略、算子融合和批次服務的取捨,呈現大型模型推理優化中如何平衡延遲與吞吐量。

  1. Hugging Face Blog84

    Hugging Face Transformers、Accelerate 與 bitsandbytes 的大規模 8-bit 矩陣乘法入門

    Hugging Face 將 LLM.int8() 整合至 Transformers 與 Accelerate,透過混合 INT8/FP16 矩陣乘法降低大型語言模型推理所需的記憶體。

    推薦理由:文章串連 LLM.int8() 的離羣特徵處理、效能比較與 Transformers 整合細節,呈現 8-bit 量化降低大型模型記憶體需求的實作脈絡。

已經到底了