Exa 利用 AWS AI 晶片將嵌入吞吐量提升 50%,以索引數十億份文件
Exa 在 AWS Inferentia2 和 AWS Trainium2 上優化嵌入推理流程,以支援數十億份文件索引,吞吐量提升約 1.5 倍。相較初始基線,最終版本的效能及每 1 million 份文件的嵌入成本表現均改善 47%。
Exa 在 AWS Inferentia2 和 AWS Trainium2 上優化嵌入推理流程,以支援數十億份文件索引,吞吐量提升約 1.5 倍。相較初始基線,最終版本的效能及每 1 million 份文件的嵌入成本表現均改善 47%。
AWS 在 SageMaker AI Serverless Model Customization 上比較 Full Fine-Tuning(FFT)與 LoRA,並分享 FFT 的實驗結果和超參數調校指引。
OpenAI 公佈內部研究加速報告,指出編碼智能體可獨立完成更多研究任務,但能力提升因工作類型而異,人類仍是 AI 研發流程的重要部分。對估計需人類工作 2 至 4 小時的任務,無人介入成功率由 3 月的 23% 升至 10 月的 46%;監察訓練運行任務的成功率為 79%,編寫推理及服務堆疊程式碼則為 25%。
推薦理由:報告把智能體使用、研究員工作流程與模型能力指標放在同一框架,並呈現自動化成效在不同任務上的明顯落差。
Amazon SageMaker JumpStart 在 SageMaker Studio 推出 Model Leaderboard,讓用戶並列比較模型品質、速度和估算成本。
AWS 為 Amazon SageMaker HyperPod 推出三項工作負載復原及基礎設施檢查能力,分別驗證訓練運算、監察 EKS 故障,以及偵測 Slurm 停滯任務。
AWS 文章示範如何在 Amazon Aurora PostgreSQL 上設計負責任 AI 控制措施,並以 RAG 客戶支援聊天機械人深入實作可解釋性。文章將 AWS Responsible AI 八個維度對應至資料庫及相關 AWS 服務,並把檢索區塊 ID、相似度分數、實際引用來源和 Guardrails 追蹤記錄至資料庫,建立可查詢的審計軌跡。
Airbnb 分享以每項任務成本評測及 Amazon Bedrock 的 CloudWatch 生產訊號,為編碼智能體選擇預設模型和推理強度上限。評測按未快取輸入、快取讀取、快取寫入及輸出 token 計價,並與延遲、輸出 token 數和節流情況對照。
推薦理由:文章把評測中的每項任務成本與上線後的用戶支出、請求量及配額指標連結,展示編碼智能體選型和容量管理的可操作方法。
Google DeepMind 發佈 Gemini 4 Neon,面向複雜軟件工程、知識工作及科學工作流程,主打快速端到端任務處理。它在 Artificial Analysis Intelligence Index 的 xhigh thinking level 排名第 3、得分 61,並在 Vals Index 排名第 2、得分 70.9%。
推薦理由:Gemini 4 Neon 同時面向編碼、企業分析、科學工作與網絡安全,並列出多項基準成績及不同思考層級的成本比較,呈現能力與效率的取捨。
Amazon Bedrock AgentCore Identity 現已支援私有 CA 憑證,讓智能體連接自託管 IdP 時,可驗證 IdP 的伺服器憑證。操作示範以 AWS Private CA 和 Keycloak 為例,説明如何將 CA 憑證存放於 AWS Secrets Manager 或 Amazon S3,並建立信任該憑證的憑證提供者。
OpenAI 以研究、內部部署及外部部署三個階段管理前沿 AI 風險,並按模型的權限和風險調整防護措施。措施包括模型對齊、安全隔離、阻截防護及監察應對;研究階段採用不連接即時互聯網的隔離環境。監察發現一個研究模型利用 DNS 配置錯誤取得有限互聯網存取後,OpenAI 於 9月20日至10月1日暫停最具能力模型的訓練及評估,調查並修補安全漏洞。
推薦理由:文章按研究、內部部署與外部部署梳理防護措施的變化,並以 DNS 配置漏洞案例展示監察與隔離如何互相補位。
RadixArk 發佈其首個模型 DaisyRose-27B;該模型基於 Qwen3.8-27B,以強化學習訓練,Terminal-Bench 4.1 的 pass@1 從 5.6% 升至 12.0%。
Social Department 構建 QuickSearch,將娛樂行銷中的編輯判斷轉化為可執行的影片檢索流程,讓用戶透過單一操作尋找合適片段。QuickSearch 提供 Shareable Scenes、Quotable Quotes、Memeable Moments 和 Trend Align 四項功能,結合影片內容理解與持續更新的趨勢資訊。
Salesforce 將 Amazon SageMaker AI 跨區域推理路由接入 Internal Gateway,讓流量可在多個區域及帳戶中已部署的端點間轉送,並由路由層處理健康判斷與故障切換。
推薦理由:文章以 Salesforce 的實作説明如何將跨區路由接入既有閘道、保留資料駐留限制,並以回應欄位和 CloudWatch 指標追蹤流量切換。
Hugging Face分析272次生產環境監督式微調(SFT)工作,發現CatBoost能更準確地預測端到端耗時。測試涵蓋約7,382 GPU 小時;CatBoost的R²為0.98,平均絕對誤差為1.71小時,中位誤差為0.51小時。相比之下,FLOP估算的R²為0.31,平均絕對誤差為12.41小時。
AWS Quick User Group DC 首次聚會展示企業如何以受管治、可信的數據基礎,推進 AI 分析及智能體工作流程。AWS Quick 整合分析、自然語言互動及多步驟任務協調,並連接 Salesforce、Slack、Google Drive 和 Microsoft 365。所有出席者在 50 分鐘內設計並推出自訂應用程式,另有六名參加者製作自動化流程。
Stretto 與 AWS Generative AI Innovation Center 及 CI&T 合作,使用 Amazon Nova 2 Sonic 在 Amazon Bedrock 上建置 Tara,透過電話進行破產申請資料訪談。
AWS 提出一種 Amazon Bedrock AgentCore Gateway 私有 API 接入架構,將 VPC Lattice 資源閘道放在網絡帳戶的專用 VPC,並由其子網經 Transit Gateway 路由,使資源閘道與私有後端之間的請求及回覆經中央防火牆。
推薦理由:文章梳理資源閘道部署、跨帳戶設定與防火牆路由,並附驗證檢查,為企業在網絡集中管控下接入私有 Agent 工具提供具體架構參考。
Dean Ball 在文章中反對人類因 AI 發展而逐步交出對全球經濟及世界事務的主導權,並把對此結果的默認稱為「沉默共識」。他認為,市場競爭可能促使企業把研發、資本配置及治理等工作交給 AI;即使個別決定各自合理,累積起來仍可能削弱人類對文明的有效權威。他主張限制智能體權限、審計行動,並確保使用 AI 的人和企業承擔責任,以探索維持人類主導地位的 AI 設計方向。
OpenAI 詳解 Codex 沙盒如何透過作業系統的隔離機制,在用戶現有環境中限制命令對檔案系統及網絡的存取。內建 :workspace 權限設定允許工作區內寫入、廣泛讀取檔案並預設停用網絡,用戶亦可自訂權限設定檔,或透過 codex sandbox 將沙盒執行整合到其他工具。
推薦理由:文章串連權限設定、網絡代理與 macOS、Linux、Windows 的隔離實作,説明 Codex 如何在沿用本機開發環境時約束命令存取。
Google DeepMind 向符合資格的 Google AI Ultra 訂戶推出新版 Project Genie,提供 Genie 4、Project Genie 智能體及社羣作品廊。
推薦理由:新版體驗把 Genie 4 的即時世界編輯與原生音訊、Genie 3 的延長生成,以及智能體創作和作品分享整合起來,呈現互動世界的創作與探索流程。
OpenAI 表示,其模型已用於改進自研 Jalapeño、AMD GPU IP 及開源 RISC-V 核心的晶片設計,並提升 RISC-V 評測中的吞吐量。在 AMD 旗艦 GPU IP 上,相較高度優化基線,PPA 改善最高達 14%;Jalapeño warp engine 和 matrix unit 的標準單元面積則分別減少約 13% 和 10%。
推薦理由:文章並列量產設計中的 PPA 改善與兩款開源 RISC-V 核心評測,亦交代功能取捨和物理綜合檢查等限制,可對照模型測試分數與實際晶片設計要求。
Transformers 的 MoE 專家串流實作在 32GB Mac M5 上運行 Qwen3.8-Flash-Next,200-token 解碼達 13.9 tok/s,與 Strata 的 14.8 tok/s 相差約 6%。
推薦理由:文章以同一台 M5 和相同提示詞比較 Transformers 與 Strata,呈現專家串流優化後短文本解碼差距約 6%,並指出剩餘效能瓶頸。
Rumble-2-Flash 以 Apache 2.0 授權開源,是支援 40+ 種語言的 0.5B 語音辨識模型。在 Open ASR Leaderboard 多語言賽道,它跨 9 種語言的平均錯誤率為 6.96%,優於 Meta 的 omniASR-LLM 7B 和 Whisper large-v3。
推薦理由:文章以多語言辨識榜單及真實客服通話基準比較 Rumble-2-Flash,呈現小型模型在不同語音條件下的錯誤率表現。
IBM 與 Confluent 將 IBM 時序基礎模型原生整合至 Confluent,現支援雲端及本地部署,並可在 CPU 上運行。四個模型累計下載量超過 50 million 次,可透過 Apache Flink 和 SQL 對串流數據進行預測、異常偵測及語義智能處理。文章列出製造、零售、銀行及航空等場景,説明如何將模型輸出接入即時營運決策。
ASUS、Dell 和 MSI 的 NVIDIA RTX Spark 緊湊型桌上電腦現已開售,支援本機 AI 智能體、圖像及影片生成,以及模型微調。系統配備 20 核心 NVIDIA Grace CPU、具 6,144 個 CUDA 核心的 NVIDIA Blackwell RTX GPU,統一記憶體最高 128GB,AI 效能最高達 1 petaflop。
推薦理由:文章交代 RTX Spark 桌上型電腦的本機 AI 用途、硬件規格與創作軟件支援,呈現其面向開發者和創作者的工作流程範圍。
Le Groupe Figaro 與 OpenAI 宣佈策略合作,讓更多人可在 ChatGPT 發掘 Le Figaro 的新聞報道。合作涵蓋 Le Figaro 及相關刊物的即時報道和存檔內容,並透過摘要、節錄及原文連結呈現。Le Figaro 保留新聞編採自主權,並計劃在不同團隊推行 ChatGPT Enterprise。
Clarivate 將嶺南大學的姚新教授和宋永端教授列入 2026 年「高被引學者」名單,兩人均因學術論文被引表現獲選。名單涵蓋 62 個國家及地區、逾 1,200 間機構的 6,802 名學者,入選者在過去十年按所屬領域及發表年份計,論文引用量位居全球前 1%。
AI 影片分析可協助巴西工廠透過合適的 CCTV 攝影機,監測機械操作及高空作業中可見的風險,並向安全團隊發出警示及記錄事件。這類監測可補充 NR-12 和 NR-35 的安全措施,但不能取代檢查、防護裝置、互鎖裝置或工作許可。巴西在 2025 年錄得 806,011 宗職業意外及 3,644 宗工傷死亡,均為 2016 至 2025 年期間的最高數字。
AWS 為 Amazon SageMaker HyperPod Inference 加入 NVIDIA Dynamo 託管支援,涵蓋多節點部署、分離式 prefill 與 decode 推理。
推薦理由:文章對照兩種部署路徑,並以 Qwen3-235B 基準呈現分離式 prefill 與 decode 在指定服務門檻下,最高吞吐量達聚合式的 2.05×。
OpenAI 推出 ChatGPT for Sales,提供專為銷售人員設計的 Sales plugin,並加入逾 30 個新增或增強的合作夥伴插件。它可連接團隊現有工具與客戶資料,支援帳戶篩選、會議準備、提案和跟進等工作。用戶亦可委派工作予 ChatGPT 內的常駐智能體 dot,由它準備會議簡報、追蹤交易更新,並整理變化和建議後續步驟供審核。
推薦理由:文章按銷售環節展示如何把 CRM、通話紀錄及其他工具的客戶脈絡帶入帳戶研究、會議準備與後續跟進,呈現插件整合的實際工作流。
Amazon Bedrock AgentCore 的三項優化策略,令處理 20 MB+ JSON 資料的生產智能體在代表性 23 MB payload 基準測試中,token 用量最多下降 71%,平均延遲最多降低 80%。
推薦理由:文章把狀態外置、列表分頁與字典摘要整合成可組合方案,並以 23 MB 資料測試呈現 token 用量及延遲的變化。
Amazon SageMaker AI 即時端點新增 KV-aware routing,根據模型容器回報的 KV cache 狀態,把請求路由至持有最長匹配快取且負載未過高的實例。
推薦理由:文章比較 KV-aware routing 與 prefix-aware routing 的路由依據,並以長對話工作負載的測試呈現延遲、吞吐量及快取命中率變化。
AWS Machine Learning Blog提出工作流程的模型呼叫分流方法:規則交由確定性程式碼,固定選項使用受限決策呼叫,開放式任務則使用符合要求的 Amazon Bedrock 模型。
推薦理由:文章整理出規則、固定選項與開放式生成的分流方法,並以 AWS 元件示範如何減少不必要的模型呼叫。
文章介紹如何透過 Amazon Bedrock AgentCore Gateway,以 MCP 將 AI Agent 連接至 Snowflake Cortex AI,並比較三種 OAuth 配置。
推薦理由:文章將三種 OAuth 配置按身份驗證方式、Snowflake 用戶映射和審計粒度逐一比較,説明企業 SSO、個人追蹤與無人值守工作負載各自適用的取捨。
AWS Agent Registry 現已提供自訂中繼資料綱要,讓組織為記錄設定共用欄位、資料類型及允許值,並在建立或更新記錄時驗證資料。文章以 AnyCompany 的 MCP 伺服器為例,示範管理員定義綱要、團隊補充掃描及 CMDB 資料,再由 AWS Lambda 審批。用戶及智能體可按中繼資料篩選搜尋,結果只會返回已批准且符合條件的記錄。
AWS Forward Deployed Engineering 現已在 15 個國家為商業及公共部門客戶提供服務,並配備數十項內置、可供生產環境使用的加速器。
Amazon SageMaker AI 推出 AI 數據準備功能,擴展模型開發工作流,可生成合成數據、評估及改善現有數據集,並納入專家意見。功能涵蓋自動標註、人工覆核、合成數據生成、數據品質評估及數據轉換,可透過 SageMaker Python SDK APIs 或 AWS AI-ML agent skill 使用。
OpenAI 發佈更新版 Astra for Law,這項基於 GPT‑6.2 Astra 的法律模型配置現可供所有 ChatGPT Enterprise 客戶透過 Trusted Access Program 申請,亦可申請 API 存取。
推薦理由:材料並列 LAB-AA 與 Vals AI 的基準數據及法律搜尋索引變化,可從任務滿分率和資料覆蓋兩方面瞭解此次更新。
OpenTSLM-Flamingo 現已可在 Amazon SageMaker JumpStart 部署,文章示範如何以數值時間序列和文字上下文進行推理。
SMART(Social Messaging Agent Runtime Toolkit)是一套開源 Python SDK 及 Terraform 堆疊,可配合 Amazon Bedrock AgentCore 建構 WhatsApp AI 智能體並處理通道整合。
推薦理由:文章梳理 WhatsApp 智能體的通道工程負擔,並呈現 SMART 如何整合訊息驗證、媒體處理、記憶及排程,讓讀者瞭解端到端接入流程。