跳到正文
熱點事件持續更新

TensorRT Global Performance Tuner 擴展效能調校

2 篇報道1 個報道來源2 小時前更新

先了解這件事

AI 綜述

報道分為兩部分,介紹 NVIDIA TensorRT 的效能最佳化。第一部分指出,TensorRT 建置引擎時,會在圖形 IR 轉換、融合、實作選擇、記憶體配置及量化等環節作出彼此影響的決定,並將這個過程稱為 scheduling;文章聚焦 Global Performance Tuner,探討如何把最佳化延伸至單一建置路徑以外。第二部分稱,TensorRT 11.1 推出 Global Performance Tuner,可按不同模型客製化最佳化設定,並在 TensorRT 內自動進行具精度感知的端到端效能調校,旨在突破單一建置路徑的限制。

AI 根據報道生成 · 2 小時前更新

報道時間線

沿着報道,瞭解事件的不同側面。

10月24日
  1. NVIDIA Technical Blog:Agentic AI / Generative AI
    NVIDIA TensorRT:Global Performance Tuner 如何突破單一建置路徑的效能最佳化限制(第二部分)

    NVIDIA TensorRT 11.1 推出 Global Performance Tuner,為不同模型客製化不同最佳化設定,在 TensorRT 內自動進行具精度感知的端到端效能調校。此功能旨在突破單一建置路徑的效能最佳化限制。

  2. NVIDIA Technical Blog:Agentic AI / Generative AI
    NVIDIA TensorRT 如何透過 Global Performance Tuner 擴展單一建置路徑以外的效能最佳化(第一部分)

    NVIDIA TensorRT 建置引擎時,會對圖形 IR 轉換、融合、實作選擇、記憶體配置及量化等環節作出互相影響的決定,這個過程稱為 scheduling。文章聚焦 Global Performance Tuner,探討如何將 TensorRT 效能最佳化擴展至單一建置路徑以外。

本事件熱度走勢

還沒有足夠的連續觀測數據,暫不繪製趨勢。