Mistral AI 發佈 Timestral 時序基礎模型系列

思考

摘要

Timestral 是 Mistral 首個時間序列基礎模型系列，僅有 209M 個參數，便能提供最先進的機率式多變量預測；在重要基準測試中，其表現超越更大型模型，同時支援過去及未來協變量。系列共有四種大小（5M 至 209M 個參數），兼顧準確度與效率，可在 CPU 上高效運行，並能在多個不同領域進行出色的零樣本預測。模型結合合成資料預訓練、能處理協變量的注意力機制及長上下文學習，亦可透過 Mistral Forge 微調，以適應特定領域。

今天，我們推出 Timestral，這是我們首個時間序列基礎模型系列。我們最大的模型僅有 209M 個參數，在業界三個主要公開基準 GIFT-Eval、TIME 和 fev-bench 中均排名第一；模型參數只有先前最先進模型的三分之二，表現卻超越該模型。

Timestral 能提供機率式多變量預測，並支援僅基於過去資料及已知未來資料的協變量。我們的模型系列在預測準確度與模型大小之間處於帕累托前沿，在每種大小下均有領先表現。結果已提交至 GIFT-Eval 和 TIME 排行榜。

時間序列是企業中最常見的數據類型之一，涵蓋感測器遙測數據及可觀測性指標等。根據這些數據建立的預測，能為容量規劃、能源、供應鏈、風險及維護等決策提供依據。

工業廠房會根據生產計劃預測製程感測器數據，在設備故障前偵測其狀態偏移，並為數以千計的資產規劃容量及備件。金融團隊會預測資金流、交易量及波動性，為數以千計帳戶的持倉、對沖及財資管理提供依據。

ARIMA 和線性迴歸等傳統模型仍是成熟的時間序列預測工具。這些模型通常針對單一時間序列進行擬合，只會從該時間序列的歷史資料中學習。

PatchTST 等深度學習模型能學習多個相關時間序列中的非線性模式，但通常仍須針對每個數據集從頭訓練，因此學到的內容無法遷移至新領域。

時間序列基礎模型將預訓練方法引入時間序列領域。我們的模型以大型且多元的數據集進行訓練，能學習可遷移至不同時間序列的模式，並對從未見過的數據進行零樣本預測，即使在數據稀少的領域亦然。

基準測試結果

我們使用三個主要公開預測基準 GIFT-Eval、TIME 和 fev-bench 評估 Timestral。在預訓練的零樣本模型中，它在全部五項指標上均排名第一。這些結果來自單一檢查點，沒有使用集成方法。

GIFT-Eval：在 83 個可比較的預訓練及零樣本參賽項目中排名前十。數值越低越好。

TIME：在排行榜的 35 個參賽項目中排名前十。兩項指標均以數值越低越好。

fev-bench：按 SQL skill score，在排行榜的 37 個參賽項目中排名前十。數值越高越好。

為各種規格而最佳化的模型系列

Timestral 經最佳化後共有四種模型：5M、28M、123M 和 209M 個參數。較大型的模型預測表現較佳，較小型的模型則速度更快、成本更低。四種模型均採用相同的架構和訓練流程。每種大小的模型均位於準確度與模型大小的帕累托前沿：在每個模型大小級別，沒有任何公開模型的預測表現更佳。

GIFT-Eval、TIME 及 fev-bench 的評分與模型大小對比（以 1 − skill score 顯示）。數值越低越好。我們的 28M 模型在 GIFT-Eval 和 TIME 上勝過 Chronos-2，而 Chronos-2 的規模約為其四倍。我們的 209M 模型以較少的參數量勝過 TimesFM-3 和 Falcon-2.0。

Timestral 在推理時不需要 GPU。在配備 8 條執行緒的標準伺服器 CPU 上，使用 5M 模型，根據三週、每 15 分鐘一次的歷史數據預測未來一天，需時 10 ms；使用 209M 模型則需時 140 ms。較小的模型以部分準確度換取速度：28M 模型的速度是 209M 模型的五倍，而 123M 模型的評分與 209M 模型相差不到 0.2%，延遲時間則只有後者的四分之三。

工業應用案例

以一間在設備各處裝有數千個感測器的工廠為例。Timestral 可以透過多種方式改善這些數據的預測效果。

多變量預測。泵的振動、温度和壓力並非互不相關。其中一項上升，往往可以解釋或引發另一項變化。Timestral 會共同建模相關時間序列，因此能利用這些相互依存關係，而非孤立地預測每個感測器的數據。

機率預測。單一預測值未必能呈現全貌。Timestral 會預測一整組分位數，讓團隊瞭解不確定性的範圍、設定能反映不確定性的警報門檻，並根據風險而非單一數值規劃維護工作。

類別型協變量。部分協變量的取值來自一組類別，而非連續數值，例如一週中的日子，或機器的狀態（運作中、閒置、維護中）。若將這些值編碼為數字，便會強加它們原本沒有的次序或尺度。Timestral 可直接將這些值作為類別型輸入，以改善預測效果。

已知未來協變量。有些影響感測器行為的因素可以預先得知，例如生產計劃、預定停機安排和天氣預報。Timestral 可將這些因素納入預測條件，以提升預測質素，讓系統預期到按計劃增加的負載，而非將其視為突發情況。

由模型到系統

Timestral 是一個數值模型，可在現有的監測流程中運行，也可與我們的語言模型配合，用於多模態 Agent 工作流程。

在工廠中，整個流程可以是這樣：

1. Timestral 持續處理工廠的感測器數據流，並在異常發生時偵測出來。

2. 當系統標示泵出現異常時，Agent 會將訊號轉換為嵌入向量，並與過往感測器數據的嵌入向量比較，找出相似的歷史故障。

3. 接着，Agent 會啟動子 Agent 進行根本原因分析，並參考該工廠的相關資料，例如維護記錄、輪班日誌和操作員筆記、設備手冊、過往工單，以及相關設備的讀數。

4. Agent 會根據調查結果草擬建議診斷，並附上支持證據及可能的後續步驟。

工廠經理收到的是有感測器數據支持的診斷和計劃，而不只是一則警報。

主要技術貢獻

多項技術構想結合起來，促成了這些成果。技術報告將逐一詳細説明。

1. 預測視界解耦。以連續區塊遮罩方式訓練的因果解碼器（例如 Toto 2.0 和 TimesFM-3），會遮蔽待預測的數值，使其看起來像缺失值，也無法再作為後續預測的上下文。我們的方法 DHF 將兩者分開處理：完整歷史資料保留在序列中，而經學習的預測 token 會讀取其前方的歷史資料。因此，每個已觀測數值同時作為目標和上下文；真正缺失的資料仍標記為缺失，而訓練時的預測期長度和缺失資料增強則可彼此獨立調整。

2. 協變數感知注意力。每條輸入序列都會被指定一個角色：目標變量、僅含過去資料的協變數，或已知未來的協變數。已知未來的協變數在整個時間窗口內均可見，而目標仍受因果限制；資訊只會由協變數流向目標。因此，Timestral 可以使用假期日曆或天氣預報，而不會將目標本身的未來資訊洩漏至其預測中。

3. 以合成資料為先。大部分訓練資料都是合成資料。我們先生成具有連貫時間動態的單變量過程，包括趨勢、季節性及多種噪音模式。接着，我們使用多變量合成器，在這些過程之間引入非線性相依關係，從而構建多變量序列。

4. 兩階段訓練。Timestral 先以 8192 的上下文大小，使用純合成資料進行大規模預訓練；然後以長 4 倍的上下文，使用真實與合成資料的混合資料進行後訓練。訓練目標是在 21 個分位數上計算的 pinball 損失，是 CRPS 的離散近似。

可調適的模型

公開基準測試可衡量模型的整體效能，但生產環境資料的特性和結構可能截然不同。資料亦可能隨時間轉變，例如市場狀態改變、設備退化，以及需求模式變化。長遠價值在於能夠使用領域內資料調適模型，並隨數據分佈變化持續重新訓練。

對於希望進一步調適模型的機構，可透過Mistral Forge使用 Timestral；這是我們用於語言模型的同一套訓練流程。它支援：

• 零樣本推理，開箱即用。

• 架構擴展，例如加入領域專用協變數。

• 使用專有資料進行微調，使模型專門適應特定領域，同時保留一般效能。

• 控制訓練資料，包括調整訓練資料組合、重播預訓練資料，以及生成反映目標領域的合成資料樣本。全面控制資料可確保任何用於回測的資料都未在預訓練期間出現。

整套流程可部署於客戶的硬件上，包括隔離網絡環境。

接下來

我們已發布GitHub 儲存庫，讓你可以使用自己的資料執行 Timestral。完整結果的技術報告將於稍後發布。如有更專門的預測問題，或希望合作研究，請聯絡我們。