跳到正文
Together AI 研究與產品博客·· 23 小時前精選AI 評分76

Qwen4 Max 在 Together AI 上線

Qwen4 Max is live on Together AI

AI 導讀

Together AI 已在 Together Serverless Inference 上線 Qwen4 Max,並提供 1M-token 上下文窗口。示範中,模型在一次請求內處理 Tornado 全部 344 個檔案、共 652,519 tokens,72 秒後返回修補程式;修補通過兩項回歸測試,完整測試套件的 1,673 項測試亦全數通過。

推薦理由

測試把 Tornado 全部程式碼與錯誤報告一次交給模型,再以回歸測試核對修補,並列出 69 美仙成本,呈現整個程式庫一次輸入時的驗證方式與費用。

正文 · 繁體中文

我們在一次請求中,向 Qwen4 Max 提供了一份錯誤報告和整個程式碼庫。這個程式碼庫是 Python 網絡框架 Tornado,包含全部 344 個檔案,共 652,519 個 tokens。模型沒有可用工具,我們也沒有挑選相關檔案或預先進行檢索。72 秒後,它返回了一個補丁,而該補丁通過了 Tornado 維護者為這個錯誤編寫的測試。這次請求花費 69 美仙。

它還在儲存庫的其他位置找到了一個先例。錯誤報告完全沒有提及 tornado/iostream.py,但模型指出,那裏的程式碼已經以補丁所需的方式處理錯誤。Tornado 的維護者在自己的修正中也引用了同一段程式碼。

Qwen4 Max 是 Alibaba 的旗艦 Qwen 模型。它今日已在 Together AI 上線,並會以 30% 折扣發售至 2026 年 11 月 22 日。

測試

Tornado 是一個開源 Python 網絡框架。其儲存庫約有 340 個程式碼、測試和文件檔案。這些內容在 Qwen4 Max 的上下文視窗容量之內,而且遠超任何人會手動貼進提示詞的內容。我們選取了維護者於 2026 年 11 月 18 日提交的一項修正;當時距離 Qwen4 Max 發佈只有兩天。我們使用該次提交前的儲存庫版本進行測試。

這只是一個例子,旨在展示一次呼叫能做到甚麼,以及成本是多少。

這個錯誤出現在 Tornado 的 websocket 程式碼中。當連線關閉時,如果仍有訊息尚未送出,任何未經 await 的 write_message() 呼叫都會記錄錯誤,儘管等待它完成並非必要。我們把該工作副本中的所有文字檔作為一個提示詞送出,並附上只描述症狀的錯誤報告:

write_message logs "Task exception was never retrieved" when the connection closes

當 websocket 連線關閉時,如果仍有訊息尚未送出(例如用戶端送出訊息和 FIN,或重設連線,卻沒有讀取回覆),每個未等待其結果的 write_message() 呼叫都會在 ERROR 級別記錄「Task exception was never retrieved」。

等待 write_message 傳回的 Future 並非必要,因此未經 await 的呼叫不應記錄任何內容。呼叫方若有等待,仍應收到 WebSocketClosedError。

我們要求模型找出原因並提供補丁。以下是重現時使用的請求:

模型的回覆

54 秒後收到第一個 token,72 秒時回覆完整。Qwen4 Max 將錯誤追溯至 tornado/websocket.py 中的 WebSocketProtocol13.write_message。該方法會把每次寫入包裝成一個 task。連線關閉時,task 會因例外而失敗,但沒有人需要負責取回該例外,於是 Python 便會將其記錄為「Task exception was never retrieved」。

模型的補丁會把例外標記為已取回。這樣便不會記錄任何內容,而有等待寫入完成的呼叫方仍會收到錯誤:

-        return asyncio.ensure_future(wrapper())
+        task = asyncio.ensure_future(wrapper())
+
+        # Awaiting the returned Future is optional, so an error nobody looks
+        # at must not be reported as "Task exception was never retrieved".
+        # Retrieving it here leaves it in place for callers that do await.
+        def _mark_retrieved(t: "asyncio.Task[None]") -> None:
+            if not t.cancelled():
+                t.exception()
+
+        task.add_done_callback(_mark_retrieved)
+        return task

這個先例令補丁看起來像是專為該專案而寫。模型在解釋中指出,修正方式應與 tornado/iostream.py 中 BaseIOStream.write 處理自身 futures 的方式相同。該方法位於 websocket 程式碼下方一層,並以相同方式解決同一個問題。維護者提交的修正也作出了相同比較。

A grid of 344 squares, one for each file in the Tornado repository, grouped by folder. Two squares in the tornado folder are highlighted and joined by a line: websocket.py, where the bug was, and iostream.py, the precedent the model pointed to.

沒有人替模型挑選那些檔案。344 個檔案全部都交給了模型,而它找出了兩個關鍵檔案。

我們如何驗證

Tornado 的維護者在修正中加入了兩項回歸測試:一項測試未經 await 的寫入,另一項測試有等待的寫入。在修正前的程式碼上,第一項測試會失敗。套用模型的補丁後,兩項測試都通過了。接着我們在套用補丁的情況下執行 Tornado 的完整測試套件,共 1,673 項測試,全部通過。

成本

按優惠價計算,這次請求約需 69 美仙,幾乎全部成本都來自 652,519 個輸入 tokens。按牌價計算則需 98 美仙。

再次傳送同一個儲存庫,成本會低得多。Together AI 會自動快取提示詞輸入,優惠期間每百萬個快取輸入 token 收費 \$0.0525。我們重試了一個約有630,000個 token 的請求,幾乎全部內容都由快取提供。首個 token 在8秒後傳回,而非54秒;輸入成本約為3美仙,而非66美仙。

關於 Qwen4 Max

Alibaba 於2026年11月16日推出 Qwen4 Max,並稱這是迄今 Qwen 系列中能力最強的模型。Alibaba 將這款模型定位為適用於長時間 Agent 工作,包括在大型儲存庫中編寫程式碼;這正是我們測試的任務類型。

Qwen4 Max 是一款稀疏混合專家模型,擁有2.4萬億個參數,每個 token 會啟用其中710億個。在 Work360 這項涵蓋721個專業領域行業任務、由 Alibaba 自行推出的基準測試中,Alibaba 表示 Qwen4 Max 整體表現勝過 Qwen3.8 Max,在高推理強度下使用的 token 少35%,平均每項任務的成本低約60%。以上數據來自 Alibaba,其公告載有詳情。

在 Together AI 上運行

Qwen4 Max 已在 Together Serverless Inference 上提供,模型字串為 Qwen/Qwen4-Max。這段程式碼會在單一請求中傳送整個儲存庫和錯誤報告,與我們測試時的做法相同。你需要 Together Python SDK(pip install together)、一個 TOGETHER_API_KEY、儲存庫的本機複本,以及另存為 bug_report.md 的錯誤報告。程式會傳送 git 追蹤的所有文字檔,因此請先檢查儲存庫是否包含機密資料。

import subprocess
from pathlib import Path

from together import Together

repo = Path("tornado")
bug_report = Path("bug_report.md").read_text()

# Every file git tracks, skipping the ones that aren't text
names = subprocess.check_output(
    ["git", "-C", str(repo), "ls-files"], text=True
).splitlines()
files = []
for name in names:
    try:
        files.append(f"=== FILE: {name} ===\n{(repo / name).read_text()}\n")
    except UnicodeDecodeError:
        continue

client = Together()

stream = client.chat.completions.create(
    model="Qwen/Qwen4-Max",
    messages=[
        {
            "role": "system",
            "content": f"This is a complete repository, {len(files)} files.\n\n"
            + "".join(files),
        },
        {
            "role": "user",
            "content": f"Here is a bug report.\n\n{bug_report}\n\n"
            "Explain the cause, then write a patch.",
        },
    ],
    stream=True,
)

for chunk in stream:
    if not chunk.choices:
        continue
    delta = chunk.choices[0].delta
    # delta.reasoning carries the model's thinking, delta.content the answer
    if delta.content:
        print(delta.content, end="", flush=True)

其中有兩項設定是這個模型專用的。請求必須設定 stream=True,因為 Together AI 上的 Qwen4 Max 只接受串流請求。此外,思考功能預設為啟用,因此模型的推理內容會先以 delta.reasoning 串流傳送,答案則會稍後才開始生成。思考 token 會計作輸出 token。若要在簡單請求中略過思考內容,請傳入 reasoning={"enabled": False}。

如要在不編寫程式碼的情況下試用,請前往互動測試環境。模型頁面載有相同詳情。

常見問題

Qwen4 Max 在 Together AI 上的費用是多少?

Qwen4 Max 在 Together AI 上的牌價為每1M個輸入 token \$1.50、每1M個輸出 token \$4.50,以及每1M個快取輸入 token \$0.075。優惠期至2026年11月22日,期間可享七折優惠,價格分別為 \$1.05、\$3.15 和 \$0.0525。思考 token 會計作輸出 token。

Qwen4 Max 在 Together AI 上的上下文視窗有多大?

Qwen4 Max 在 Together AI 上的上下文視窗為1M個 token。在我們的測試中,一個包含652,519個輸入 token 的請求,在54秒後傳回首個 token。

Qwen4 Max 支援圖片嗎?

支援。Qwen4 Max 在 Together AI 上接受文字和圖片輸入,並傳迴文字。請按視覺功能文件所述,將每張圖片作為 image_url 區塊傳送至訊息內容中。

為何我的 Qwen4 Max 請求在未使用串流時會失敗?

Together AI 上的 Qwen4 Max 只接受串流請求。未設定 "stream": true 的請求會傳回錯誤代碼為 streaming_required 的 400 錯誤。請在 SDK 中設定 stream=True,或在請求本文中設定 "stream": true,並從串流讀取回覆。

如何關閉 Qwen4 Max 的思考功能?

在 Python SDK 中傳入 reasoning={"enabled": False},或在請求本文中傳入 "reasoning": {"enabled": false},即可關閉 Qwen4 Max 的思考功能。思考功能預設為啟用,思考內容會在答案之前出現在 reasoning 欄位。如要模型在難題上進行更多思考,請將 reasoning_effort 設為 "max"。

Qwen4 Max 支援工具呼叫嗎?

支援。Qwen4 Max 在 Together AI 上透過標準 tools 參數支援工具呼叫,並可在一輪中傳回多個呼叫。

Qwen4 Max 支援提示詞快取嗎?

是的,Together AI 上的 Qwen4 Max 會自動進行提示詞快取,快取輸入 token 的牌價為每 1M 個 \$0.075。在我們的測試中,重複提交一個 630,000-token 請求時,該請求幾乎完全命中快取,首個 token 在 8 秒後便返回,而非 54 秒。快取採用盡力而為方式,因此重複請求並非每次都會命中快取。

我可以微調 Qwen4 Max,或在專用端點上執行它嗎?

不可以,目前 Qwen4 Max 在 Together AI 上只提供無伺服器服務,也不支援微調。Alibaba 表示,Qwen4 系列較小型的開放權重模型將於日後推出。

來源:Together AI 研究與產品博客 · together.ai