Frankie調整模型部署，回應時間大幅縮短

2026年10月26日，DEV Community報道Frankie為參加駭客松，使用llama.cpp在其伺服器部署開源權重模型，並撰寫一套刻意不提供幫助的客服智能體系統提示詞。報道涉及模型部署、系統提示詞撰寫和回應效能調整。調整設定後，Qwen2.5-7B-Instruct-GGUF:Q3_K_M在Frankie的伺服器上的回應時間，由超過10分鐘縮短至少於20秒；報道亦列出prefill為13.68 tok/s、decode為5.75 tok/s。以上是報道所述的部署環境、設定調整結果及速度數值。

AI 根據報道生成 · 2 小時前更新

還沒有足夠的連續觀測數據，暫不繪製趨勢。