數據科學家的反擊：LLM 時代評測仍需要數據科學方法

Hamel Husain 認為，LLM API 雖讓團隊可自行整合 AI，評測、實驗設計和生產監測仍需要數據科學方法。文中列出五類評測陷阱，包括套用通用指標、未驗證 LLM 評審、測試集設計不當、數據及標籤質素欠佳，以及過度自動化。作者建議檢視 traces、以人工標註驗證評審，並根據真實生產數據設計測試集，讓領域專家參與標註。