跳到正文
目前篩選:一手

#評測/基準

今日 0 條
11月21日週六
  1. OpenAI News47

    Hebbia 藉助 GPT-6 Astra 改善金融研究

    Hebbia 測試 GPT-6 Astra,改善金融研究中的來源檢索和簡報製作。在 Hebbia 的測試中,模型引用所需類型來源的得分比最佳替代模型高 13.6 個百分點,所引段落有 99.5% 與問題相關;另有 97.9% 的適用簡報要求獲得滿足。使用者可循引用和投影片註腳追查來源。

11月20日週五
  1. AWS Machine Learning Blog43

    Amazon Connect Talent:結構化 AI 面試背後的科學

    Amazon Connect Talent 以結構化問題、自適應追問及循證評分,將有研究基礎的招聘面試方法應用於大規模 AI 面試。獨立評估發現,服務保留了 100% 受評職位描述中的關鍵資訊,91% 的生成能力項目可追溯至職位描述,98% 的面試問題針對預定能力項目。候選人評分與專家判斷的一致率為 89.3%,候選人提供明確證據時則達 97.6%。

11月19日週四
  1. OpenAI News74

    OpenAI 模型改進 Jalapeño、AMD 及 RISC-V 晶片設計

    OpenAI 表示,其模型已用於改進自研 Jalapeño、AMD GPU IP 及開源 RISC-V 核心的晶片設計,並提升 RISC-V 評測中的吞吐量。在 AMD 旗艦 GPU IP 上,相較高度優化基線,PPA 改善最高達 14%;Jalapeño warp engine 和 matrix unit 的標準單元面積則分別減少約 13% 和 10%。

    推薦理由:文章並列量產設計中的 PPA 改善與兩款開源 RISC-V 核心評測,亦交代功能取捨和物理綜合檢查等限制,可對照模型測試分數與實際晶片設計要求。

11月7日週六
11月6日週五
  1. Hugging Face Blog40

    Egyptian and Nigerian English 加入 Open ASR Leaderboard

    Hugging Face 與 Liva AI 合作,為 Open ASR Leaderboard 加入 Egyptian 和 Nigerian 兩種口音的私有語音數據集。新數據集分別提供 1.34 小時和 1.55 小時的自然對話語音,並採用標點、區分大小寫及保留語音不流暢之處的轉錄。新增口音亦令排行榜可按 Kachru 的三圈模型提供更豐富的口音分類。

11月4日週三
11月3日週二
10月26日週一
  1. The HKU Lead 港大新聞 · AI 研究及應用46

    港大商學院發佈生成式 AI 影片生成能力報告

    港大商學院人工智能評估實驗室發佈 AI 影片生成模型評測報告,評估超過十款模型的影片生成能力,以及識別和防範錯誤資訊等高風險內容的能力。Seedance 2.0 Pro 生成表現總排名第一,並在六個評估維度均居首;Hailuo-2.3 安全與責任評分最高,但生成能力總排名第九。

10月21日週三
10月20日週二
  1. OpenAI News65

    OpenAI 模型提升低資源程式語言的程式建置與遷移能力

    OpenAI 表示,最新模型在低資源程式語言的程式建置及 COBOL 遷移評測中均有提升。在最高推理力度下,GPT‑6 Astra 在 20 種語言的 MultiLangBench 平均測試通過率為 87.4%,高於 GPT‑5.6 Sol 的 26.8%;GPT‑6.1 Sol 在低推理力度的 COBOL 遷移評測準確率為 86.6%,GPT‑5.6 Sol 則為 5.4%。

    推薦理由:兩項評測分別檢視跨語言程式建置和 COBOL 遷移,並以通過率、遷移準確率及 API 成本呈現模型表現差異。

9月25日週五
9月23日週三
9月22日週二
9月3日週四
8月25日週二
7月8日週三
6月18日週四
  1. Hugging Face Blog68

    Hugging Face 以 agent-eval 評測開源模型操作 transformers 的成功率與成本

    Hugging Face 測試開源模型使用 transformers,CLI 與 Skill 縮短大型模型耗時,卻可能降低小模型成功率。Qwen3-14B 在 classify-sentiment 任務中,clone 環境的匹配率為 100%,Skill 環境則降至 0%。agent-eval CLI 可套用於其他命令列工具,並記錄匹配率、tokens、耗時、錯誤、行為標記及執行軌跡。

    推薦理由:評測不只看任務是否成功,也追蹤 tokens、耗時與操作路徑,呈現 CLI 與 Skill 對大小模型的影響並不一致。

6月17日週三
5月22日週五
2月23日週一
2月20日週五
2月18日週三
2025年12月16日週二
2025年11月4日週二
2025年10月30日週四
  1. CPII 博智感知交互研究中心 · AI 研究及應用43

    中大推出全球首個粵語大語言模型動態評測平台及生態系統

    香港中文大學推出全球首個專為粵語而設的動態評測平台及生態系統 CLEVA-Cantonese,透過持續評估揭示不同大語言模型對粵語的支援程度。首輪評估涵蓋多個國際及本地的開源與專有模型,結果顯示即使是最新型號,在粵語語義、語法、發音及詞彙方面仍有明顯改進空間。

2025年9月25日週四
2025年8月27日週三
2025年5月12日週一
2025年4月2日週三
2025年2月18日週二
2025年2月13日週四
  1. Hugging Face Blog60

    分類、文本嵌入與視覺嵌入處理 1B 筆輸入的成本與延遲評測

    這項基準測試比較文字分類、文本嵌入及視覺嵌入的推理配置,估算處理 1B 筆輸入的成本與延遲。在 nvidia-L4($0.8/hr)上,三類任務每 1B 筆輸入的成本分別為 $253.82、$409.44 和 $44,496.51;測試程式碼見 https://github.com/datavistics/encoder-analysis。

    推薦理由:三類實測呈現 GPU、batch size 與並行 VUs 對成本和延遲的影響,並提供可替換模型與硬件重跑的流程,供讀者估算自有配置處理 1B 筆輸入的開支。

2024年10月30日週三
2024年10月4日週五
2024年8月13日週二
2024年5月29日週三
2024年5月5日週日
  1. Hugging Face Blog41

    Hugging Face 推出希伯來語 LLM 開放排行榜

    Hugging Face 推出專為希伯來語 LLM 設計的開放排行榜,以語言專屬基準評估模型對希伯來語的理解與生成能力。排行榜涵蓋希伯來語問答、情感準確度、Winograd Schema Challenge 及英希互譯四項任務,採用 few-shot 提示詞;提交模型會透過 HuggingFace Inference Endpoints 部署,並由 lighteval 經 API 評估。

2024年4月19日週五
2024年4月16日週二
2022年10月19日週三
  1. Hugging Face Blog71

    MTEB 提供文本嵌入模型的大規模基準測試與排行榜

    MTEB 是一套評估文本嵌入模型在多種任務上表現的大型基準測試,並以排行榜彙整模型成績。該基準涵蓋 56 個數據集、8 類任務及最多 112 種語言,排行榜彙整 >2000 項結果。

    推薦理由:MTEB 把 56 個數據集、8 類任務納入同一排行榜,並提供自行測試及提交結果的流程,方便按具體任務比較文本嵌入模型。