跳到正文
熱點事件持續更新

Kotoba-Tutor 評測與微調進展

1 篇報道1 個報道來源1 小時前更新

先了解這件事

AI 綜述

Kotoba-Tutor 的語音教學流程已端到端運作,但評測顯示錯誤分類有明顯偏差:Swallow-8B 在 1,288 句 TEC-JL 評測中,約有 1,240 句被判為助詞錯誤,其他錯誤類別的召回率均為零。其後進行 LoRA 微調,加入 10k 正確例句,並把改動 token 的損失權重調至 4x。微調後,誤判率由 0.95 降至 0.17,exact-match 由 0.01 升至 0.03;不過,模型大多隻學會不標記錯誤。

AI 根據報道生成 · 1 小時前更新

報道時間線

沿着報道,瞭解事件的不同側面。

10月21日
  1. DEV Community
    Kotoba-Tutor 日語導師智能體運作正常,唯獨把所有錯誤都判作助詞

    Kotoba-Tutor 的語音教學流程已端到端運作,但 Swallow-8B 在 1,288 句 TEC-JL 評測中約有 1,240 句被判為助詞錯誤,其他錯誤類別的召回率均為零。後續 LoRA 微調加入 10k 正確例句及 4x 改動 token 損失權重後,誤判率由 0.95 降至 0.17,exact-match 由 0.01 升至 0.03,但模型大多隻學會不標記錯誤。

本事件熱度走勢

還沒有足夠的連續觀測數據,暫不繪製趨勢。