跳到正文
熱點事件持續更新

A/B測試每日查看與mSPRT表現

1 篇報道1 個報道來源2 小時前更新

先了解這件事

AI 綜述

2026年11月1日,DEV Community刊出作者的模擬結果,檢視 A/B 測試每日查看數據,並在 p < 0.05 時停止的影響。模擬顯示,在零效果情況下,這種做法會令假陽性率由單次檢定的 5% 升至 24.8%。報道亦比較 mSPRT:每組用戶上限為 10,000 時,假陽性率為 0.98%,檢定力為 0.465,低於固定樣本檢定的 0.787。若要令 mSPRT 達到 80% 檢定力,每組用戶上限需增至 18,000。

AI 根據報道生成 · 2 小時前更新

報道時間線

沿着報道,瞭解事件的不同側面。

11月1日
  1. DEV Community
    每日查看 A/B 測試令 5% 假陽性率升至 25%,mSPRT 的代價是甚麼

    作者的模擬顯示,A/B 測試每日查看並在 p < 0.05 時停止,會令零效果下的假陽性率由單次檢定的 5% 升至 24.8%。每組上限為 10,000 名用戶時,mSPRT 的假陽性率為 0.98%,檢定力為 0.465,低於固定樣本檢定的 0.787;若要達到 80% 檢定力,上限需增至每組 18,000 名用戶。

本事件熱度走勢

還沒有足夠的連續觀測數據,暫不繪製趨勢。