word2vec 究竟學到了甚麼？

研究提出 word2vec 學習過程的定量理論，證明在若干實際可行條件下，其學習可化為無權最小二乘矩陣分解，最終表示由 PCA 給出。從接近零的隨機初始化出發，word2vec 以離散步驟逐一學得正交線性子空間，每步提高嵌入矩陣的秩；這些特徵對應由語料統計及演算法超參數定義的目標矩陣頂部特徵向量。