基於協方差的序列池化

研究提出協方差池化，以 token 激活的截斷二階矩聚合基因組基礎模型的序列表示，保留均值池化忽略的特徵聯合結構。在 NTv3 的 Gene Ontology 預測及基因組軌道預測中，該方法表現大幅優於均值池化。它可透過重建二階矩學習低秩分解，生成定長嵌入，並用於有監督探測及無監督嵌入學習。