OpenAI 發現 CLIP 中能響應同一概念多種呈現方式的神經元
OpenAI 發現，CLIP 中有些神經元在同一概念以字面、符號或概念方式呈現時，均會作出反應。這或可解釋 CLIP 為何能準確分類出人意料的概念視覺呈現，也有助理解 CLIP 及類似模型學到的聯想與偏見。
#多模態
#多模態
今日 34 條OpenAI NewsAI 評分5252
OpenAI News精選AI 評分7474 OpenAI 推出 CLIP，以自然語言監督學習視覺概念
OpenAI 推出神經網絡 CLIP，讓模型透過自然語言監督高效學習視覺概念。只需提供待識別的視覺類別名稱，CLIP 即可套用於任何視覺分類基準，其零樣本能力類似 GPT-2 和 GPT-3。
推薦理由：CLIP 將自然語言監督與視覺分類連接，並以類別名稱作為套用基準的入口，呈現其零樣本使用方式。
OpenAI NewsAI 評分5252 OpenAI 開發 Sparse Transformer，在序列下一項預測上創下新紀錄
OpenAI 開發了 Sparse Transformer，這種深度神經網絡在預測文字、圖像或聲音序列中的下一項內容方面創下新紀錄。它改進了注意力機制算法，能從長度達此前可處理上限 30x 的序列中提取模式。