跳到正文
DEV Community· 김민식/학생·· 2026-10-15AI 評分54

VIDRAFT 在僅供推理的 NPU 上從零預訓練 VKORE-46M-NPU

Preentrenamiento desde cero en una NPU solo-inferencia: VKORE-46M-NPU

AI 導讀

VIDRAFT 在僅供推理的 NPU 上以真實反向傳播、未使用 GPU,從零預訓練語言模型 VKORE-46M-NPU。同一模型在 32 個晶片的 NPU 與參考 GPU 上以相同初始化、數據和排程訓練,損失曲線相關性為 0.99,每秒 token 吞吐量收斂至相若水平。

正文

TL;DR: VIDRAFT preentreno un modelo de lenguaje desde cero (from scratch), con retropropagacion real, en una NPU disenada solo para inferencia, sin ninguna GPU. El resultado, VKORE-46M-NPU, esta publicado en Hugging Face con pesos, tarjeta de modelo y datos de comparacion. Entrenado en condiciones identicas sobre una GPU, las trayectorias de perdida correlacionan a 0,99.

NPU: quien dijo que solo puedo inferir

Por que entrenar en una NPU solo-inferencia es dificil

Las NPU de inferencia se construyen para el camino hacia adelante: grafos compilados de forma estatica, baja precision y pesos tratados como constantes. El entrenamiento necesita lo contrario: un grafo hacia atras con activaciones guardadas, estado del optimizador, estabilidad numerica para gradientes pequenos y sincronizacion de gradientes entre chips. Por eso se asumia que "las NPU no pueden hacer retropropagacion". Este trabajo la ejecuta directamente y entrena sin pesos previos.

La evidencia: mismo modelo, dos tipos de hardware

Se entreno el mismo modelo en condiciones identicas (inicializacion, datos y planificacion) en una NPU de 32 chips y en una GPU de referencia.

  • Las trayectorias de perdida correlacionan a 0,99.
  • El rendimiento (tokens por segundo) convergio a un nivel comparable.

Una curva de perdida que baja no prueba nada por si sola. Una correlacion de 0,99 con la referencia en GPU indica que la retropropagacion y las actualizaciones del optimizador hacen el mismo trabajo numerico.

Una sola NPU para todo el ciclo

Preentrenamiento desde cero, ajuste LoRA, aceleracion de inferencia (3,8x por usuario, 4,1x de rendimiento de servidor) y ejecucion de modelos cuantizados. VIDRAFT reune esto en una capa de software llamada VKORE: "CUDA para NPU", una capa de aceleracion independiente del hardware que reduce la dependencia de una GPU concreta y su ecosistema.

Por que importa

Los servidores GPU de gama alta son caros, tienen largas esperas y consumen mucha energia. Una NPU barata y de bajo consumo que ademas entrena permite a una empresa desarrollar su propio modelo en sus instalaciones, sin esperar GPU y sin enviar datos sensibles fuera.

El modelo publicado (46M, nivel de caracteres, TinyStories) es una prueba del camino de entrenamiento, no una afirmacion de calidad. Escalar a modelos grandes y datos reales es el siguiente paso. La tecnica central esta en tramite de patente y el codigo de entrenamiento se mantiene privado.

FAQ

Retropropagacion real en una NPU solo-inferencia?
Si, preentrenamiento desde cero en un chip disenado solo para inferencia.

Que significa 0,99?
La curva de perdida de la NPU casi coincide con una referencia en GPU entrenada en condiciones identicas.

Modelo: https://huggingface.co/FINAL-Bench/VKORE-46M-NPU

來源:DEV Community · dev.to