AI 為何會忘記對話開頭交代的內容？Marcelo Alberto Futerman 解釋上下文窗口

Marcelo Alberto Futerman explica, sin tecnicismos, qué es la "ventana de contexto" de un modelo de lenguaje y por qué en charlas largas el asistente empieza a perder detalles.

Pasa seguido: al comienzo de una conversación se le aclara al asistente que el texto es para un público joven, que no use cierta palabra o que el presupuesto tiene un tope. Muchos mensajes después, la respuesta ignora todo eso. No es descuido ni mala voluntad. Tiene que ver con cómo lee la herramienta.

Un modelo de lenguaje no recuerda: relee

Un asistente de IA no guarda la conversación en una memoria como la de una persona. Cada vez que contesta, vuelve a leer el texto disponible —el pedido actual y lo que vino antes— y a partir de ahí arma la respuesta.

Ese texto disponible tiene un límite de tamaño. Se lo suele llamar ventana de contexto. Mientras la charla entra en la ventana, el modelo puede tener todo en cuenta. Cuando la supera, las partes más viejas quedan afuera o pierden peso, según cómo esté construido cada servicio.

Por qué se nota en conversaciones largas

Aunque la charla todavía entre en la ventana, no todo pesa igual. Las instrucciones dadas al principio compiten con todo lo que se fue sumando después: ejemplos, correcciones, textos pegados. Una indicación chica, mencionada una sola vez hace rato, es fácil de perder entre tanto material.

Qué hacer para que no pase

• Repetir lo esencial. Si una regla importa, conviene recordarla en el pedido en el que hace falta, no confiar en que siga vigente desde el inicio.
• Empezar de nuevo cuando cambia el tema. Una conversación nueva, con un primer mensaje que resuma lo necesario, suele funcionar mejor que estirar una vieja.
• Pegar solo lo que sirve. Cuanto más texto irrelevante entra, más se diluye lo importante.
• Pedir una recapitulación. Preguntarle al asistente qué condiciones tiene en cuenta en ese momento ayuda a detectar qué se perdió.

Lo que conviene llevarse

La sensación de estar hablando con alguien que recuerda todo es engañosa. La herramienta trabaja con lo que tiene delante en cada respuesta. Entender eso evita muchas frustraciones y mejora los resultados sin ningún truco especial.

Sobre otra limitación parecida, la de sonar segura aunque se equivoque, escribí esta nota en Medium. Y en el canal de YouTube de Marcelo Alberto Futerman hay videos cortos con ejemplos de uso diario.

— Marcelo Futerman