Nueve años después de que investigadores de Google introdujeran la arquitectura Transformer, esta familia de redes neuronales se ha convertido en el motor de casi todos los modelos de lenguaje grandes, conocidos como LLM. Pero su mecanismo de atención densa tiene un límite importante: cuando aumenta la cantidad de texto, debe comparar muchas parejas de tokens, es decir, unidades de texto. El costo crece con rapidez y puede volver más lenta y cara la gestión de información a largo plazo.

Para ti, esto importa porque la próxima generación de herramientas de inteligencia artificial podría procesar documentos más extensos y ejecutar tareas de varios pasos con menos problemas para conservar el contexto. La industria busca ese avance por dos caminos: nuevas arquitecturas y mejoras en la infraestructura que ya existe.

1. Por qué la atención densa se vuelve un cuello de botella

En la atención densa estándar, una secuencia de longitud L requiere comparar aproximadamente cada token con los demás. Por eso, el costo de esas interacciones crece de forma cuadrática, cerca de O(L2), no subcuadrática. Algunas implementaciones reducen el uso de memoria o aceleran los cálculos, pero eso no cambia necesariamente la complejidad matemática de la atención.

La consecuencia práctica es clara: analizar un contrato de cientos de páginas, un expediente completo o una conversación muy larga puede exigir más memoria, tiempo y dinero. Las alternativas buscan acercarse a un crecimiento lineal o subcuadrático para que el tamaño del contexto pese menos.

2. Tres arquitecturas que intentan conservar más contexto

Estas propuestas no tienen el mismo nivel de madurez. Algunas cuentan con código y resultados de investigación, mientras que su adopción comercial todavía depende de cada modelo y proveedor. Estas son las familias que conviene vigilar:

• Mamba y S4: pertenecen a la familia de modelos de espacio de estados. En lugar de comparar todos los tokens entre sí, mantienen un estado que resume la información relevante mientras avanza la secuencia. Esa estrategia busca un crecimiento cercano a lineal y un menor aumento de memoria en contextos muy largos.
• RWKV: puede entrenarse en paralelo, como un Transformer, pero durante la generación funciona de forma recurrente. Esto significa que procesa cada token nuevo usando un estado compacto, en vez de volver a revisar toda la secuencia. En inferencia, el tiempo total para generar L tokens puede crecer linealmente, mientras que la memoria del estado recurrente puede mantenerse constante respecto de L. El entrenamiento paralelo tiene costos y requisitos distintos, por lo que no debe resumirse con una sola cifra de complejidad.
• Hyena Hierarchy: reemplaza la atención tradicional por operadores basados en convoluciones largas y mecanismos de compuertas, conocidos como gating. Las compuertas deciden qué información pasa y cuál se atenúa. El objetivo es manejar secuencias muy largas con una complejidad subcuadrática, en lugar del costo O(L2) de la atención densa.

En conjunto, estas arquitecturas podrían ayudar a crear asistentes que mantengan mejor el hilo de una investigación, un proyecto o un documento extenso. Aun así, una ventana de contexto más grande no garantiza por sí sola que un modelo comprenda todo correctamente. La calidad depende también del entrenamiento, los datos y la tarea.

3. Cómo FlashAttention-2 acelera lo que ya usamos

No todo requiere sustituir la arquitectura. FlashAttention-2 es una implementación de la atención exacta que reorganiza el acceso a la memoria y el trabajo de la GPU. En términos sencillos, evita mover datos innecesariamente entre la memoria y las unidades de cálculo, lo que permite aprovechar mejor el hardware.

Sus autores reportan una aceleración de 2–4× frente a líneas base optimizadas en GPUs A100, según el modelo, la longitud de la secuencia, el tamaño del lote, la precisión y la configuración utilizada. La medición primaria está documentada en el artículo de FlashAttention-2. La cifra no significa que la atención densa se vuelva lineal: describe una mejora de ejecución y de acceso a memoria en ciertos escenarios.

Para comparar resultados de forma más justa, conviene revisar benchmarks estandarizados como los de MLPerf Inference y comprobar que las pruebas usen cargas, precisiones y tamaños de lote comparables. En México no se encontró un programa público e independiente que mida, con una metodología comparable, la eficiencia de estas arquitecturas a nivel de kernel y GPU. Por eso, los equipos locales deberían combinar referencias internacionales con mediciones propias antes de elegir una solución.

4. Qué puedes hacer hoy con esta información

No todas estas propuestas están listas para reemplazar a los Transformers en productos de uso diario. Mamba y S4, RWKV y Hyena siguen teniendo niveles distintos de investigación, disponibilidad de código e integración. FlashAttention-2, en cambio, es una optimización de la infraestructura existente. La adopción dependerá de la herramienta, el proveedor y el tipo de tarea.

Si usas una herramienta de IA para revisar documentos largos o coordinar tareas complejas, no te fijes únicamente en el tamaño anunciado de su ventana de contexto. Revisa también la velocidad de respuesta, la consistencia al recuperar información del inicio del texto y el costo de uso.

Cuando una actualización prometa mayor velocidad o una ventana de contexto más amplia, busca qué cambió realmente: una arquitectura nueva, una optimización como FlashAttention-2 o simplemente más hardware. Esa distinción te ayudará a elegir herramientas más rápidas y eficientes, y a evitar pagar por una mejora que no se nota en tu flujo de trabajo. Más sobre el tema: Microsoft lanza modelos MAI propios: la clave para reducir tus costos de IA.