Inteligencia Artificial·16 may 2026
Nous Research presenta Lighthouse Attention: aceleración de 1.4–1.7× en preentrenamiento
Nous Research introduce Lighthouse Attention, un mecanismo de atención jerárquica que optimiza el preentrenamiento de modelos de lenguaje en contextos largos. La técnica reduce la complejidad computacional y se aplica solo durante el entrenamiento, logrando aceleraciones significativas sin degradar
Fuente: MarkTechPost