Etiqueta
3 noticias relacionadas con esta etiqueta.
Liquid AI abre el código de Pipette, una plataforma para medir cómo se comportan modelos de lenguaje en dispositivos edge, considerando cuantización, runtime y hardware en conjunto. Cierra la brecha entre métricas de servidor y rendimiento real en campo.
Fuente: MarkTechPost
Together AI ha abierto el código de OSCAR, un sistema de cuantización INT2 para caché de pares clave-valor (KV) que optimiza el servicio de LLMs con contextos extensos. El método logra reducir memoria en 8× y acelerar decodificación hasta 3× manteniendo precisión cercana a modelos sin comprimir.
Fuente: MarkTechPost
Un tutorial práctico demuestra técnicas de cuantización post-entrenamiento para reducir el tamaño y latencia de modelos de lenguaje ajustados con instrucciones, comparando estrategias de compresión y su impacto en rendimiento.
Fuente: MarkTechPost