Meta lanza Llama 3.1, un modelo de IA abierto con 405.000 millones de parámetros, superando en rendimiento a sus rivales. (META/META)
Meta lanzó Llama 3.1, un modelo de inteligencia artificial (IA) con 405.000 millones de parámetros (405B), que se compara con los modelos cerrados más avanzados. Este modelo destaca en conocimientos generales, orientación, matemáticas, uso de herramientas y traducción multilingüe.
Llama 3.1 405B es el modelo fundacional de código abierto más grande hasta la fecha, diseñado para generar datos sintéticos y destilar modelos. Meta asegura en su comunicado de prensa que esta IA compite en rendimiento con modelos cerrados como GPT-4, GPT-4o y Claude 3.5 Sonnet, evaluados en escenarios reales. También sobresale en áreas como conocimientos generales, orientación, matemáticas, uso de herramientas y traducción multilingüe.
Este modelo fue entrenado con 15 billones de tokens, utilizando aproximadamente 16.000 GPU H100 Nvidia, mejorando la calidad y cantidad de información en las fases previa y posterior al entrenamiento. Meta adoptó una arquitectura de modelo de transformador de solo decodificador estándar, y un procedimiento iterativo con ajuste supervisado y optimización directa de las preferencias.
Llama 3.1 admite una ventana de contexto de 128.000 tokens, ofreciendo respuestas de alta calidad en contextos cortos y amplios. Este modelo ya está disponible para prueba en Estados Unidos a través de WhatsApp y meta.ai, con preguntas matemáticas y de programación.
Meta también presentó versiones mejoradas de los modelos Llama 8B y 70B, que admiten una ventana de contexto de 128.000 tokens y muestran mejores capacidades de razonamiento. Estos modelos soportan resúmenes de texto de formato largo, agentes conversacionales multilingües y asistentes de codificación.
En cuanto al desarrollo de una IA responsable, Meta anunció un sistema de referencia con ejemplos de aplicaciones y componentes nuevos como Llama 3 Guard, un modelo de seguridad, y Prompt Guard, un filtro para la entrada de indicaciones, ambos de código abierto. Además, Meta ha puesto a disposición de los desarrolladores en GitHub Llama Stack, un conjunto de interfaces que facilitan la interoperabilidad dentro del ecosistema.
*La creación de este contenido contó con la asistencia de inteligencia artificial. La información fue proporcionada y revisada por un periodista para asegurar su precisión. El contenido no se generó automáticamente.
