Granite 3.0 reúne un conjunto de LLM desarrollados para distintos fines, que la compañía tecnológica resumen en un propósito general o de lenguaje y con arquitectura de mezcla de expertos (MoE). También otros con el enfoque puesto en la seguridad y los guardarraíles, es decir, con capacidades para detectar el riesgo y el daño.
Todos estos modelos son "compactos y versátiles", diseñados para "ajustarse con precisión a los datos empresariales e integrarse sin problemas en diversos entornos o flujos de trabajo comerciales".
Estos modelos se han entrenado con más de 12 billones de tokens en datos extraídos de doce idiomas naturales y 116 lenguajes de programación, utilizando un método de entrenamiento en dos etapas, como ha informado la compañía en una nota de prensa.
Con variantes de mil millones de parámetros (1B), 2.000 millones (2B) y 8.000 millones de parámetros (8B), IBM ha matizado que los LLM de 8B y 2B admitirán una ventana de contexto extendida de 128K y capacidades de comprensión de documentos multimodales a finales de año.
Thank you for watching
Según IBM, se trata de su "familia más avanzada de modelos de IA hasta la fecha", con capacidad para "superar o igualar a modelos de tamaño similar de los principales proveedores de modelos en muchos puntos de referencia académicos y de la industria, lo que demuestra un sólido rendimiento, transparencia y seguridad".
La compañía ha acompañado estos modelos de una actualización de sus modelos de preentrenamiento Granite Time, que se entrenan con tres veces más datos para multiplicar por tres su rendimiento en los test de prueba.
Todos los modelos Granite 3.0 y Granite Times están disponibles en HuggingFace bajo una licencia de 'software' libre permisiva Apache 2.0, aunque algunas variantes estarán disponibles también de la mano de socios, como Qualcomm, AWS y Nvidia.
IBM también ha anunciado la siguiente generación de Watsonx Code Assistant impulsada por los modelos Granite para ofrecer asistencia en la programación con lenguajes como C, C++, Go, Java, y Python.