¿Qué son los modelos Granite?

Granite es una serie de modelos de lenguaje de gran tamaño (LLM) creados por IBM para las aplicaciones empresariales. Los modelos base de esta serie admiten casos prácticos de inteligencia artificial generativa que utilizan lenguaje y código.

Los modelos Granite cuentan con la licencia Apache 2.0 de tecnología de open source, por lo cual los desarrolladores pueden probarlos, modificarlos y distribuirlos de manera gratuita. Gracias a ello, estos modelos son ideales para las empresas que trabajan con datos confidenciales y desean ejecutar sus propios LLM en lugar de depender de un servicio externo.

Descubre el funcionamiento de Granite con Red Hat

Los modelos base se entrenan para que funcionen con una comprensión general de los patrones, las estructuras y las representaciones del lenguaje. Este entrenamiento "básico", que permite que los modelos aprendan a comunicar e identificar dichos patrones, se denomina "inferencia de inteligencia artificial". Constituye la fase operativa de esta tecnología, en la cual el modelo puede aplicar los conocimientos adquiridos en el entrenamiento a situaciones reales.

La importancia de la inferencia de la inteligencia artificial 

Los modelos de inteligencia artificial Granite de IBM tienen una base de conocimiento que puede perfeccionarse para llevar a cabo tareas específicas en prácticamente cualquier sector. Se entrenan con datos seleccionados que aportan transparencia al proceso.

Los LLM emplean la inteligencia artificial generativa para crear contenido nuevo a partir de las peticiones de los usuarios. En la actualidad, esta tecnología suele utilizarse para generar texto, imágenes, videos y código. Las empresas pueden usar modelos base de LLM para automatizar distintos aspectos de sus operaciones, como los chatbots de servicio de atención al cliente o las pruebas de código de software.

Otros modelos base de LLM que utilizan la inteligencia artificial generativa son los LLaMa de Meta (incluidos LLaMa 2 y LLaMa 3), Gemini de Google, Claude de Anthropic, GPT de OpenAI (conocidos por su bot ChatGPT) y Mistral. Sin embargo, los modelos Granite se diferencian del resto por la divulgación de sus datos de entrenamiento, lo cual genera confianza en sus usuarios y los hace más adecuados para los entornos empresariales.

Sí, algunos de los modelos de inteligencia artificial Granite están disponibles con una licencia open source, por lo cual los desarrolladores pueden acceder a ellos con facilidad y utilizarlos para nuevos diseños de manera local. Por lo tanto, pueden perfeccionarlos según sus objetivos particulares. Los usuarios incluso tienen acceso a la mayoría de los datos que se utilizaron en el entrenamiento de los modelos (PDF), lo cual les permite conocer su proceso de diseño y su funcionamiento.

Con respecto a los modelos Granite, la tecnología de open source implica un espacio en el que los desarrolladores pueden personalizar el modelo con sus propios datos y generar resultados específicos para cada usuario. No significa que los datos privados de cada persona estén a disposición de toda la comunidad open source. A diferencia de la inteligencia artificial de servicios web públicos, los modelos Granite no se entrenan de forma permanente. Por lo tanto, los datos ingresados en los modelos nunca se compartirán con Red Hat, IBM ni ningún otro usuario de Granite.

Las empresas de diversos sectores, como la salud o la construcción, pueden utilizar Granite de muchas maneras para automatizar sus operaciones a gran escala. Los modelos Granite pueden entrenarse en tareas del ámbito empresarial, como la generación de resúmenes, respuestas a preguntas y clasificaciones. Estos son algunos ejemplos:

• Generación de código: los modelos de código Granite permiten utilizar el trabajo realizado por los desarrolladores o mejorarlo para que los procesos sean más eficientes. Por ejemplo, los desarrolladores pueden aprovechar la función de autocompletar; es decir, de la misma manera que nuestros teléfonos inteligentes completan oraciones automáticamente, el modelo puede finalizar una línea de código antes de que el desarrollador termine de escribirla.
• Extracción de información: cuando necesites simplificar, resumir o explicar grandes conjuntos de datos, Granite puede identificar información y patrones precisos con rapidez para que no pierdas tiempo revisando todos esos datos. 

• Arquitectura flexible: Granite puede integrarse a los sistemas actuales e implementarse en las instalaciones o en la nube. Sus interfaces están diseñadas para simplificar la implementación. Los modelos Granite están disponibles en varios tamaños, así que puedes elegir el que mejor se adapte a tus necesidades y gestionar los costos informáticos.
• Soluciones personalizadas: si bien Granite se vende como modelo base, está diseñado para ser entrenado con conocimientos específicos de cada empresa. Los usuarios pueden perfeccionar el modelo y adaptarlo a sus necesidades empresariales. Por ejemplo, si tu empresa se centra en dispositivos médicos, puedes enseñarle la jerga que se utiliza en el sector de la salud.
• Baja latencia: cuando ejecutas un modelo Granite en tu propia infraestructura, puedes optimizar los tiempos de respuesta. El modelo proporciona datos de forma inmediata, por lo cual es ideal para las operaciones fundamentales. Continuando con el ejemplo del sector de la salud, la accesibilidad a los datos en tiempo real mejora la colaboración a distancia entre médicos y pacientes y la atención de casos urgentes. Al comprimir el modelo Granite, se obtiene un rendimiento sólido con incluso menos recursos.
• Precisión alta: los desarrolladores pueden perfeccionar los modelos Granite para que realicen tareas específicas del sector y se conviertan en especialistas en cualquier materia. También pueden entrenarse en varios idiomas a fin de garantizar la precisión y la accesibilidad en todo el mundo.
• Modelos transparentes: como Granite está disponible con una licencia open source, los desarrolladores pueden conocer los procesos de diseño y entrenamiento de los modelos de inteligencia artificial, además de colaborar con una comunidad open source.

Sí. Los modelos Granite admiten funciones de inferencia distribuida. 

La inferencia distribuida permite que los modelos de inteligencia artificial procesen las cargas de trabajo de manera más eficiente al dividir la tarea de inferencia entre un grupo de dispositivos interconectados. Implica el funcionamiento de un sistema que divide las solicitudes en una flota de hardware, que puede incluir servidores físicos y de nube. 

Luego, cada servidor de inferencia procesa su parte asignada simultáneamente para generar un resultado: El resultado es un sistema observable y con capacidad de recuperación que permite prestar servicios uniformes y adaptables basados en la inteligencia artificial. Los marcos como llm-d admiten la inferencia distribuida a gran escala para agilizar las aplicaciones de inteligencia artificial generativa en toda la empresa.

Descubre todo lo que la inferencia distribuida puede hacer por ti 

En pocas palabras, no hay inteligencia artificial sin inferencia. 

Sin embargo, el crecimiento constante de los modelos afecta el rendimiento de la inferencia. A medida que los modelos se vuelven más complejos, este proceso se torna más lento.

Para que la inferencia sea exitosa, los modelos de inteligencia artificial deben realizar muchas operaciones matemáticas en poco tiempo. Por lo tanto, factores como el tamaño del modelo, el gran volumen de usuarios y la latencia pueden limitar el rendimiento. Cuando los modelos requieren más datos y más memoria, el hardware y los aceleradores tienen dificultades para satisfacer tal demanda.

Es por eso que el hardware y el software que te permiten realizar inferencias pueden facilitar o entorpecer tu estrategia de inteligencia artificial, y Granite está pensado para potenciar la inferencia a un nivel superior.

La importancia de la inferencia de la inteligencia artificial 

IBM lanzó varias series de modelos Granite para satisfacer las necesidades de las aplicaciones empresariales, que son cada vez más complejas. Estas series cuentan con diferentes categorías y convenciones de denominación.

Cada serie tiene un propósito diferente:

• Granite Language Models: estos modelos ofrecen un procesamiento del lenguaje natural (NLP) preciso en varios idiomas con una baja latencia. 

  Descubre los casos prácticos de la inteligencia artificial generativa

• Granite Code Models: estos modelos están entrenados en más de 100 lenguajes de programación diferentes para admitir tareas de software de nivel empresarial.
• Granite Time Series Models: estos modelos se perfeccionan para la previsión de series temporales, un método de predicción de datos futuros a partir de datos del pasado.

• Granite Geospatial Models: IBM y la NASA crearon este modelo base que observa la Tierra y recopila datos satelitales a gran escala para poder hacer un seguimiento de los cambios medioambientales y abordarlos.

  Descubre los casos prácticos de la inteligencia artificial predictiva

En cada una de estas series, Granite ofrece modelos de distintos tamaños y especialidades. Por ejemplo, Granite Language incluye:

• Granite-7b-base, un modelo de lenguaje de propósito general para conversaciones y chats;
• Granite-7b-instruct, que se especializa en seguir instrucciones de tareas.

Descubre los modelos Granite en Hugging Face

Red Hat® AI es una plataforma de productos y servicios que ayudan a tu empresa en cualquier etapa del proceso de adopción de la inteligencia artificial, independientemente de si estás comenzando o ya puedes expandirla. Respalda las iniciativas de inteligencia artificial generativa y predictiva para los casos prácticos exclusivos de tu empresa.

Con esta herramienta, tienes acceso a Red Hat® AI Inference Server para optimizar la inferencia de los modelos en toda la nube híbrida y lograr que las implementaciones sean más rápidas y rentables. El servidor de inferencia utiliza vLLM para aprovechar al máximo el uso de la GPU y agilizar los tiempos de respuesta.

Obtén más información sobre Red Hat AI Inference Server

Red Hat AI Inference Server incluye el repositorio de Red Hat AI, un conjunto de modelos optimizados y validados por terceros que fomentan la flexibilidad y la uniformidad entre los equipos. Con el acceso a este repositorio, las empresas pueden agilizar el tiempo de comercialización y reducir los obstáculos financieros que dificultan la adopción de la inteligencia artificial. 

Obtén más información sobre los modelos validados por Red Hat AI