¿Qué es LLMOps?

Los modelos de lenguaje de gran tamaño (LLM) son modelos de machine learning (aprendizaje automático) que pueden comprender y generar lenguaje humano. Los LLM como GPT-3, LLaMA y Falcon son herramientas que aprenden a producir palabras y oraciones a partir de los datos. A medida que tales herramientas evolucionan, las empresas necesitan implementar prácticas recomendadas sobre el funcionamiento de estos modelos. Aquí entran en juego las LLMOps.

Las operaciones de modelos de lenguaje de gran tamaño (LLMOps) son métodos operativos que se usan para gestionar este tipo de modelos. Con ellas, se gestiona y automatiza el ciclo de vida de los LLM, desde el perfeccionamiento hasta el mantenimiento, para que los desarrolladores y los equipos los implementen, los controlen y los mantengan.

Si consideramos que los LLM son un subconjunto de los modelos de machine learning, podemos decir que LLMOps es un modelo de lenguaje de gran tamaño equivalente a las operaciones de machine learning (MLOps). MLOps es un conjunto de prácticas para los flujos de trabajo cuyo objetivo es optimizar el proceso de implementación y mantenimiento de los modelos con esta tecnología. Buscan establecer una evolución permanente para integrar los modelos de machine learning en los procesos de desarrollo de software. De manera similar, el objetivo de LLMOps es que los equipos puedan probar, repetir, implementar y mejorar permanentemente el ciclo de vida de desarrollo e implementación de los LLM.

¿Qué son los modelos como servicio?

Si bien las LLMOps y las MLOps tienen algunas similitudes, también presentan diferencias. Estas son algunas de ellas:

Aprendizaje: Por lo general, los modelos de machine learning tradicionales se crean o entrenan desde cero, pero los LLM parten de un modelo base y se perfeccionan con los datos para mejorar el rendimiento de las tareas.

Perfeccionamiento: En el caso de los LLM, este proceso mejora el rendimiento y aumenta la precisión, lo cual permite que el modelo tenga más conocimientos sobre un tema específico. El perfeccionamiento de las peticiones permite que los LLM realicen mejor determinadas tareas. Otra diferencia radica en el perfeccionamiento de los hiperparámetros. En el machine learning tradicional, el ajuste se centra en mejorar la precisión. En los LLM, el ajuste es importante no solo para aumentar la precisión, sino también para reducir los costos y la cantidad de energía que se requiere para el entrenamiento. Ambos tipos de modelos obtienen beneficios de la optimización del proceso de perfeccionamiento, pero en relación con diferentes aspectos. Por último, cabe mencionar la generación aumentada por recuperación (RAG), que implica usar conocimiento externo para garantizar que el LLM recopile datos precisos y específicos a fin de producir mejores respuestas.

Retroalimentación: El aprendizaje reforzado a partir de la retroalimentación humana (RLHF) supone una mejora en el entrenamiento de los LLM. Las contribuciones de las personas son fundamentales para el rendimiento de los LLM, ya que se utilizan para evaluar la precisión, mientras que los modelos tradicionales de machine learning usan indicadores específicos para tal fin.

Indicadores de rendimiento: Los modelos de machine learning cuentan con indicadores de rendimiento precisos; los LLM, por su parte, tienen distintos conjuntos de indicadores, como Bilingual Evaluation Understudy (BLEU) y Recall-Oriented Understudy for Gisting Evaluation (ROUGE), los cuales requieren un análisis más complejo.

Obtén más información sobre MLOps

Actualmente, las LLMOps son el mejor método para supervisar y mejorar el rendimiento. Se pueden destacar tres beneficios principales:

Eficiencia: Las LLMOps permiten que los equipos desarrollen modelos más rápido, mejoren su calidad y los implementen con rapidez. Gracias a un enfoque más optimizado para la gestión, los equipos pueden colaborar mejor en una plataforma que promueve la comunicación, el desarrollo y la implementación. Las herramientas como vLLM, un servidor de inferencias open source que acelera la inteligencia artificial generativa, permiten utilizar las GPU de manera más eficiente.

Capacidad de ajuste: Las LLMOps contribuyen a la capacidad de ajuste y la gestión, ya que permiten gestionar y supervisar más de un modelo para su integración y distribución o implementación continuas (CI/CD). También proporcionan una experiencia de usuario más receptiva a través de una mejora en la comunicación y las respuestas. 

Reducción de riesgos: Las LLMOps impulsan una mayor transparencia y optimizan el cumplimiento de las políticas de la empresa y el sector. Además, mejoran la seguridad y la privacidad porque protegen la información confidencial y evitan la exposición a los riesgos.

Descubre la manera en que vLLM ayudó a tres empresas conocidas a expandirse con mayor rapidez. 

Descubre tres casos prácticos reales

Las LLMOps tienen varios casos prácticos.

Integración y distribución continuas (CI/CD): Tiene como objetivo optimizar, agilizar y automatizar el ciclo de vida de desarrollo de modelos.  Elimina la necesidad de intervenir manualmente para obtener código nuevo, lo que reduce el tiempo de inactividad y agiliza el lanzamiento de los códigos. Las herramientas como Tekton, en la que se basa Red Hat OpenShift Pipelines, mejoran los flujos de trabajo de los desarrolladores al automatizar las implementaciones en varias plataformas.

Obtén más información sobre el uso de la inteligencia artificial

Recopilación, etiquetado y almacenamiento de datos: La recopilación de datos utiliza diferentes fuentes para recopilar información precisa. El etiquetado clasifica los datos, y el almacenamiento reúne y conserva la información digital que está asociada a una red.

Perfeccionamiento, inferencia y supervisión de modelos: Con el perfeccionamiento, se optimizan los modelos para que realicen tareas específicas de cada área. La inferencia de la inteligencia artificial ocurre cuando un modelo de inteligencia artificial proporciona una respuesta a partir de los datos. Las inferencias de los modelos permiten gestionar la producción según los conocimientos actuales y ejecutar acciones en función de la información inferida. Gracias a la supervisión de los modelos, que incluye la retroalimentación humana, es posible recopilar y almacenar datos sobre el comportamiento de los modelos para entender el modo en que los modelos se relacionan con los datos de producción reales.

La importancia de la inferencia de la inteligencia artificial

Las LLMOps tienen varias etapas o elementos, y hay prácticas recomendadas para cada una de ellas.

Análisis exploratorio de los datos (EDA): Consiste en el proceso de evaluar los datos y prepararlos para el ciclo de vida de machine learning mediante la creación de conjuntos de datos.

• Recopilación de los datos: Es el primer paso del entrenamiento de los LLM que se recopilaron de diferentes fuentes, como archivos de código y redes sociales.
• Limpieza de los datos: Una vez recopilados, los datos deben analizarse y prepararse para el entrenamiento. Esto implica eliminar los errores, corregir las inconsistencias y borrar los datos duplicados.
• Exploración de los datos: El siguiente paso es analizar los datos para comprender mejor sus características, lo que incluye identificar valores atípicos y patrones.

Preparación de los datos e ingeniería de peticiones: Este proceso consiste en permitir que diferentes equipos compartan datos accesibles y desarrollar peticiones para los LLM.

• Preparación de los datos: Los datos que se usan para entrenar un LLM se preparan de diversas maneras, como la síntesis y la conclusión de los datos que se recopilaron.
• Ingeniería de peticiones: Consiste en la creación de peticiones que se usan para los textos que garantizan que los LLM generen el resultado deseado.

Perfeccionamiento de los modelos: Consiste en el uso de bibliotecas open source populares, como Hugging Face Transformers, para perfeccionar y mejorar el rendimiento de los modelos.

• Entrenamiento de los modelos: Después de la preparación de los datos, el LLM se entrena, o perfecciona, con un algoritmo de machine learning para que aprenda los patrones que surgen de los datos.
• Evaluación de los modelos: Una vez que se entrenó el LLM, debe evaluarse para observar su rendimiento. Para ello, se usa un conjunto de datos que no se utilizó durante el entrenamiento.
• Perfeccionamiento de los modelos: Si el LLM no funciona bien, se puede perfeccionar, lo cual implica modificar sus parámetros para mejorar el rendimiento.

Revisión y control de los modelos: Consiste en el proceso de identificar elementos, compartirlos y colaborar en los diferentes modelos de machine learning con la ayuda de plataformas open source de MLOps, como Kubeflow.

• Revisión de los modelos: Una vez que se haya perfeccionado el LLM, debe revisarse para garantizar que sea seguro y confiable, lo cual incluye comprobar los sesgos y los riesgos de seguridad.
• Control de los modelos: Consiste en gestionar los LLM a lo largo de su ciclo de vida, lo que implica supervisar su rendimiento, realizar cambios cuando sea necesario y retirarlos cuando ya no se necesiten.

Inferencias y distribución de los modelos: Consiste en el proceso de gestionar los detalles de producción, como la frecuencia con la que se actualiza un modelo o los tiempos de solicitud. 

• Distribución de los modelos: Una vez que se revisa y aprueba el LLM, puede llevarse a la fase de producción y distribuirse a los usuarios mediante una interfaz de programación de aplicaciones (API). Cuando los LLM son de gran tamaño (piensa en cientos de miles de millones de parámetros), suele requerirse la inferencia distribuida, que es la técnica de dividir el modelo en varias GPU. Los proyectos open source como llm-d ofrecen una solución gestionada de Kubernetes para organizar esta disposición distribuida de manera eficiente.
• Inferencia de los modelos: Una aplicación puede hacer consultas a la API para que genere texto o responda preguntas. Esto puede realizarse de varias maneras, por ejemplo, mediante una interfaz de programación de aplicaciones de transferencia de estado representacional (API de REST) o una aplicación web.

Supervisión de los modelos con retroalimentación humana: Consiste en la creación de modelos y datos que supervisan el comportamiento atípico o negativo de los usuarios.

• Supervisión de los modelos: Después de implementar el LLM, es necesario supervisarlo para garantizar que funcione según lo esperado. Esto incluye realizar un seguimiento del rendimiento, identificar problemas e implementar cambios cuando sea necesario.

• Retroalimentación humana: Este proceso, que se usa para mejorar el rendimiento de los LLM, consiste en brindar retroalimentación sobre el texto que generan los modelos o identificar cualquier problema con su rendimiento.

  La inteligencia artificial en la empresa

Una plataforma de LLMOps proporciona a los desarrolladores y los equipos un entorno que promueve la colaboración a través de la ingeniería de peticiones, el análisis de datos, el seguimiento de las pruebas y la gestión de los LLM. También se ocupa de la transición, la implementación y la supervisión de los modelos en entornos gestionados. Al contar con una mejor gestión de las bibliotecas, la plataforma permite disminuir los costos operativos y prescindir de personal técnico muy capacitado para llevar a cabo tareas como el procesamiento de datos, la supervisión de los modelos y la implementación.

Aprende a elegir una plataforma para la inteligencia artificial y las LLMOps

Red Hat AI es una plataforma de productos y servicios que ayudan a tu empresa en cualquier etapa del proceso de adopción de la inteligencia artificial, ya sea que estés comenzando o que ya puedas expandirla. Respalda las iniciativas de inteligencia artificial generativa y predictiva para los casos prácticos exclusivos de tu empresa.

Con esta herramienta, tienes acceso a Red Hat® AI Inference Server para optimizar la inferencia de los modelos en toda la nube híbrida y lograr que las implementaciones sean más rápidas y rentables. El servidor de inferencia, que se basa en los vLLM, aprovecha al máximo la GPU y agiliza los tiempos de respuesta.

Obtén más información sobre Red Hat AI Inference Server

Red Hat AI Inference Server incluye el repositorio de Red Hat AI, un conjunto de modelos optimizados y validados por terceros que fomentan la flexibilidad y la uniformidad entre los equipos. Con el acceso a este repositorio, las empresas pueden agilizar el tiempo de comercialización y reducir los obstáculos financieros que dificultan la adopción de la inteligencia artificial. 

Obtén más información sobre los modelos validados por Red Hat AI