Inteligencia artificial open source en Red Hat: nuestro proceso en la comunidad de Kubeflow

Red Hat ha participado en proyectos de datos e inteligencia artificial durante muchos años y, aunque muchas personas respaldan el proceso de modernización, ninguna explica todo el proceso del usuario para llevar la inteligencia artificial y el machine learning (aprendizaje automático) a la producción. Por eso lanzamos Open Data Hub, para desarrollar y respaldar los proyectos open source exclusivos para los datos y la inteligencia artificial y el machine learning, como Kubeflow y KServe.

Open Data Hub y Kubeflow

Open Data Hub comenzó con un operador sencillo que implementaba la inteligencia artificial, el machine learning y el software de datos en los clústeres de Red Hat OpenShift con cierto nivel de integración entre ellos. Sin embargo, cuando comenzamos a encontrar obstáculos en la búsqueda de soporte, recurrimos a Kubeflow, un nuevo proyecto que se centraba en simplificar y ajustar las implementaciones de las cargas de trabajo de machine learning en Kubernetes. Al reescribir Open Data Hub sobre el código de Kubeflow, pudimos crear una nueva matriz de funciones de soporte.  Durante el último año, Red Hat aumentó su participación en la comunidad de Kubeflow, no solo para contribuir con código, sino también para ayudar a la comunidad a alcanzar niveles más altos de madurez y aceptación por parte de los usuarios.  A continuación, se incluye una descripción general del trabajo que realizamos actualmente en la comunidad de Kubeflow.

Versión 1.9 de Kubeflow

Ricardo Martinelli, ingeniero principal de software de Red Hat, luego de unirse a la comunidad de Kubeflow, se ofreció como voluntario para trabajar como gerente de versiones de Kubeflow 1.9 y ayudar a otros colaboradores a crear un plan para la versión. Por este motivo, Red Hat aportó varias funciones a Kubeflow 1.9.

Registro de modelos

El registro de modelos, una función muy solicitada, se convirtió en una de las principales contribuciones de Red Hat a Kubeflow 1.9. El registro de modelos se integra en los canales de Kubeflow y los elementos de servicio para crear un catálogo de artefactos que incluye modelos, conjuntos de datos, indicadores y más e implementar modelos desde el almacenamiento de los artefactos. Otras funciones clave del registro de modelos incluyen la implementación de operadores y charts de helm, el control de acceso basado en funciones (RBAC), la arquitectura multiempresa, entre otras. Para admitir la nueva función de registro de modelos, la comunidad de Kubeflow desarrolló un nuevo grupo de trabajo.

Kubeflow Pipelines 2.0

Red Hat también comenzó a contribuir a Kubeflow Pipelines 2.0 al facilitar su actualización a Argo Workflows 3.4, abordar los problemas relacionados con la seguridad y las licencias de MinIO y desarrollar mejoras de rendimiento en las implementaciones de Argo y Tekton.

Notebooks 2.0

Con el lanzamiento de Kubeflow 1.9, la comunidad decidió comenzar a planificar Kubeflow Notebooks 2.0, que traería un nuevo conjunto de definiciones de recursos personalizados (CRD): Workspace y WorkspaceKind. Estas CRD proporcionan al administrador más control sobre los espacios de trabajo, por ejemplo, la capacidad de actualizar la configuración actual de un notebook. La etapa de diseño comenzó a principios de 2024, y el grupo de trabajo de Notebooks se encuentra impulsando su arquitectura de diseño. Los ingenieros de Red Hat Andriana Theodorakopoulou, Ramakrishna Pattnaik, Jiri Petrlik y Harshad Reddy Nalla se encuentran en medio del desarrollo del documento de diseño y de las futuras contribuciones de código.

KServe

KServe es un proyecto independiente desde que terminó su preparación en Kubeflow. La comunidad de KServe trabajó en estrecha colaboración con la comunidad de Kubeflow como parte del grupo de trabajo de servicio de Kubeflow para integrar KServe y Kubeflow, mientras se desarrolla la comunidad propia de KServe, en franco crecimiento, y se impulsan las funciones innovadoras. Trabajamos estrechamente con la comunidad para liderar iniciativas en diversas áreas, como la adición de tiempos de ejecución listos para usar con HuggingFace y vLLM, la adición de tiempos de ejecución explicativos conectables, las mejoras y las correcciones de errores en el modo RawDeployment, la optimización de las CRD de gran tamaño de KServe, el aprovechamiento de la seguridad, la mejora del proceso de lanzamiento y mucho más. Edgar Hernández García, Jooho Lee, Filippe Spolti y Yuan Tang se encuentran entre los principales colaboradores de KServe de Red Hat. En particular, hace poco tiempo, Yuan Tang y Edgar Hernández García obtuvieron el ascenso a revisores de KServe.

El futuro de Kubeflow

Red Hat y otros miembros de la comunidad trabajan para que Kubeflow obtenga la certificación de la Cloud Native Computing Foundation (CNCF). Para ello,  es necesario revisar que los materiales de Kubeflow cumplan con los requisitos de la certificación de la CNCF, lo que amplía el trabajo a otras áreas, como la seguridad y la política de IP.

Los equipos de la oficina de programas open source y de seguridad de los productos de Red Hat trabajaron con la comunidad de Kubeflow para abordar preguntas relacionadas con los procesos que se siguen cuando surgen puntos vulnerables de seguridad en los elementos de Kubeflow. Sean Pryor lidera una iniciativa que propone el uso de escáneres de seguridad para evitar la publicación de imágenes de Kubeflow que contengan puntos vulnerables y exposiciones comunes (CVE) sin resolución y la implementación de un flujo de trabajo con el que se corrijan los problemas. Owen Watkins, que pertenece al equipo de seguridad de productos de Red Hat, trabaja en una guía general para tomar medidas cuando se informa un problema de seguridad.

Otra área en la que Red Hat contribuye a Kubeflow es en el control, aspecto por el cual Yuan Tang,  ingeniero principal de software de Red Hat, fue elegido miembro del Comité Directivo de Kubeflow (KSC), el organismo de control de nivel "raíz" de Kubeflow. Yuan es el experimentado autor de muchos proyectos open source populares, como Argo y KServe y es él quien los mantiene. Además, fue líder tecnológico en diversos subproyectos de Kubeflow durante los últimos seis años. Sus contribuciones generaron confianza en la comunidad de Kubeflow por sus habilidades técnicas y de liderazgo, y ayudaron a impulsar los temas de la comunidad que surgieron cuando se comenzó el proceso de certificación de la CNCF.

Desde el comienzo de nuestras contribuciones al proyecto Kubeflow, Red Hat sabía que la idea de una distribución certificada sería un tema importante que abordar, y con el nuevo Comité Directivo y el proceso de certificación de la CNCF en marcha, Kubeflow podría volver a abordar el plan de crear una prueba de conformidad para certificar sus distribuciones.

Kubeflow aún necesita mucho trabajo para lograr la certificación de la CNCF, y Red Hat se compromete a contribuir todavía más a este objetivo.

Kubeflow y Google Summer of Code

Debido a nuestro compromiso con la comunidad de Kubeflow y nuestra experiencia trabajando en proyectos open source, decidimos crear una propuesta en nombre de la comunidad de Kubeflow para Google Summer of Code. Junto con otros colaboradores de Kubeflow, propusimos proyectos relacionados con el desarrollo de una API para modelos de lenguaje de gran tamaño (LLM), los asuntos de Github, la clasificación de las solicitudes de incorporación de cambios, las tareas de documentación y mucho más. Red Hat participa en Google Summer of Code desde hace varios años. Allí trabajamos en varios de nuestros proyectos de middleware, y esa experiencia nos permitió obtener la aprobación para participar en el evento con la ayuda de la comunidad de Kubeflow. Nos entusiasma poder asesorar a los estudiantes y enseñarles que la colaboración open source les aporta experiencia práctica en el desarrollo, y eso impulsa la innovación y mejora la educación y el ejercicio profesional.

El compromiso y la relación de Red Hat con la comunidad de Kubeflow son un ejemplo de la manera en que las comunidades pueden diseñar y distribuir un mejor software en conjunto. Esperamos continuar atravesando muchos años de éxito y agradecemos a la comunidad de Kubeflow por recibirnos con los brazos abiertos.