IA open source na Red Hat: nossa jornada na comunidade Kubeflow

A Red Hat está envolvida em projetos de dados e IA há muitos anos. Apesar de muitas empresas oferecerem suporte à jornada de modernização, ninguém fala sobre toda a jornada que o usuário percorre para incluir a Inteligência Artificial (IA) e o Machine Learning (ML) na produção. Por isso, lançamos o Open Data Hub, para desenvolver e apoiar projetos open source dedicados a dados e IA/ML, como o Kubeflow e o KServe.

Open Data Hub e Kubeflow

O Open Data Hub começou com um operador simples que implanta IA/ML e software de dados em clusters do Red Hat OpenShift com algum nível de integração entre eles. No entanto, quando começamos a enfrentar obstáculos à compatibilidade, recorremos ao Kubeflow, um novo projeto que visa simplificar e escalar implantações de cargas de trabalho de ML no Kubernetes. Ao reescrever o Open Data Hub no código do Kubeflow, conseguimos criar uma nova matriz de suporte de funcionalidades.  Ao longo do último ano, a Red Hat esteve mais envolvida com a comunidade Kubeflow não apenas para contribuir com o código, mas também para alcançar níveis mais altos de maturidade e aceitação do usuário.  Veja abaixo uma visão geral do trabalho que estamos desenvolvendo na comunidade Kubeflow.

Kubeflow versão 1.9

Após ingressar na comunidade Kubeflow,  Ricardo Martinelli, engenheiro de software sênior da Red Hat, se ofereceu para trabalhar como gerente da versão 1.9 do framework, colaborando com outros membros para criar roadmaps. Como resultado, a Red Hat contribuiu com várias funcionalidades para o Kubeflow 1.9.

Registro de modelos

O registro de modelos, uma funcionalidade em demanda, se tornou uma das principais contribuições da Red Hat para o Kubeflow 1.9. Ele se integra aos pipelines e componentes de serviço do Kubeflow para criar um catálogo de artefatos, incluindo modelos, conjuntos de dados, métricas e muito mais, além de implantar modelos a partir do armazenamento de artefatos. O registro de modelos também tem outras funcionalidades importantes, como implantação de gráficos Helm e do operador, RBAC, multitenancy e mais. Para oferecer suporte à nova funcionalidade de registro de modelos, a comunidade Kubeflow desenvolveu um novo grupo de trabalho.

Kubeflow Pipelines 2.0

A Red Hat também começou a contribuir com o Kubeflow Pipelines 2.0. Para isso, facilitou o upgrade para o Argo Workflows 3.4, solucionou problemas relacionados à segurança e licenciamento do MinIO e desenvolveu melhorias de desempenho nas implementações do Argo e do Tekton.

Notebooks 2.0

Com o lançamento do Kubeflow 1.9, a comunidade começou a planejar o Kubeflow Notebooks 2.0, que traria um novo conjunto de definições de recursos personalizados (Workspace e WorkspaceKind). Esses recursos oferecem ao administrador mais controle sobre os espaços de trabalho, incluindo a capacidade de atualizar uma configuração de notebook existente. Tudo começou na fase de design, no início de 2024, e o grupo de trabalho do Notebooks está criando a arquitetura do design. Andriana Theodorakopoulou, Ramakrishna Pattnaik, Jiri Petrlik e Harshad Reddy Nalla, engenheiros da Red Hat, estão desenvolvendo o documento de design e pensando nas próximas contribuições de código.

KServe

O KServe tem sido um projeto independente após se especializar no Kubeflow Incubation. As comunidades do KServe e do Kubeflow têm trabalhado juntas como parte do grupo de trabalho de serviço do Kubeflow para integrar o KServe ao Kubeflow enquanto desenvolvem a comunidade crescente do KServe e impulsionam funcionalidades inovadoras. Estamos trabalhando em colaboração com a comunidade para liderar esforços em várias áreas, como: a inclusão de runtimes prontos do HuggingFace e vLLM, a incorporação de runtimes explicativos conectáveis, melhorias e correções de bugs no modo RawDeployment, a otimização de recursos superdimensionados do KServe, o fortalecimento da segurança, a melhoria do processo de lançamento e muito mais. Alguns dos principais colaboradores da Red Hat para o KServe são Edgar Hernandez Garcia, Jooho Lee, Felipe Spolti e Yuan Tang. Vale destacar que Yuan Tang e Edge Hernandez Garcia foram promovidos a revisores do KServe recentemente.

Qual é o futuro do Kubeflow?

A Red Hat e outros membros da comunidade estão trabalhando para que o Kubeflow seja um projeto graduado (Graduated) da Cloud Native Computing Foundation (CNCF).  Alguns dos requisitos para qualificar o Kubeflow como um projeto graduado da CNCF  incluem: a revisão de materiais do Kubeflow para preencher os requisitos de graduação da CNCF, que estenderam a atuação para outras áreas, como segurança e política de propriedade intelectual.

As equipes da Red Hat dedicadas aos programas open source e de segurança das soluções trabalharam com a comunidade Kubeflow para esclarecer dúvidas sobre processos de vulnerabilidade de segurança nos componentes do Kubeflow. Sean Pryor está liderando uma iniciativa para impedir o lançamento de imagens do Kubeflow com CVEs pendentes, propondo o uso de verificadores de segurança e um fluxo de trabalho para corrigir esses problemas. Owen Watkins, da equipe de segurança de soluções da Red Hat, está trabalhando em orientações gerais sobre o que fazer quando um problema de segurança é relatado.

A governança é outra área de colaboração entre a Red Hat e o Kubeflow, onde Yuan Tang,  principal engenheiro de software da Red Hat, foi eleito membro do Kubeflow Steering Committee (KSC), o nível "raiz" de governança do Kubeflow. Yuan é um autor e administrador experiente de muitos projetos open source conhecidos, incluindo Argo e KServe, além de ter sido líder técnico em vários subprojetos do Kubeflow nos últimos seis anos. Com essas contribuições, ele ganhou a confiança da comunidade Kubeflow em suas habilidades técnicas e de liderança, o que ajudou a lidar com os tópicos da comunidade que surgiram quando o Kubeflow começou o processo de graduação na CNCF.

Desde o início das contribuições para o projeto do Kubeflow, a Red Hat sabia que a ideia de uma "distribuição certificada" seria um assunto importante a ser discutido. Com o novo comitê de direção e o processo de graduação da CNCF no caminho certo, seria possível rever o planejamento de criar um teste de conformidade para certificar as distribuições do Kubeflow.

Ainda há muito trabalho a ser feito no Kubeflow para chegar ao nível "Graduated" da CNCF, e a Red Hat está empenhada em contribuir ainda mais para esse objetivo.

Kubeflow e o Google Summer of Code

Seguindo nosso compromisso com a comunidade Kubeflow e nossa experiência em projetos open source, entramos em cena para criar uma proposta em nome da comunidade do Kubeflow para o Google Summer of Code. Propusemos diversos projetos em conjunto com outros contribuidores do Kubeflow, abrangendo o desenvolvimento de APIs para LLM, triagem de problemas e PRs no Github, tarefas de documentação e outros. A Red Hat participa do Google Summer of Code há muitos anos, incluindo vários projetos de middleware. Essa experiência nos rendeu a aprovação para participar do evento com a ajuda da comunidade Kubeflow. Estamos muito empolgados em orientar os alunos e mostrar a eles como a colaboração open source aprimora a inovação e utiliza experiências de desenvolvimento reais para contribuir com educação e carreiras.

O engajamento e o relacionamento da Red Hat com a comunidade Kubeflow exemplifica como as comunidades podem criar e entregar softwares melhores juntas.  Esperamos ter muitos anos de sucesso contínuo e agradecemos à comunidade Kubeflow por nos receber de braços abertos.