IA open source e Red Hat: l'esperienza con la community Kubeflow

Da molti anni Red Hat partecipa a iniziative sull'intelligenza artificiale e sui dati. Benché siano in tanti a supportare il percorso verso la modernizzazione, è raro che qualcuno racconti l'esperienza compiuta dall'utente per portare l'intelligenza artificiale (IA) e il machine learning (ML) nelle attività di produzione. Per questo motivo abbiamo lanciato Open Data Hub, un'iniziativa che intende contribuire allo sviluppo e al supporto di progetti open source incentrati sui dati e sull'AI/ML, come Kubeflow e KServe.

Open Data Hub e Kubeflow

Open Data Hub ha mosso i suoi primi passi con un semplice operatore che distribuisce software di AI/ML e dati su cluster Red Hat OpenShift, offrendo a questi un certo livello di integrazione. Avendo riscontrato degli ostacoli in termini di supportabilità, ci siamo rivolti a Kubeflow, un nuovo progetto incentrato sulla semplificazione e sulla scalabilità dei deployment dei carichi di lavoro di ML su Kubernetes. Ricompilando Open Data Hub con il codice Kubeflow, abbiamo creato una nuova matrice di supporto delle funzionalità.  Nell'ultimo anno, Red Hat ha intensificato la partecipazione alla community Kubeflow, non solo per contribuire al codice, ma anche per aiutare la community a raggiungere livelli più elevati di maturità e di accettazione da parte degli utenti.  Ecco una panoramica delle attività nelle quali Red Hat è impegnata con la community Kubeflow.

Kubeflow 1.9

Dopo essere entrato a far parte della community Kubeflow,  Ricardo Martinelli, senior software engineer di Red Hat, ha lavorato come release manager volontario per la versione 1.9 di Kubeflow e insieme ad altri contributori ha definito la roadmap della versione. Red Hat ha quindi contribuito con diverse funzionalità a Kubeflow 1.9.

Registro dei modelli

Funzionalità molto richiesta dagli utenti, il registro dei modelli è uno dei principali contributi di Red Hat a Kubeflow 1.9. Si integra con le pipeline e i componenti di servizio di Kubeflow per creare un catalogo di artefatti che include modelli, set di dati, metriche e altro, e per distribuire i modelli a partire dallo storage degli artefatti. Il registro dei modelli offre anche altre funzionalità, come il deployment di operatori/grafici Helm, il controllo degli accessi basato sui ruoli, la multitenancy e altro ancora. A supporto della nuova funzionalità di registro dei modelli, la community Kubeflow ha creato un nuovo gruppo di lavoro.

Kubeflow Pipelines 2.0

Red Hat contribuisce a Kubeflow Pipelines 2.0 facilitando l'upgrade a Argo Workflows 3.4, risolvendo i problemi relativi alla sicurezza e alle licenze di MinIO e migliorando le prestazioni nelle implementazioni Argo e Tekton.

Notebook 2.0

Con la versione 1.9 di Kubeflow, la community ha deciso di iniziare a pianificare il rilascio di Kubeflow Notebooks 2.0, prevedendo l'introduzione di un nuovo set di definizioni di risorsa personalizzata (CRD), ovvero Workspace e WorkspaceKind. Queste CRD offrono all'amministratore più controllo sulle aree di lavoro e la possibilità di aggiornare la configurazione di un notebook esistente. Il lavoro è partito dalla fase di progettazione all'inizio del 2024 e il gruppo di lavoro Notebooks ne promuove l'architettura di progettazione. Gli ingegneri di Red Hat Andriana Theodorakopoulou, Ramakrishna Pattnaik, Jiri Petrlik e Harshad Reddy Nalla stanno sviluppando il documento di progettazione, con l'intento di contribuire al codice anche in futuro.

KServe

Dopo aver superato la fase di incubazione presso Kubeflow, KServe è diventato un progetto autonomo. I gruppi di lavoro dedicati all'integrazione di KServe con Kubeflow delle due rispettive community hanno lavorato a stretto contatto, per facilitare al contempo la rapida crescita della community KServe e promuovere funzionalità innovative. La stretta collaborazione ha generato ottimi risultati in varie aree, come l'aggiunta di runtime di HuggingFace e vLLM pronte all'uso, l'aggiunta di un runtime esplicito collegabile, migliorie e correzioni di bug alla modalità RawDeployment, ottimizzazione delle CRD KServe di grandi dimensioni, ottimizzazione della sicurezza, migliorie al processo di rilascio e altro ancora. Edgar Hernandez Garcia, Jooho Lee, Filippe Spolti e Yuan Tang sono tra i principali contributori di Red Hat a KServe. Di recente, Yuan Tang ed Edgar Hernandez Garcia sono diventati revisori di KServer.

Prospettive di Kubeflow

Red Hat e altri membri della community sono al lavoro per l'ammissione del progetto Kubeflow alla Cloud Native Computing Foundation (CNCF).  A tal fine, è necessario rispettare alcuni requisiti, tra cui la revisione dei materiali Kubeflow per adattarli alle richieste della CNCF, che ha ampliato il lavoro in altre aree, tra cui la sicurezza e le politiche inerenti agli indirizzi IP.

I team di Red Hat che si occupano della sicurezza dei prodotti e dei programmi open source hanno collaborato con la community Kubeflow alla risoluzione dei problemi dei processi di vulnerabilità della sicurezza quando emergono nei componenti Kubeflow. Sean Pryor è al lavoro per impedire il rilascio di immagini Kubeflow causato da CVE non gestite, proponendo l'uso di scansioni di sicurezza e di un flusso di lavoro in grado di risolvere questi problemi. Owen Watkins, del team di sicurezza dei prodotti Red Hat, sta lavorando alle linee guida di intervento da adottare quando viene segnalato un problema di sicurezza.

Red Hat contribuisce a Kubeflow anche in ambito di governance. Yuan Tang,  principal software engineer di Red Hat, è stato eletto membro del Kubeflow Steering Committee (KSC), l'organo di governance del livello "root" di Kubeflow. Yuan ha grande esperienza nella creazione e nella gestione di molti tra i progetti open source più diffusi, tra cui Argo e KServe, e negli ultimi sei anni è stato responsabile tecnico di vari progetti Kubeflow secondari. Grazie ai suoi contributi e alle capacità tecniche e di leadership, si è conquistato la fiducia della community Kubeflow; difendendo la validità dell'iniziativa Kubeflow ne ha facilitato le procedure di adesione alla fondazione CNCF.

Sin dall'inizio della partecipazione al progetto Kubeflow, Red Hat ha ritenuto importante affrontare l'argomento della "distribuzione certificata". Con il nuovo comitato direttivo e il processo di adesione alla CNCF in corso, Kubeflow ha potuto riprendere il piano di creazione di un test di conformità per certificare le distribuzioni di Kubeflow.

C'è ancora molto da fare per completare l'ammissione del progetto Kubeflow alla CNCF; Red Hat continuerà a impegnarsi per il raggiungimento di questo obiettivo.

Kubeflow e Google Summer of Code

L'impegno dedicato alla community Kubeflow e la nostra esperienza con i progetti open source ci hanno permesso di realizzare una proposta per la Google Summer of Code per conto della community Kubeflow. In collaborazione con altri contributori di Kubeflow, abbiamo presentato progetti relativi allo sviluppo di API LLM, ai problemi di Github, al triage delle richieste pull, alle attività di documentazione e a molto altro. Red Hat ha partecipato alla Google Summer of Code per diversi anni collaborando a più progetti middleware. Grazie all'esperienza maturata abbiamo potuto prendere parte all'evento con l'aiuto della community di Kubeflow. Siamo entusiasti di offrire servizi di mentorship agli studenti e di insegnare come la collaborazione sull'open source stimoli l'innovazione e promuova formazione e carriere professionali, grazie a un'esperienza di sviluppo in un contesto reale.

La partecipazione e la relazione di Red Hat con la community Kubeflow sono un esempio valido di come le community, insieme, possano creare e distribuire software migliori.  Con l'augurio di collaborare al successo reciproco per molti anni a venire, ringraziamo la community Kubeflow per averci accolto a braccia aperte.