Cos'è un LLM open source?
Un modello linguistico di grandi dimensioni (LLM) open source ha un codice e un'architettura accessibili pubblicamente, e ciò offre agli utenti la convenienza e la flessibilità di utilizzarlo, modificarlo e distribuirlo in base alle proprie esigenze. Poiché la creazione e la distribuzione degli LLM sono processi complessi, capire se un LLM è effettivamente open source non è facile.
In generale, la struttura di un prodotto open source è completamente accessibile. Nel caso specifico dei software open source, questi vengono rilasciati tramite un particolare tipo di licenza secondo cui il codice sorgente può essere utilizzato o modificato da chiunque. In genere, questo significa che un software può essere considerato open source ferme restando due caratteristiche essenziali:
- È disponibile gratuitamente in forma di codice sorgente.
- Il codice sorgente può essere convertito in nuovi software.
Nell'ambito degli LLM, l'open source è fondamentale per agevolare lo sviluppo delle conoscenze e promuovere l'apporto all'innovazione tecnologica.
LLM aperti e LLM open source a confronto
Gli esperti del settore non sono concordi sulle caratteristiche che un LLM open source deve possedere per essere categorizzato tale. Questo perché la definizione tradizionale di codice open source non si applica facilmente alle tecnologie basate sull'intelligenza artificiale (IA).
A differenza dei codici open source tradizionali, che sono costituiti principalmente da istruzioni di programmazione, gli LLM vengono realizzati utilizzando:
- Elevate quantità di dati di addestramento. Questi dati possono includere contenuti protetti da copyright o dati privati, facendo potenzialmente incorrere in problemi legali in caso di condivisione.
- Parametri numerici, detti "pesi". Questi parametri determinano il modo in cui i dati inseriti vengono elaborati per produrre un risultato rilevante, e incidono notevolmente sulla comprensione del linguaggio da parte del modello. I pesi sono gli elementi essenziali per la creazione del "cervello" del modello e determinano come quest'ultimo organizza gli argomenti in ordine di priorità durante l'elaborazione delle informazioni.
Non si tratta quindi solo di codice. Gli LLM sono molto più complessi perché richiedono set di dati e modelli matematici per produrre un output. Sebbene gli LLM "aperti" possano rivelare il codice iniziale e i pesi del modello, non condividono necessariamente ogni fonte di dati utilizzata per la loro creazione. Un LLM open source condivide invece ogni passaggio, tutte le fonti dei dati e la licenza che autorizza gli altri utenti a utilizzarlo, modificarlo e distribuirlo.
I vantaggi degli LLM open source
Quando i dati utilizzati per gli LLM vengono distribuiti e resi disponibili per l'uso gratuitamente, chiunque, dal singolo utente alle aziende, può sfruttarli e modificarli. Ciò offre svariati vantaggi, come:
Miglioramenti basati sulla collaborazione: agevolare la collaborazione tra fonti disparate è probabilmente il principale vantaggio degli LLM open source. Aumentare l'accesso alle tecnologie basate sull'IA generativa contribuisce ad approfondirne e ottimizzarne la conoscenza e la capacità di utilizzo, permettendo al tempo stesso di ridurre i bias, di aumentare la precisione e di migliorare le prestazioni.
Trasparenza: se non sappiamo come è stato addestrato un modello, è difficile capire se i risultati prodotti possono essere ritenuti attendibili. Gli LLM non presentano questo problema. La completa trasparenza sulla modalità di addestramento aiuta gli utenti a capire le funzionalità dei modelli e consente di accedere alle informazioni necessarie per capire se e come utilizzare questa tecnologia.
Impatto ambientale ridotto: quando i modelli sono trasparenti, possiamo visualizzare le attività e i passaggi già svolti. In questo modo si possono eliminare le ripetizioni nei sistemi di valutazione e addestramento, che in caso contrario causerebbero ulteriori calcoli ed emissioni.
Costo conveniente: l'addestramento da zero degli LLM è in genere molto costoso, e richiede anche molte risorse. Se accedi a un LLM proprietario, potresti essere responsabile dei costi delle licenze. La possibilità di accedere e sfruttare gratuitamente il lavoro svolto da altri utenti agevola le aziende che non hanno le risorse economiche per sviluppare un LLM.
Gli LLM più diffusi e i diversi livelli di accessibilità al pubblico
I principi dell'open source sono alla base di molti aspetti fondativi dell'Internet di oggi. Da questo modello di sviluppo open source hanno avuto origine alcune delle più importanti applicazioni e piattaforme cloud attualmente in adozione.
La sua influenza si estende anche agli LLM e ai diversi livelli di accessibilità al pubblico. Alcuni degli LLM più diffusi includono:
Modelli chiusi
ChatGPT di OpenAI e Claude di Anthropic sono modelli chiusi. Sono strettamente controllati e vengono messi a disposizione degli utenti con alcune restrizioni, tramite servizi API a pagamento.
Modelli aperti
L'espressione "open source" viene usata di solito per indicare tutti gli LLM che si possono scaricare gratuitamente su piattaforme come Hugging Face. È questo il caso, per esempio, del modello Llama 2 di Meta. Tuttavia, le condizioni di utilizzo di Llama 2 non corrispondono alla definizione comune di software open source. Infatti, il contratto di licenza include condizioni e restrizioni che l'utente deve sottoscrivere. In sostanza, Meta ha imposto alcune restrizioni di tipo legale e morale, ad esempio sugli elementi che rientrano nella categoria di "utilizzo accettabile". In secondo luogo, il contratto di licenza richiede una licenza aggiuntiva da parte di Meta per tutte le aziende con un determinato numero di utenti mensili.
Modelli open source con licenza
La gamma di modelli Granite di IBM Research e i modelli Mistral AI, sono esempi di LLM disponibili con una licenza Apache 2.0. Ciò significa che i modelli sono disponibili gratuitamente per l'uso commerciale, senza restrizioni. Tuttavia, anche questi modelli non consentono l'ispezione di tutti i dati utilizzati per l'addestramento, a volte a causa di restrizioni previste dalla licenza stessa.
Il ruolo di Red Hat
L'obiettivo di Red Hat è riuscire a rendere il codice accessibile a chiunque, affinché ogni utente possa contribuire all'innovazione con modifiche e migliorie partendo da una base open source e affidabile. Siamo convinti che utilizzare un modello di sviluppo open source consenta di creare tecnologie più stabili, sicure e innovative. In un contesto che vede l'intelligenza artificiale in costante crescita, le nostre piattaforme open source possono aiutarti a realizzare, distribuire e monitorare le applicazioni e i modelli di IA adatti alle tue esigenze specifiche, con i tuoi dati.
Red Hat® Enterprise Linux® AI è una piattaforma per modelli fondativi concepita per sviluppare, testare ed eseguire, in modo coerente, gli LLM del portfolio Granite per applicazioni aziendali. Grazie alla base tecnologica di Linux, ai container e all'automazione, la strategia di cloud ibrido e aperto di Red Hat ti offre la flessibilità di eseguire le applicazioni di IA ovunque ti serva.
InstructLab è sia una community che un progetto open source, realizzato da IBM e Red Hat. Il suo obiettivo è potenziare gli LLM a partire dai principi open source. Il progetto InstructLab raccoglie un insieme di dati per l'addestramento selezionati da un team di esperti, genera dati sintetici in base a questi dati e poi li utilizza per riaddestrare il modello di base. I contributi della community possono portare alla creazione periodica di build iterative di LLM ottimizzati. InstructLab è una soluzione conveniente per migliorare l'allineamento degli LLM e permette di contribuire alla sviluppo del progetto anche a chi non dispone di conoscenze avanzate in materia di apprendimento automatico.
Red Hat OpenShift® AI è una piattaforma applicativa di livello enteprise basata sull'IA, realizzata con tecnologie open source, che aiuta i team a ottenere applicazioni con capacità scalabili e affidabili. OpenShift AI permette l'acquisizione e la preparazione dei dati, l'addestramento, il fine tuning, l'erogazione e il monitoraggio dei modelli, oltre all'accelerazione dell'hardware.
