O que é um LLM open source?

O  código e a arquitetura de um  Large Language Model (LLM)open source são disponibilizados publicamente. Assim, todos podem usá-lo, modificá-lo e distribuí-lo Devido às complexidades de construir e disponibilizar modelos de linguagem em grande escala, pode ser difícil determinar se um LLM é realmente open source.

De modo geral, open source significa que qualquer pessoa pode acessar o design completo de um produto. No caso de software open source, isso se refere à disponibilização de um programa de computador com uma licença específica para uso e modificação do código-fonte pelo público em geral. Um software é tipicamente considerado open source quando:

• Seu código-fonte é disponibilizado sem custos extras.
• É possível reaproveitar seu código-fonte para criar um novo software.

No caso dos LLMs, a disponibilização open source é essencial para reduzir as barreiras de aprendizado e contribuir com a inovação tecnológica. 

Os especialistas nesse campo ainda não chegaram a um consenso sobre que características um LLM deve ter para ser considerado open source de verdade. Isso acontece porque a definição tradicional de open source não pode ser facilmente aplicada às tecnologias de inteligência artificial (IA).

Diferente do código open source convencional, que é principalmente composto por instruções de programação, os LLMs são criados utilizando:

• Volumes imensos de dados de treinamento, que podem conter obras com direitos autorais ou dados privados. Isso abre uma brecha para questões legais relacionadas ao compartilhamento.
• Parâmetros numéricos chamados de "pesos", que determinam como os dados de entrada são processados para gerar uma saída relevante. Esses parâmetros são essenciais para estabelecer como o modelo compreende a linguagem. Pense nos pesos como os "neurônios" que formam o "cérebro" do modelo, determinando como cada tópico deve ser priorizado à medida que a informação é processada.

Em outras palavras, há muito mais coisas envolvidas do que apenas o código. Os LLMs são muito mais complexos porque precisam de modelos matemáticos e conjuntos de dados. Mesmo que um LLM "aberto" tenha seu código inicial e pesos disponibilizados para o público, isso não quer dizer que todas as fontes de dados usadas na sua criação tenham sido divulgadas. Já no caso de um LLM open source , todas as etapas e fontes de dados devem ser compartilhadas junto com uma licença que permita que outras pessoas e entidades usem, desenvolvam e distribuam o modelo. 

Quando os modelos de LLMs são distribuídos gratuitamente, indivíduos e organizações têm a chance de desenvolver novos trabalhos com base no que já foi feito. Isso gera muitos benefícios, como:

Melhorias colaborativas: estimular a colaboração entre diversas fontes é, sem dúvida, um dos maiores benefícios dos LLMs open source. Ampliar o acesso a tecnologias de IA generativa (gen AI) incentiva a experimentação e o aprendizado. Ao mesmo tempo, isso ajuda a reduzir os vieses, aumentar a precisão e melhorar o desempenho dos modelos.

Transparência: como podemos confiar na saída de um modelo se não sabemos como ele foi treinado? No caso de um LLM open source, a transparência sobre o treinamento é total. Isso ajuda os usuários a entender como as funcionalidades funcionam e fornece as informações necessárias para decidir como (ou se) usarão a tecnologia.

Menor impacto ambiental: quando os modelos são transparentes, é possível ver o trabalho que já foi feito. Isso elimina as redundâncias nos sistemas de treinamento e avaliação que, caso contrário, exigiriam mais processamento, gerando mais emissões.

Baixo custo: em geral, treinar LLMs do zero custa caro e consume muitos recursos. Para ter acesso a um LLM proprietário, é provável que você precise pagar por uma licença. A possibilidade de criar algo aproveitando o trabalho que já foi realizado e sem ter que pagar nada por isso diminui a barreira de entrada para organizações que não têm condições de desenvolver seu próprio LLM.

Webinar: Get the most out of AI with open source

Os princípios open source foram responsáveis por muitos dos aspectos fundamentais da internet como conhecemos hoje. O modelo de desenvolvimento open source gerou algumas das mais importantes aplicações e plataformas de nuvem usadas atualmente.

Esse espírito de liberdade se manifesta nos grandes modelos de linguagem, que podem ser mais ou menos "abertos" ao público. Esses são alguns dos LLMs mais conhecidos:

Modelos fechados
O ChatGPT da OpenAI e o Claude da Anthropic são modelos fechados. Eles são mantidos sob rígido controle e disponibilizados com restrições aos usuários, que precisam pagar pelos serviços de API.

Modelos abertos
O termo "open source" tem sido usado de forma generalizada para se referir a qualquer LLM disponível para download gratuito em plataformas como o Hugging Face. Esse é o caso do modelo Llama 2 da Meta. No entanto, os termos do Llama 2 não se enquadram na definição convencional de software open source, pois existem condições e restrições com as quais o usuário deve concordar dentro do contrato de licença. Ou seja, a Meta está impondo certas restrições jurídicas e morais como, por exemplo, o que considera "uso aceitável". Além disso, o contrato da licença obriga as organizações com um número específico de usuários mensais a solicitar uma licença adicional.

Modelos com licença open source
A família de modelos Granite da IBM Research e os modelos Mistral AI são exemplos de LLMs disponibilizados sob licença Apache 2.0. Isso significa que eles são liberados para o uso comercial sem restrições. Mas até mesmo esses modelos não têm todos os dados de treinamento disponibilizados para inspeção. Em alguns casos, devido a restrições de licença.

A Red Hat imagina um futuro onde qualquer pessoa possa contribuir, revisar e aprimorar o código a partir de uma base aberta e confiável. Acreditamos que um modelo de desenvolvimento aberto ajuda a criar tecnologias mais estáveis, seguras e inovadoras. Acompanhando o constante crescimento da IA, nossas plataformas open source ajudam você a criar, implantar e monitorar modelos e aplicações que atendam às suas necessidades e utilizem seus próprios dados.

O Red Hat® Enterprise Linux AI® é uma plataforma de modelo de base para desenvolver, testar e executar de maneira fluida LLMs da família Granite para aplicações empresariais. Baseada nas tecnologias Linux, de containers e de automação, a estratégia de nuvem híbrida aberta da Red Hat proporciona flexibilidade para executar aplicações de IA onde forem necessárias.

Criado pela IBM e Red Hat, o InstructLab é um projeto e comunidade voltados à melhoria de LLMs seguindo os princípios do open source. O projeto InstructLab reúne um conjunto de dados de treinamento selecionados por pessoas para gerar dados sintéticos. Em seguida, esses dados sintéticos são usados para retreinar o modelo de base. As contribuições da comunidade resultam em builds iterativos e regulares de LLMs aprimorados. O InstructLab é uma solução econômica para aperfeiçoar o alinhamento de LLMs. Ele abre as portas para quem quer contribuir, mesmo que tenha pouca experiência em machine learning (aprendizado de máquina).

Desenvolvido com tecnologias open source, o Red Hat OpenShift® AI é uma plataforma empresarial de aplicações com IA que ajuda equipes a criar, operar e escalar com confiança. Com o OpenShift AI, é possível adquirir e preparar dados, além de realizar o treinamento, ajuste fino, disponibilização e monitoramento de modelos. Ele também ajuda com a aceleração de hardware.