Red Hat SummitO que é machine learning (ML)?
Machine learning (ML) é uma subcategoria da inteligência artificial (IA) que usa algoritmos para identificar padrões e fazer previsões dentro de um conjunto de dados. Esses dados podem ser números, textos ou até mesmo imagens. Em condições ideais, podemos usar o machine learning para nos ajudar a interpretar dados com mais rapidez e precisão do que conseguiríamos por conta própria. O machine learning é derivado de bases matemáticas que os algoritmos usam para aprender com dados, fazer previsões e otimizar modelos.
Como o machine learning funciona?
A inteligência artificial se desenvolve quando conseguimos simular sinteticamente a inteligência humana em máquinas. No caso do machine learning, as máquinas são programadas para imitar funções cognitivas inerentes aos seres humanos, como percepção, aprendizado e solução problemas.
Como fazer uma máquina pensar como um ser humano? Treinamos a máquina para que ela crie o próprio modelo preditivo. Ela usa esse modelo para analisar os dados e, por fim, se tornar uma "máquina que aprende". Para iniciar esse procedimento, é necessário alimentar o computador com dados e escolher um modelo de machine learning para ensinar a máquina como processá-los.
Leve as práticas de ML para sua organização
O modelo de machine learning usa os dados para cumprir três funções:
- Descrever o que aconteceu.
- Prever o que acontecerá.
- Sugerir o que fazer na sequência
A escolha do modelo de machine learning para treinar a máquina deve ser feita de acordo com a complexidade da tarefa e dos resultados desejados. Em geral, o machine learning é classificado em três métodos de aprendizado: machine learning supervisionado, machine learning não supervisionado e machine learning por reforço.
Aprendizado supervisionado: os algoritmos são treinados com conjuntos de dados rotulados. Esse modelo é utilizado para tarefas como reconhecimento de imagem.
Aprendizado não supervisionado: os modelos analisam dados não rotulados em busca de semelhanças, padrões e tendências. Esse tipo de modelo é usado em tarefas como segmentação de clientes, sistemas de recomendação e exploração de dados em geral.
Aprendizado por esforço: os modelos são treinados usando um processo de tentativa e erro dentro de um sistema de recompensas pré-determinado. Esse estilo de aprendizado é usado em tarefas como treinar um computador para jogar um jogo em que as ações levam à vitória ou à derrota.
Depois que o computador se familiariza com a maneira como você quer que os dados sejam interpretados (graças ao modelo de machine learning e ao treinamento dos dados), ele se torna capaz de fazer previsões e executar tarefas usando dados novos. A precisão das previsões aumenta à medida que o computador aprende com fluxos contínuos de dados. Assim, ele se torna capaz de realizar tarefas mais rápido e com menos erros do que um ser humano.
Recursos da Red Hat
Como funciona o treinamento e a avaliação dos modelos de machine learning?
A fase de treinamento do machine learning ocorre quando o modelo aprende com um conjunto de dados fornecidos. Nessa fase, o objetivo dos desenvolvedores é ajustar os parâmetros do modelo e minimizar os erros na saída. Treinar modelos de IA ajuda a melhorar a precisão e velocidade da inferência de IA.
Para fazer isso, define-se um pipeline para passar os dados pelo modelo, avaliar as previsões e usá-las para melhorar o modelo. Muitas vezes, esse pipeline incorpora três etapas:
- Coleta e preparo de dados: para preparar os dados coletados, eles são separados em dados de treinamento e dados de teste, com a exclusão de dados indesejados e a distribuição aleatória para fins de uniformidade. “Redução de dimensionalidade” significa diminuir o número de variáveis ou funcionalidades de entrada em um conjunto de dados enquanto se retém informações essenciais.
- Seleção de modelo: cientistas e engenheiros de dados criaram vários algoritmos de machine learning para tarefas diferentes, como reconhecimento de fala, reconhecimento de imagem, previsão e muito mais.
- Treinamento: os dados de entrada preparados são enviados pelo modelo para encontrar padrões (reconhecimento de padrões) e fazer previsões.
- Avaliação: após o treinamento, a saída do modelo é avaliada com base em um conjunto de dados anterior não utilizado.
Ajuste: desenvolvedores conseguem ajustar os parâmetros para melhorar ainda mais o modelo com base nos resultados da etapa de avaliação anterior.
Desafios comuns durante treinamento e avaliação
Um modelo com desempenho bom nos dados de treinamento, mas fraco nos dados de teste pode estar com sobreajuste, ou seja, aprendendo com ruído demais no treinamento. Se o modelo tiver desempenho ruim nas duas etapas, ele pode estar com subajuste, que ocorre quando ele não consegue aprender com os padrões subjacentes.
Para evitar sobreajuste nos dados de treinamento, é possível usar um conjunto de dados de validação separados. Após cada iteração, a saída do modelo é avaliada com base nos dados de validação. Então, os ajustes são realizados para evitar o sobreajuste. Essa é a aplicação da redução de dimensionalidade: remover os dados irrelevantes que podem levar ao sobreajuste. Essa redução deve ser feita com cuidado, para não causar subajuste.
Para corrigir o subajuste, os desenvolvedores precisam adicionar mais funcionalidades informativas para melhorar a capacidade do modelo de capturar relacionamentos complexos nos dados.
Vazamento de dados é quando as informações do conjunto de teste vazam acidentalmente no conjunto de treinamento, gerando uma vantagem indevida e um desempenho superestimado.
Ajuste, novas funcionalidades e dados mais relevantes podem minimizar erros em iterações futuras.
Como o deep learning e as redes neurais artificiais são usadas no machine learning?
Redes neurais são um tipo de algoritmo usado em machine learning. São especialmente adequadas para tarefas que envolvem relacionamentos complexos e não lineares com dados. Deep learning é um subconjunto de machine learning que utiliza redes neurais com muitas camadas de profundidade. Essas redes neurais profundas são bem-estruturadas para aprender representações hierárquicas de dados. Isso torna o deep learning extremamente eficaz para tarefas como reconhecimento de imagem, processamento de linguagem natural e reconhecimento de fala.
Como aplicar o machine learning
Machine learning e inteligência artificial podem ser usados para aprimorar a experiência de usuário, prever o comportamento do consumidor, monitorar sistemas para detectar fraudes e até mesmo ajudar profissionais da saúde a identificar doenças graves. Muitos de nós se beneficiam e interagem com o machine learning todos os dias. Alguns dos usos incluem:
- Os algoritmos de recomendação no seu serviço de streaming favorito.
- Os chatbots e os atendimentos ao cliente automatizados.
- Os anúncios direcionados.
- Cotações automatizadas de instituições financeiras.
IA generativa, que hoje é a base da várias ferramentas de IA, é possível graças ao deep learning, uma técnica de machine learning para análise e interpretação de grandes conjuntos de dados. Os Large Language Models (LLMs) são um subconjunto da IA generativa. Eles representam uma aplicação essencial do machine learning (aprendizado de máquina) ao demonstrar a capacidade de compreender e gerar linguagem humana em uma escala sem precedentes.
O machine learning vem se tornando obrigatório para muitas empresas e já existem casos de uso transformadores nos setores de saúde, serviços financeiros, telecomunicações, governamental e outros.
Quais são as questões éticas e de privacidade com machine learning?
Os modelos de machine learning aprendem com dados históricos. Por isso, podem aprender vieses e discriminação implícitos nos dados, que influenciam as tomadas de decisões humanas. Por exemplo, os dados podem reproduzir tendências raciais, socioeconômicas ou de gênero existentes na sociedade. Se esse viés não for excluído dos dados de treinamento, o modelo pode perpetuar e amplificar essas tendências.
Da mesma forma, as decisões tomadas pelos modelos de machine learning, como aprovações de empréstimos, contratações e sentenças criminais, podem afetar grupos marginalizados de maneira desproporcional. Os frameworks de justiça existem para assegurar resultados igualitários para diferentes grupos.
Muitos enxergam os modelos de machine learning como “caixas pretas”, porque não conseguem ver ou compreender os processos internos. Quando a falta de transparência dificulta a compreensão de como um modelo toma uma decisão, isso pode gerar falta de confiança.
Quando um sistema de machine learning toma uma decisão errada, baseada em viés ou discriminação, pode ser difícil determinar a responsabilidade. A decisão de um modelo de machine learning é de responsabilidade do desenvolvedor, da empresa utilizando o sistema ou do próprio sistema?
Como o machine learning precisa de uma ampla variedade de dados para treinar os modelos com eficácia, as empresas são incentivadas a coletar e armazenar grandes volumes de dados pessoais, o que gera preocupações com a privacidade e possíveis usos indevidos.
Além disso, armazenar grandes conjuntos de dados com informações pessoais aumenta o risco de violações de dados, que podem levar a roubo de identidade, fraudes financeiras ou danos à reputação.
Como a Red Hat pode ajudar
A Red Hat oferece bases unificadas para suas equipes desenvolverem e implantarem aplicações de inteligência artificial (IA) e modelos de machine learning (ML) com transparência e controle.
O Red Hat® OpenShift® AI é uma plataforma que pode treinar, fazer ajuste de prompt e o ajuste fino e oferecer modelos de IA para seu caso de uso exclusivo e utilizando seus próprios dados.
Para grandes implantações de IA, o Red Hat OpenShift oferece uma plataforma de aplicações escalável e adequada para cargas de trabalho de IA, incluindo acesso a aceleradores de hardware conhecidos.
A Red Hat vem utilizando as ferramentas do Red Hat OpenShift AI para aprimorar a eficácia de outros softwares open source. O primeiro projeto é a integração do Red Hat Ansible® Lightspeed com o IBM watsonx Code Assistant. O Ansible Lightspeed ajuda os desenvolvedores a criar conteúdo do Ansible com mais eficiência. Ele lê textos em inglês inseridos pelo usuário e interage com modelos de base do IBM watsonx, gerando recomendações de código para tarefas de automação que são usadas para criar Ansible Playbooks.
Além disso, as integrações de parceiros da Red Hat oferecem acesso a um ecossistema de ferramentas de IA confiáveis, projetadas para serem compatíveis com plataformas open source
Blog da Red Hat
Tudo relacionado à Red Hat: soluções, treinamentos e certificações Red Hat, casos de sucesso de clientes, novidades dos nossos parceiros e notícias sobre projetos das comunidades open source.
