Introdução aos serviços de dados

Os serviços de dados (às vezes descritos como dados como serviços) geralmente se referem a funções pequenas, independentes e de baixo acoplamento que aprimoram, organizam, compartilham ou calculam informações coletadas e salvas em volumes de armazenamento de dados . Eles otimizam a resiliência, a disponibilidade e a validade dos dados tradicionais para amplificá-los, além de incorporar novas características, como os metadados. As arquiteturas de serviço de dados podem envolver vários tipos de dados e serviços de aplicação trabalhando juntos para atingir um objetivo, como em arquiteturas de serviços de dados inteligentes (iDaaS).

Os serviços de dados são unidades autônomas de funções de software que incorporam novas características aos dados. Eles aumentam a disponibilidade, a resiliência e a abrangência dos dados, o que os torna mais úteis para usuários e aplicações.

As funções dos serviços de dados transformam as entradas em saídas. As entradas são conjuntos variados de dados brutos, que não foram processados para uma finalidade específica. Eles estão configurados no formato nativo e são salvos em volumes de armazenamento baseados em nuvem, sejam virtuais ou físicos. Geralmente, as saídas são:

• Organizacionais: a consolidação, o gerenciamento, o agrupamento e a estrutura dos dados, geralmente extraídos de fontes estruturadas (bancos de dados), semiestruturadas (data warehouses) ou não estruturadas (data lakes).
• Transferíveis: o deslocamento dos dados por uma rede, indo da origem até um ponto final, como uma aplicação ou plataforma.
• Processuais: o processamento dos dados, geralmente como parte do software de inteligência artificial/machine learning (IA/ML), análise ou modelagem.

Gerenciamento de dados armazenados

Os serviços de dados ajudam a gerenciar dados em repouso, ou seja, dados salvos em volumes de armazenamento. Primeiro, os dados brutos – como registros de clientes em bancos de dados de processamento de transações online (OLTP), informações de danos à propriedade obtidos de data warehouses e imagens ou vídeos vindos de data lakes – são extraídos das fontes. Depois, são aplicados princípios de manutenção, organização e governança para torná-los úteis para as aplicações e acessíveis para os usuários. Os serviços de dados são uma parte importante das estratégias de big data porque ajudam a compreender conjuntos enormes de dados estruturados, semiestruturados e não estruturados armazenados em todos os lugares.

Dados em movimento

Os serviços de dados podem ser usados para dados em movimento, à medida que migram do armazenamento de origem para uma aplicação ou plataforma, geralmente em tempo real. Com os serviços de dados, é possível criar pipelines para que a transferência aconteça de maneira contínua entre vários endpoints. Por exemplo, ao operar os dados assim que eles são gerados, as organizações podem trocar o processamento de dados orientado a lotes pelo modelo orientado a eventos. Além disso, os dados nunca são removidos da origem, possibilitando que vários endpoints os usem simultaneamente. Isso ajuda a criar arquiteturas escaláveis e orientadas a eventos.

Uso dos dados

Os serviços de dados ajudam a colocar dados ativos em uso na ciência, inteligência e software de modelagem de dados. Os serviços de dados aprimoram o acesso a plataformas de processamento inteligentes e de alto desempenho, como ferramentas de aprendizado profundo e AI/ML. Dependendo do serviço, os dados em ação envolvem conjuntos de serviços pequenos, independentes e levemente acoplados – geralmente, empacotados em containers e orquestrados por uma plataforma Kubernetes.

Armazenamento tradicional

É a coleta e retenção real de informações digitais brutas: os bits e bytes das aplicações, protocolos de rede, documentos, mídias, catálogos de endereços, preferências dos usuários e muito mais. Quando você salva um documento e escolhe um local, este é o processo de armazenamento de dados. Ele é exibido ao usuário geralmente no nível da infraestrutura. Além disso, essa visualização nem sempre vincula os volumes de armazenamento. Por exemplo, não costuma haver uma maneira nativa de exibir cada arquivo, bloco ou objeto salvo em uma estação de trabalho, provedor de armazenamento em nuvem e disco rígido externo. Por isso, a ação de explorar o armazenamento de dados é muito manual e monolítica.

Serviços de dados

Software que utiliza os dados salvos em volumes de armazenamento tradicionais como entradas para criar saídas específicas, ou que aumenta a resiliência, a disponibilidade e a validade para amplificar os dados tradicionais. Geralmente, os usuários interagem com os serviços de dados como parte de uma aplicação, o que torna o processo muito flexível e personalizável. Por exemplo, o Red HatⓇ OpenShiftⓇ Data Foundation oferece um serviço de dados que abstrai a infraestrutura de armazenamento para que os dados sejam mantidos em diversos lugares diferentes. No entanto, a solução funciona como um único repositório persistente.

As soluções Red Hat ajudam você a dar suporte a todos os aspectos do desenvolvimento das aplicações nativas em nuvem, incluindo serviços de dados. Dessa forma, você consegue entregar novas funcionalidades aos seus clientes de maneira contínua. 

As ofertas dos Red Hat Cloud Services incluem plataformas como o Red Hat OpenShift Data Science, que oferece um ambiente com suporte completo para desenvolver, treinar e testar rapidamente modelos de machine learning (ML) na nuvem pública antes de serem implantados na produção.