O que é um Data Fabric?

O que é um Data Fabric?

Uma malha de dados é uma arquitetura unificada que captura a integração e o gerenciamento completos de todos os dados em um sistema, incluindo fontes, armazenamento, pipelines, análises e aplicativos.

O “fabric” metafórico em uma “fabricação de dados” refere-se à ideia de visualizar os dados da sua organização como uma única camada de rede integrada em comparação com um conjunto em silos de conexões ponto a ponto. Abordar seus dados como uma malha pode ajudar a otimizar melhor o desempenho, melhorar a mobilidade de dados e simplificar as operações de dados.

Na prática, uma malha de dados é criada adotando uma abordagem centrada em dados para a arquitetura de TI e usando software de integração e gerenciamento de dados para definir novas arquiteturas.

Por que o Data Fabric é importante agora?

Cerca de uma década depois que o Big Data foi nomeado a próxima grande novidade, as organizações estão percebendo que coletar e armazenar dados é apenas o começo da coleta dos benefícios dos dados. Cumprir a promessa do Big Data: insights inovadores, experiências avançadas, novos modelos de negócios e inteligência artificial em todos os lugares requer uma nova abordagem para o gerenciamento de dados. Essa abordagem integra informações de todas as fontes e disponibiliza os dados quando e onde forem necessários, independentemente do usuário ou do endpoint. Tudo isso enquanto mantém os dados seguros onde quer que estejam ou quando estiverem em trânsito.

Nomear malhas de dados é uma das principais tendências tecnológicas para 2022, disse o Gartner. Elas podem simplificar a infraestrutura de integração de dados de uma organização e criar uma arquitetura escalável que reduz os desafios de integração. Uma malha de dados também pode reduzir os esforços de gerenciamento de dados em até 70%, acelerando assim o tempo de retorno do investimento.

Por que usar um Data Fabric?

Uma malha de dados pode revelar o potencial oculto do Big Data em seu ambiente de nuvem híbrida tornando os dados acessíveis em seus ambientes locais, de nuvem pública, nuvem privada e borda. 

Aqui estão alguns desafios comuns de gerenciamento de dados que uma malha de dados pode enfrentar:

• A necessidade de armazenar dados de maneira eficiente enquanto os torna acessíveis aos usuários, clientes e automações que precisam deles
• Fluxos de dados, soluções de armazenamento e usuários finais geograficamente dispersos
• Dados incompatíveis: dados estruturados e não estruturados para aplicativos específicos, dados em silos e legados
• Atendimento a uma nova geração de aplicativos com uso intensivo de dados que dependem de inteligência artificial e aprendizado de máquina, análise em tempo real e experiências contextuais do cliente
• Otimização dos fluxos de dados de e para dispositivos IoT e implantações de computação de borda
• Manter os dados seguros e manter a conformidade

Como funciona um Data Fabric?

O software de gerenciamento de dados integra fluxos de dados, usuários, endpoints, armazenamento e arquitetura de rede em uma camada de gerenciamento de dados que fornece visibilidade e uma interface para controle e gerenciamento. O software aprende toda a propriedade de dados de uma organização, sinaliza gargalos e faz recomendações para melhorar o desempenho e o acesso.

Com o software, os engenheiros de dados podem ver uma visão de alto nível ou se aprofundar para melhorar o desempenho de casos de uso individuais. O software também estabelece um cenário de dados comum e um conjunto de APIs para integração com aplicativos, fluxos de dados e casos de uso.

Quais são os elementos de um Data Fabric?

Uma malha de dados normalmente incluirá as seguintes camadas:

• Gerenciamento de dados: Ajuda a monitorar a integridade do sistema, a segurança dos dados e a otimização da rede.
• Ingestão de dados: Estabelece caminhos e processos para dados recém-introduzidos.
• Processamento de dados: Limpa, refina e transforma dados, tornando-os prontos para usos específicos.
• Orquestração de dados: Ajuda o sistema a funcionar com mais eficiência, garantindo que apenas dados relevantes sejam entregues aos usuários.
• Descoberta de dados: Ajuda a revelar novas conexões entre diferentes fontes de dados, desbloqueando valor e apontando para novos insights.
• Acesso aos dados: Permite que vários usuários, aplicativos, automações, equipes dentro da organização ou dispositivos, tenham acesso imediato aos dados para que possam ser usados sem atrito.
• Segurança de dados: Monitora e protege seus dados em toda a organização, garantindo conformidade com os regulamentos de segurança.

Benefícios de um Data Fabric

Além de resolver muitos desafios de engenharia de dados, uma malha de dados ajuda a oferecer os seguintes benefícios para toda a organização:

• Mais valor dos dados: Uma malha de dados foi desenvolvida para ajudar uma organização a fazer mais uso de seus dados, por exemplo, para oferecer melhores experiências aos clientes, encontrar eficiências operacionais e permitir novos modelos de negócios.
• Melhor uso dos recursos: Ao fornecer uma visão de alto nível dos dados em uma organização e usar a AI para fazer recomendações, uma malha de dados pode informar a tomada de decisões de TI mostrando como os custos e as cargas de recursos se acumulam em vários casos de uso.
• Mais agilidade e resiliência: Uma malha de dados pode ajudar uma organização a expandir ou mudar de acordo com as mudanças nas condições ou novas realidades, modelando as mudanças com antecedência e fornecendo uma base uniforme para criar arquiteturas de dados.

Um Data Fabric é semelhante a um Data Lake?

Muitas organizações estão escolhendo data lakes para resolver problemas de acesso a dados, mas um data lake é uma abordagem de cima para baixo e é definido como tendo um repositório mestre de dados. Os data lakes podem criar trabalho extra em termos de transmissão e upload, além de dificultar o acesso e o gerenciamento dos dados. Além disso, alguns dados podem ser necessários longe o suficiente do data lake para introduzir alta latência. Na prática, uma malha de dados pode ajudar as organizações a aproveitar melhor um data lake.

Um Data Fabric é semelhante à virtualização de dados?

Esses dois conceitos são mais complementares do que oponentes. A virtualização de dados cria uma interface para gerenciar, mover e trabalhar com dados. Uma malha de dados, por outro lado, é um método abrangente para otimizar todas as partes das operações de dados: desempenho, custo, eficiência de recursos, segurança, crescimento e gerenciamento de mudanças.

Casos de uso da malha de dados

Veja alguns exemplos de como as organizações podem aproveitar uma malha de dados para melhorar a acessibilidade aos dados:

• Grandes varejistas podem integrar dados complexos de inventário e cadeia de fornecimento para tomar decisões informadas sobre produção e planejamento.
• As empresas de consultoria de TI podem consolidar dados de solicitações de suporte ao cliente e reformular estratégias de vendas com base em insights sobre lacunas nas soluções disponíveis.
• Os agricultores podem incorporar fluxos de dados distintos, como previsões meteorológicas, condições do mercado e condições do solo, na tomada de decisões essenciais.

Simplificação da malha de dados com a Pure Storage

Configurar uma malha de dados que cubra totalmente todo o seu ambiente de nuvem híbrida não é uma tarefa simples. Você precisa integrar dados em diferentes fontes em seus ambientes locais, de nuvem pública, nuvem privada e borda, tudo isso enquanto mantém a governança e a segurança dos dados.  

Tem lacunas na sua malha de dados ou quer configurar uma delas? A Pure Storage tem as soluções necessárias para criar e dar suporte a uma malha de dados avançada:

• Pure1®: Uma solução de gerenciamento do armazenamento de dados com inteligência AI que oferece armazenamento autônomo em toda a sua pilha tecnológica.
• Ambiente operacional Purity: Uma plataforma unificada que gerencia de maneira inteligente seus dados no FlashArray ..da Pure Storage ® – em datacenters, na borda ou na nuvem – e permite simplificar o gerenciamento de dados e eliminar silos de armazenamento.
• Pure Fusion .: Uma plataforma Storage-as-Code . . que traz o modelo operacional de nuvem para o local. Provisione, gerencie e consuma armazenamento corporativo com facilidade.
• Portworx ®: Uma solução completa de serviços de dados Kubernetes para potencializar seus aplicativos nativos de nuvem.
• Pure Cloud Block Store™: Uma solução com vários tipos de nuvem que oferece mobilidade de dados contínua, resiliência e uma experiência de usuário uniforme em seus ambientes de nuvem.

Ao simplificar a forma como as pessoas consomem e interagem com os dados, a Pure capacita inovadores a revelar o potencial oculto em seus dados corporativos.