O que é linhagem de dados?

Quando você tem vários fluxos de dados, precisa saber de onde os dados vêm, quais etapas foram tomadas para transformá-los e de onde eles são armazenados. Ter uma solução de rastreamento de linhagem de dados oferece melhor proteção de dados e ajuda as empresas a rastrear mudanças em dados confidenciais. A maioria das empresas usa documentação para detalhar fluxos de dados e linhagem de dados, mas as ferramentas de software facilitam o monitoramento e a documentação das alterações em seus dados.

O que é linhagem de dados?

A linhagem de dados normalmente é na forma de documentação usada para gerenciar melhor os dados e as alterações neles. Onde os dados são armazenados também são documentados para que as empresas saibam que os dados são armazenados de maneira que permaneçam em conformidade com as regulamentações locais. Em um fluxo de dados corporativos, os dados brutos podem ser extraídos de várias fontes (por exemplo, sites e arquivos internos simples) e transformados para armazená-los em um banco de dados estruturado ou não estruturado para análise de dados. A documentação da linhagem de dados detalha onde os dados são extraídos e as alterações feitas neles.

Documentar alterações de dados, fontes e o local de armazenamento final garante que os pipelines estejam funcionando conforme o esperado e que quaisquer erros possam ser corrigidos mais rapidamente. Por exemplo, a fonte de dados pode mudar sua estrutura, de modo que o fluxo de dados faz alterações em um número de telefone onde números incorretos são armazenados no destino final. Ter documentação de linhagem de dados ajuda os desenvolvedores a identificar mais rapidamente onde os erros estão ocorrendo.

Benefícios da linhagem de dados

Os dados confidenciais devem ser armazenados usando determinados padrões de segurança. O registro deve ser feito no acesso aos dados. Um documento de linhagem de dados garante melhores resultados para conformidade e pode ser usado durante qualquer procedimento de auditoria. A conformidade é apenas um benefício importante da linhagem de dados.

Documentar as etapas da transformação de dados, extração de fontes e o destino final do armazenamento também torna a solução de problemas mais eficiente. Quando os desenvolvedores conhecem cada etapa da transformação de dados, eles podem validar o código e identificar quaisquer erros mais rapidamente. Quando os dados são usados em aplicativos voltados para o cliente, os desenvolvedores podem identificar mais rapidamente onde os dados são armazenados. Qualquer integração de dados é mais eficiente, e ter documentação para linhagem de dados reduz os riscos de perder a integridade de dados durante o desenvolvimento de aplicativos.

Implementação da linhagem de dados

Pode parecer um projeto fácil, mas implementar a linhagem de dados pode ser um grande desafio para aplicativos de nível corporativo. Cada parte interessada deve estar envolvida e pode levar meses para coletar todas as informações necessárias para documentar a linhagem de dados. Aqui estão as etapas básicas para o processo de linhagem de dados:

1. Fale com as partes interessadas para entender o aplicativo usado para sua função.
2. Discuta as fontes de dados do aplicativo com os desenvolvedores.
3. Determine metadados para seu catálogo de dados.
4. Crie um catálogo de dados usando metadados .
5. Defina um novo rastreamento de linhagem de dados.
6. Procedimentos de rastreamento de documentos.
7. Estabeleça governança sobre futuras mudanças de dados para garantir que a documentação permaneça atualizada.
8. Discuta as mudanças com as partes interessadas.
9. Monitore o rastreamento da linhagem de dados e altere-o quando necessário.

A descoberta de dados e o rastreamento de mudanças são um grande desafio, mas você pode trabalhar com ferramentas para facilitar o processo. Algumas ferramentas ajudam a criar um catálogo de dados e outras descobrem fontes de dados. O que você usa depende do seu processo e do que deseja realizar. Veja algumas ferramentas para começar:

• Linhagem de dados da Collibra: Encontre automaticamente fontes de dados e mapeie o fluxo de trabalho das fontes até o destino final do armazenamento.
• Octopai: Gerencie seu catálogo de dados e os metadados mapeados para cada fonte de dados.
• Atlan: Mapeie fluxos de dados e garanta que os locais de armazenamento e o processo de fluxo sigam os requisitos regulatórios para conformidade.

Melhores práticas para linhagem de dados

Se seu processo de linhagem de dados falhar, você pode perder o controle das fontes de dados, possivelmente trabalhar com dados confidenciais sem estar em conformidade ou perder dados quando seus pipelines não funcionarem mais corretamente. Para evitar perda de dados ou violações de conformidade caras, você pode seguir algumas práticas recomendadas para procedimentos de linhagem de dados. Veja algumas maneiras de manter sua linhagem de dados e pipelines seguros e documentados:

• Atualize a documentação quando houver alterações em seus pipelines, destino ou fontes.
• Audite e registre versões da documentação com informações sobre quem a alterou e quando.
• Use a automação para acelerar a entrega e reduzir os riscos de supervisão.
• Desenvolva uma convenção de nomenclatura que permaneça uniforme em toda a sua documentação.
• Cataloge as pessoas responsáveis pelos dados e pelos aplicativos usando dados.
• Analise a documentação anualmente para garantir que ela ainda esteja precisa.

Desafios e soluções

A linhagem de dados é uma forma de auditoria e, como em qualquer projeto de auditoria, pode ter desafios. O maior desafio para a maioria dos auditores é encontrar fontes de dados e mapear pipelines para destinos de dados. Em um ambiente corporativo, é possível ter centenas de fontes de dados. A transformação dos dados pode tomar várias medidas e os dados podem ser enviados para bancos de dados locais ou na nuvem. Pode ser difícil localizar dados conforme eles se movem pelo fluxo de dados. As ferramentas de descoberta com inteligência artificial ajudam nesse desafio, e os desenvolvedores de fluxos de dados podem ajudar com perguntas sobre transformação.

Desenvolvedores e administradores de banco de dados frequentemente fazem alterações sem documentá-las. Sem atualizações, a documentação da linhagem de dados fica desatualizada. É desafiador para auditores e administradores garantir que a documentação da linhagem de dados se mantenha atualizada com as mudanças nos fluxos de dados. Trabalhar com as partes interessadas e criar políticas que exigem documentação dos desenvolvedores ajuda a reduzir esse risco. Além disso, as ferramentas podem ser usadas para ajudar a automatizar alterações e enviar alertas quando alterações são feitas no fluxo de dados.

Conclusão

Para garantir conformidade e uma transição mais tranquila ao alterar fluxos de dados, um processo de linhagem de dados pode documentar todas as fontes, destinos e transformações que afetam os dados. Os dados confidenciais são rastreados para que quaisquer controles de armazenamento e acesso sigam os requisitos de conformidade. Você pode aproveitar o armazenamento unificado da Pure Storage para ajudar com escalabilidade e melhor documentação dos seus dados.