O Projeto:
A solução selecionada pela Qexpert para o desafio apresentado foi estruturar um Data Lakehouse – que mistura conceitos e técnicas de data warehouse e datalake.
O Data Lakehouse é um repositório de dados da empresa, acessível aos usuários que precisem consultá-los e produzir, a partir deles, suas análises. Este tipo de projeto é pautado em três pilares: confiabilidade, desempenho e engenharia.
Para esse projeto foi necessário um controle de governança sobre o acesso aos dados, considerando todas as diretrizes da Lei Geral de Proteção de Dados (LGPD) em relação às informações sensíveis da empresa e de seus clientes.
Em seguida, os dados passaram por um processo de limpeza e qualificação a partir de cargas de trabalho batch (agendados) e stream (em tempo real). Isso permite ter visualizações consistentes, otimizadas e fáceis de utilizar.