Tendência na área de gerenciamento de dados, o lake house combina os melhores elementos de datas lakes e datas warehouses, simplificando estruturas e permitindo o acesso mais rápido aos dados.
Os volumes de dados estão aumentando a níveis acelerados e sem precedentes. Terabytes, petabytes e exabytes de dados são acumulados, vindos das mais diversas fontes. Como essas informações são fontes valiosas para análises e identificação de tendências, as empresas precisam contar com um sistema que permita a integração de diversos tipos de bancos de dados.
Assim surge a abordagem lake house, reunindo o melhor das diversas ferramentas: a implementação de estruturas e recursos de gerenciamentos de dados, semelhantes aos de um data warehouse, combinada com o tipo de armazenamento de baixo custo usados nos datas lakes.
A vantagem do lake house está na simplificação de estruturas, permitindo o acesso e uso aos dados em um ambiente integrado, reduzindo complexidades, aumentando a agilidade e eliminando a necessidade de mover ou copiar dados entre diversos sistemas diferentes.
Como funciona a abordagem lake house
Acelerando a inovação, em um momento em que o aprendizado de máquina está em alta, a abordagem lake house não se trata simplesmente de integrar um data lake com um data warehouse - mas sim de integrar um data lake, um data warehouse e datastores desenvolvidos para fins específicos. Dessa forma, possibilita uma governança unificada e a fácil movimentação dos dados.
Ela permite: a criação rápida de data lakes escaláveis; o uso de uma coleção ampla e profunda de serviços de dados, criados para fins específicos; garante a compatibilidade por meio de uma maneira unificada de proteger, monitorar e gerenciar o acesso aos seus dados e também o dimensionamento de sistemas a um baixo custo, sem comprometer a performance.
Quando essa arquitetura é alocada em um ambiente AWS, é possível ainda armazenar os dados em um data lake e usar um círculo de serviços de dados, criados especificamente ao redor do data lake. Essa ação facilita as análises e possibilita a tomada de decisão com maior rapidez e agilidade. E com uma relação de preço e performance imbatível no mercado.
Movimentação de dados na abordagem lake house:
O lake house permite o armazenamento, refinamento, análise e acesso a diversos tipos de dados, diferentes, incluindo imagens, vídeos, áudios, dados semiestruturados e textos. E esses dados podem servir de suporte para diversas cargas de trabalho, incluindo ciência de dados, aprendizado de máquina e SQL.
Assim, com o objetivo e analisar e obter insights rápidos, é possível mover os dados entre plataformas integradas. Dentro do lake house, a movimentação pode ser: de dentro para fora, de fora para dentro ou em torno do perímetro.
Movimentação de dados de dentro para fora: o armazenamento é feito em um data lake, e em seguida, parte desses dados são transferidos a um data store desenvolvido para fins específicos, com o objetivo de realizar trabalhos com machine learning ou análises.
Movimentação de dados de fora para dentro: o armazenamento é feito em data stores, desenvolvidos para fins específicos (como um data warehouse ou um banco de dados) e depois transferidos a um data lake para a execução de análises.
Movimentação de dados em torno do perímetro: nesse caso, todas as bases de dados são integradas: data lake, data warehouse e datastores desenvolvidos para fins específicos. Dessa forma, o acesso simultâneo aos dados é facilitado.
Conforme os dados contidos nas plataformas continuam a crescer, se tornam cada vez mais difíceis de serem movimentados, pois eles ficam comprometidos. Assim, a abordagem lake house garante o acesso unificado aos dados, de forma que eles possam chegar facilmente aonde sejam necessários, com os controles corretos, para possibilitar análises e insights assertivos.
Saiba mais dessa nova abordagem! Agende um horário com nossos especialistas!
Comments