Arquitetura descentralizada
Introdução
Em geral
Data mesh é um método sociotécnico para construir uma arquitetura de dados descentralizada, aproveitando um design orientado a domínio de autoatendimento (em uma perspectiva de desenvolvimento de software) e toma emprestada a teoria do design orientado a domínio de Eric Evans[1] e a teoria das topologias de equipe de Manuel Pais e Matthew Skelton.[2] A malha de dados tem tudo a ver com os dados em si, tendo o data lake e os pipelines como uma preocupação. secundário.[3] A proposta principal é dimensionar os dados analíticos por meio da descentralização orientada ao domínio.[4] Com a malha de dados, a responsabilidade pelos dados analíticos é transferida da equipe central de dados para as equipes de domínio, apoiadas por uma equipe de plataforma de dados que fornece uma plataforma de dados independente de domínio.[5] Isso ajuda a organizar melhor os dados e evita ter áreas de dados isoladas e separadas. Isso se deve à presença de um sistema central que garante que todos sigam as mesmas regras básicas dentro da rede de dados, permitindo o compartilhamento de dados em diferentes locais.
História
O termo malha de dados foi definido pela primeira vez por Zhamak Dehghani em 2019[6] enquanto trabalhava como consultor principal na empresa de tecnologia Thoughtworks.[7][8] Dehghani introduziu o termo em 2019 e depois forneceu mais detalhes sobre os princípios e a arquitetura lógica ao longo de 2020. O processo foi previsto para ser um "grande concorrente" para empresas em 2022.[9][10] Algumas das empresas que o implementaram malhas de dados são Zalando,[11] Netflix,[12] Intuit,[13] VistaPrint, JPMorgan Chase,[14] PayPal[15] e outros.
Em 2022, Dehghani deixou a Thoughtworks para fundar a Nextdata Technologies e se concentrar em dados descentralizados.[16].
Começo
A malha de dados é baseada em quatro princípios fundamentais:[5].
Além desses princípios, Dehghani escreve que os produtos de dados criados por cada equipe de domínio devem ser detectáveis, endereçáveis, confiáveis, possuir semântica e sintaxe autodescritivas, ser interoperáveis, seguros e governados por padrões globais e controles de acesso.[18] Em outras palavras, os dados devem ser tratados como um produto confiável e pronto para uso.[9].
Comunidade
Scott Hirleman iniciou uma comunidade de rede de dados em seu canal do Slack "Slack (software)") que contém mais de 7.500 pessoas.[19].
Referências
- [1] ↑ Evans, Eric (2004). Domain-driven design : tackling complexity in the heart of software. Boston: Addison-Wesley. ISBN 0-321-12521-5. OCLC 52134890.: https://www.worldcat.org/oclc/52134890
- [2] ↑ Skelton, Matthew (2019). Team topologies : organizing business and technology teams for fast flow. Manuel Pais. Portland, OR. ISBN 978-1-942788-84-3. OCLC 1108538721.: https://www.worldcat.org/oclc/1108538721
- [3] ↑ Machado, Inês Araújo; Costa, Carlos; Santos, Maribel Yasmina (1 de enero de 2022). «Data Mesh: Concepts and Principles of a Paradigm Shift in Data Architectures». Procedia Computer Science. International Conference on ENTERprise Information Systems / ProjMAN - International Conference on Project MANagement / HCist - International Conference on Health and Social Care Information Systems and Technologies 2021 (en inglés) 196: 263-271. ISSN 1877-0509. doi:10.1016/j.procs.2021.12.013.: https://es.wikipedia.org//portal.issn.org/resource/issn/1877-0509
- [4] ↑ «Data Mesh Architecture». datamesh-architecture.com (en inglés). Consultado el 13 de junio de 2022.: https://datamesh-architecture.com/
- [5] ↑ a b Dehghani, Zhamak (2022). Data Mesh. Sebastopol, CA. ISBN 978-1-4920-9236-0. OCLC 1260236796.: https://www.worldcat.org/oclc/1260236796
- [6] ↑ «How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh». martinfowler.com. Consultado el 28 de enero de 2022.: https://martinfowler.com/articles/data-monolith-to-mesh.html