Maillage de données par rapport aux autres options de gestion des données

May 01, 2023

Getty Images

Les organisations qui recherchent plus de valeur à partir des données ont de nombreuses stratégies parmi lesquelles choisir. Assurez-vous de comprendre les options et leurs limites respectives pour choisir la bonne architecture de données.

Les organisations ne doivent pas négliger les besoins en données et la stratégie de données lors de l'achat d'outils. S'ils le font, ils pourraient faire des choix technologiques sous-optimaux et sous-estimer la gouvernance, la sécurité et la confidentialité des données, a déclaré Srujan Akula, PDG de The Modern Data Company, qui fournit un système d'exploitation de données.

"Les professionnels doivent donner la priorité à la communication, impliquer les parties prenantes et s'assurer d'une compréhension complète des objectifs et des exigences de leur organisation avant de mettre en œuvre toute solution d'architecture de données", a déclaré Akula. De plus, la formation du personnel et le développement des compétences sont des éléments cruciaux de l'adoption de la technologie.

Le maillage de données est le dernier chapitre de l'évolution des architectures de données. Les architectures d'analyse de données ont commencé avec des entrepôts de données avant d'évoluer vers des lacs de données. Le maillage de données est la troisième version à considérer par les organisations.

« Le maillage de données répond à la fois aux besoins d'échelle et de variété de données, ainsi qu'à la rapidité avec laquelle on obtient des informations à partir de ces systèmes », a déclaré Ravi Mayuram, CTO de la société de bases de données NoSQL open source Couchbase.

Cet article explore ce qu'est le maillage de données et en quoi il diffère des autres approches courantes, notamment les entrepôts de données, les lacs de données et les structures de données. Il fournit également des conseils pratiques aux organisations qui mettent en œuvre une approche de maillage de données.

Le maillage de données répond aux défis de la mise à l'échelle des données et de l'analyse dans les organisations complexes. Le maillage de données est une architecture de données décentralisée qui organise les données par domaines et est principalement axée sur les personnes et les processus. Zhamak Dehghani, PDG de Nextdata, a lancé le concept alors qu'elle travaillait pour le cabinet de conseil en technologie Thoughtworks.

Il repose sur quatre principes fondamentaux :

Cette approche oppose le maillage de données aux équipes et structures de données centralisées. Ces équipes centralisées tentent de résoudre tous les problèmes, a déclaré Lior Gavish, CTO du fournisseur de solutions d'observabilité des données Monte Carlo Data. Le maillage de données devrait aider les entreprises à faire évoluer les équipes de données. "Comment pouvons-nous permettre à de nombreuses équipes différentes d'utiliser les données efficacement et indépendamment les unes des autres ?" dit Gavish.

Un entrepôt de données a tendance à être monolithique et charge les données dans un environnement unique, fonctionnant comme un référentiel de données qui prend en charge l'analyse et la prise de décision. Un maillage de données permet un environnement distribué où les données n'ont pas à se déplacer pour fournir une valeur commerciale. Un entrepôt de données et un maillage de données ne s'excluent pas mutuellement, car un entrepôt de données peut faire partie d'un maillage de données.

La philosophie derrière un entrepôt de données est de créer une version unique de la vérité et de la centraliser sous le contrôle du service informatique. L'entrepôt de données est la plate-forme de données ; c'est là que les utilisateurs stockent et créent des produits de données.

"Le maillage de données se concentre davantage sur un état d'esprit organisationnel qui traite les données comme des produits de première classe appartenant à des domaines individuels", a déclaré Dipankar Mazumdar, défenseur des développeurs chez Dremio, un fournisseur de solutions de lac de données ouvertes.

Il y a des inconvénients à l'approche de l'entrepôt de données.

"Les données monolithiques entraînent des processus complexes de gestion des changements [et] créent des temps de montée en puissance prolongés pour les nouveaux techniciens", a déclaré Jon Osborn, directeur technique de terrain chez Ascend.io, société d'automatisation des pipelines de données. "[Il] alimente également un backlog d'ingénierie sans fin avec des demandes qui devraient être traitées en libre-service."

Comme un entrepôt de données, un lac de données centralise le stockage et le traitement des données, bien qu'un lac de données puisse stocker des données structurées et non structurées principalement dans un stockage de fichiers ou d'objets. Il peut également faire partie d'un maillage de données.

"Le concept de maillage de données repose sur une couche de maillage qui tisse ensemble des sources de données opérationnelles et des lacs de données spécifiques à un domaine", a déclaré Mayuram.

Fondamentalement, lors de l'évaluation de l'approche du lac de données ou du maillage, ou d'une combinaison des deux, un responsable des données doit comprendre si les architectures pour gérer les données distribuées sont appropriées pour son organisation. Les grandes organisations aux architectures complexes peuvent souffrir de silos de données et de problèmes d'accessibilité. Cela rend l'intégration des données de différentes sources décourageante, a déclaré Bob Audet, associé et responsable de la gestion des données chez Guidehouse, une société de conseil, de services numériques et gérés.

"Les consommateurs de données et les conservateurs de données ne peuvent pas trouver les bonnes données, ce qui rend difficile de garder une longueur d'avance sur la concurrence et de suivre le rythme des besoins commerciaux en évolution rapide", a déclaré Audet.

L'objectif d'une structure de données est d'intégrer des sources disparates et de fournir une vue centralisée et holistique des actifs de données d'une organisation. Cela contraste avec l'accent mis par le maillage de données sur la propriété et l'architecture décentralisées des données. Les deux visent à prendre en charge divers cas d'utilisation des données au sein de l'organisation.

"Chaque domaine ou unité commerciale est propriétaire de ses propres produits de données, qui sont gérés et gouvernés localement", a déclaré Mazumdar, décrivant le maillage de données. "Cela signifie que les données sont traitées comme un produit et que les équipes de domaine sont responsables de la qualité, de la gouvernance et du cycle de vie de leurs propres produits de données."

L'approche Data Fabric de la gestion des données crée une vue unifiée et intégrée des données dans l'ensemble de l'organisation. Il repose sur l'idée que les données doivent être facilement accessibles et détectables, et organisées de manière à faciliter leur combinaison et leur analyse. La structure de données est généralement mise en œuvre via une combinaison de technologies.

"La Data Fabric... [est] le premier volet technologique qui commence véritablement à décloisonner les données d'application - une avancée attendue depuis longtemps", a déclaré Sylvie Veilleux, membre du conseil consultatif de l'association à but non lucratif Data Collaboration Alliance et ancienne CIO de Dropbox. . "L'écosystème de données moderne est incroyablement complexe, connectant tous les types de pipeline, des bases de données aux lacs de données."

Data Fabric utilise une architecture pour établir une connexion entre les données et les métadonnées qui existent dans les silos organisationnels, a déclaré Veilleux. Avec la structure de données, les systèmes basés sur les autorisations contrôlent l'accès aux données, tandis que dans le maillage de données, les propriétaires fonctionnels contrôlent les données et leur accès. Cela signifie qu'il n'a pas besoin de l'autorisation d'une autorité de contrôle centrale.

Il s'agit "d'une étape cruciale vers la fin de la pratique séculaire consistant à faire des copies sans fin de données même sensibles", a déclaré Veilleux.

Il n'y a pas d'implémentation de maillage de données parfaite. Les organisations peuvent bénéficier de mises en œuvre même simples ou partielles, selon Osborn.

"Une stratégie de maillage fonctionnel produira des données plus accessibles et permettra à plus de doigts sur les claviers d'utiliser les données", a déclaré Osborn. "Les analystes, les scientifiques des données, les créateurs de rapports et, potentiellement, les hommes d'affaires pourront participer. Planifiez-le."

Toutes les stratégies de données ont des hypothèses sous-jacentes qui doivent être vraies pour que cela fonctionne comme prévu. Pour contourner les erreurs évitables, les organisations doivent comprendre ces hypothèses. Selon Osborn, les trois hypothèses de base du maillage des données sont les suivantes :

Partie de : Le maillage de données est-il le bon choix ?

Le maillage de données adopte une approche décentralisée de la gestion des données et tire de la valeur des données. Il partage des similitudes avec les entrepôts de données, les lacs et les tissus, mais diffère dans sa philosophie.

Le maillage de données peut améliorer la qualité des données et les informations d'une organisation, mais des défis importants peuvent rendre ces avantages difficiles à atteindre.

L'analyse en temps réel permet une prise de décision et des informations plus rapides. Alors que la démocratisation des données gagne en importance, le maillage de données aide à décentraliser ces données pour tous les utilisateurs.