Améliorer l'ETL en passant au streaming de données en temps réel.
Le rôle des données dans les organisations d'aujourd'hui est incontestable. Non seulement les données éclairent les décisions dans tous les domaines de l'entreprise, mais elles sont également de plus en plus utilisées pour automatiser les processus, à mesure que les entreprises « deviennent des logiciels ». Cela dit, la complexité de la gestion des données fragmentées augmente également. Une enquête récente d'IDC a révélé que 79 % des organisations utilisent plus de 100 sources de données, et 30 % utilisent plus de 1000 250 sources. De nombreux CDO admettent consacrer plus d'un tiers de leur temps à la gestion quotidienne des données, au lieu d'utiliser les données pour piloter la stratégie et l'innovation. Comme les entreprises avec un haut niveau de maturité des données génèrent XNUMX % de valeur commerciale en plus, il n'a jamais été aussi important d'exécuter le nettoyage, l'enrichissement et le traitement des données sur tous les types de données ; transactionnel, opérationnel et analytique.
Accroître la maturité des données nécessite un niveau de leadership en matière de données, qui va de pair avec le leadership numérique. Les pipelines de données en temps réel sont devenus une norme nécessaire, les entreprises étant censées favoriser la maturité des données comme condition préalable à l'utilisation AI et ML. En d'autres termes, la transformation des données est essentielle à la transformation numérique. C'est pourquoi le leadership en matière de données est si crucial, car il permettra aux équipes internes de relever le principal défi de la fragmentation et de la complexité et, en fin de compte, de générer des niveaux plus élevés de valeur commerciale.
Le défi, cependant, pour ceux qui veulent moderniser et évaluer leurs services, est de relier toutes les données entre elles et de les rendre accessibles, en temps réel. Traditionnellement, un long processus en trois étapes a été utilisé pour consolider les données provenant de plusieurs sources - Extraire, Transformer et Charger (ETL). Mais cela a tendance à fonctionner par lots et n'a pas toujours donné les résultats requis. Certaines solutions ont basculé le processus vers ELT - Extraire, Charger et Transformer les données. Nous assistons même à un ETL inversé. Aujourd'hui, avec l'essor de la mise en mouvement des données, nous voyons l'industrie évoluer vers le streaming ETL avec un traitement de flux en temps réel.
Mettre les données en mouvement
ETL (Extraire, Transformer et Charger) est un processus en trois étapes utilisé pour consolider les données provenant de plusieurs sources. À la base, ETL est un processus standard où les données sont collectées à partir de diverses sources (extraites), converties dans un format souhaité (transformées), puis stockées dans leur nouvelle destination (chargées).
L'ETL n'est pas un nouveau concept. En fait, il a évolué depuis les années 1970 et 80, où le processus était séquentiel, les données étaient plus statiques, les systèmes étaient monolithiques et des rapports étaient nécessaires sur une base hebdomadaire ou mensuelle.
Alors que les attentes des clients et les opérations backend évoluent vers un monde plus en temps réel, avec de nombreux processus métier définis dans les logiciels, nous avons vu l'ETL traité par lots passer à l'ETL en continu. Avec le streaming ETL, les données
est automatiquement extrait et transformé, ou traité, puis chargé vers n'importe quelle destination, presque dès sa création, ce qui permet aux entreprises d'automatiser les processus - en supprimant les personnes du chemin critique - et de fonctionner avec évolutivité, sécurité, sur une infrastructure optimale, qui comprend très probablement le nuage.
ETL en streaming en pratique
Les données en temps réel sont un élément clé pour les nouvelles marques et les marques traditionnelles très performantes qui s'appuient sur des flux et des flux de données cohérents afin de répondre aux attentes en constante évolution de leurs clients.
Plutôt que de laisser les données dans une base de données statique, les données elles-mêmes peuvent déclencher une action ou une analyse en temps réel. Dans de nombreux cas, cette « mise en mouvement des données » peut ouvrir de nouvelles opportunités de valeur qui n'étaient pas possibles avec des données statiques dans des bases de données plus traditionnelles, en utilisant une architecture de type requête-réponse. Des leaders technologiques tels qu'Uber, Ebay, Netflix et Yelp ont déjà adopté une approche de diffusion de données en temps réel et se sont architecturés autour de plates-formes de diffusion de données.
Le traitement de flux en temps réel a également été mis en œuvre avec succès dans une gamme d'industries plus traditionnelles. Par exemple, dans les services financiers, les banques recherchent en permanence des moyens de devenir plus pertinentes pour les clients d'aujourd'hui. Les consommateurs ne peuvent plus imaginer les opérations bancaires sans les notifications push en temps réel initialement mises sur le marché par les banques challengers. Les banques traditionnelles sont également censées offrir des informations supplémentaires, rendues possibles par les données, telles que le suivi des finances et le soutien à la planification budgétaire, sur la base des habitudes d'achat passées et des objectifs de vie.
Ou prendre au détail. Les entreprises souhaitent fusionner les données des interactions sur les sites Web, des applications mobiles et des expériences en magasin, afin de pouvoir proposer des offres en temps réel, contextualisées et hautement ciblées. De plus, avec des données en temps réel, ils peuvent capturer les commentaires et les retours après-vente, ou encore vendre davantage et vendre des produits et services.
En fin de compte, pour un client régulier, il est difficile d'imaginer à quoi ressembleraient ces services s'ils ne tiraient pas parti de la puissance du traitement de flux en temps réel, mais de nombreuses autres entreprises peuvent exploiter les données pour passer au numérique.
Une approche basée sur les données pour la transformation numérique
Bien qu'il ne soit pas facile de développer une stratégie de transformation numérique qui exploite pleinement la valeur des données, de nombreuses entreprises prennent conscience de cette nécessité. Faire cela signifie que les entreprises peuvent utiliser la puissance de l'effet de réseau pour générer davantage de synergies de données ; À mesure que de plus en plus de secteurs de l'entreprise consomment diverses sources de données, ils produiront également plus de données, ce qui entraînera à son tour une plus grande consommation de données. Etc.
Traditionnellement, les données étaient utilisées pour servir un produit ou une solution. Par exemple, avec une plateforme de gestion de la relation client, l'objectif principal des données était de servir cette plateforme. Cependant, avec la possibilité d'accéder aux données en temps réel, nous constatons un changement dans cette relation. Les produits ou les solutions métiers créent désormais des données, qui peuvent devenir un produit en soi. Par conséquent, au lieu que les données ne servent que la solution, la solution sert également les données.
Le traitement de flux en temps réel modernise cette ancienne façon de travailler avec les données. Il donne aux gens un accès en temps réel à l'information, au fur et à mesure que les événements se produisent, avec des niveaux toujours croissants d'intelligence contextuelle. Une plateforme de streaming de données peut également réagir aux événements et effectuer la tâche directement, en contournant l'humain.
De nos jours, les données sont au cœur de toute entreprise moderne. Les organisations traditionnelles augmentent leurs architectures héritées pour répondre aux exigences en temps réel et simplifier les opérations, à grande échelle. Afin d'améliorer la façon dont les données sont utilisées, les entreprises doivent créer de nouvelles synergies afin de libérer pleinement le potentiel des données. Passer de l'ELT à l'ETL en streaming permettra aux organisations d'augmenter la maturité de leurs données et de prendre une longueur d'avance.
