dbt (Data Build Tool)

Qu’est-ce que dbt (Data Build Tool) ?

Chez Boryl, afin de mener à bien un projet de data visualisation impliquant la consolidation de plusieurs sources de données, nous retrouvons quasiment systématiquement 3 étapes.

Étape 1 : L’automatisation de l’ingestion des données

Cette étape consiste à extraire les données brutes sur les plateformes concernées (par exemple Facebook Ads, Hubspot, Zendesk, PrestaShop, Stripe, Aircall, etc) et à les envoyer dans un data warehouse. Ce travail est généralement réalisé par un data ingénieur.

Étape 2 : L’automatisation de la transformation des données

Cette étape consiste à traiter (nettoyer, consolider, formater, etc) les données brutes ingérées dans le data warehouse afin de les rendre exploitables par la suite. Ce travail est généralement réalisé par un data analyst.

Étape 3 : La création des dashboards utilisant ces données transformées

Sans surprise, cette étape consiste tout simplement à créer le ou les dashboards avec les données transformées. Ce travail est généralement réalisé par un data analyst.

L’outil dbt (pour Data Build Tool) permet de mener à bien l’étape n°2 !!

Voici un petit schéma explicatif :

Si vous voulez aller plus loin sur le sujet, c’est un peu plus bas que ça se passe 👇 🤓

1. Formation sur Google Analytics 4

2. Formation sur Google Tag Manager

3. Formation sur les paramètres UTM

4. Formation sur le plan de taggage

5. Formation sur Looker Studio

6. Formation sur Matomo

7. Formation sur Google Tag Manager Server-Side

8. Formation sur l’attribution marketing

9. Formation sur l’API de conversion Facebook

10. Formation sur Google BigQuery

Comment fonctionne dbt (Data Build Tool) ?

dbt (entreprise dbt Labs) est un outil combinant le langage SQL ainsi que les meilleures pratiques d’ingénierie logicielle pour rendre la transformation des données fiable, rapide et facile.

Avec dbt, toute personne maîtrisant le SQL a le pouvoir de créer des modèles, de tester ces modèles et de planifier/orchestrer l’exécution de ces modèles afin de générer des données fiables selon le type de matérialisation (vue, table, table temporaire, etc) dans un data warehouse à des intervalles de temps réguliers.

L’outil est en quelque sorte une couche d’orchestration au-dessus du data warehouse améliorant et accélérant le processus de transformation des données.

Un modèle dbt est une requête SQL décrivant comment les données doivent être transformées. Un modèle dbt peut inclure des opérations de nettoyage, de filtrage, d’agrégation, de jointure et bien plus encore. Un modèle dbt peut également utiliser le langage python s’il est trop complexe ou pas réalisable en SQL.

Le SQL (Structured Query Language) est un langage de programmation utilisé pour communiquer avec les bases de données. En data analyse, le SQL joue un rôle essentiel pour interroger, manipuler et analyser les données stockées dans les bases de données (data warehouse).

Voici à quoi pourrait ressembler un modèle dbt :

Dans l’univers sales/marketing, les données transformées alimentent principalement :

1. Des solutions de data visualisation (Looker Studio, Power BI, Tableau, etc) permettant aux équipes sales/marketing de prendre de meilleures décisions stratégiques et opérationnelles au jour le jour.
2. Des CRM, des régies publicitaires et des solutions de marketing automation (Facebook Ads, Google Ads, Hubspot, Salesforce, Sendinblue, Zendesk, etc) permettant aux équipes sales/marketing de déployer des scénarios automatisés et/ou d’alimenter des audiences publicitaires (des audiences lookalike sur Facebook Ads par exemple).

Chez Boryl, en fonction du besoin de nos clients ainsi que du contexte associé (stack data actuelle, compétence technique, etc) nous proposons plusieurs “solutions” pour mener à bien l’étape de transformation des données, voici les plus courantes :

1. Déploiement de dbt (cloud) chez le client
2. Déploiement de Dataform chez le client (Dataform est le “dbt” de Google)
3. Utilisation de notre solution de transformation maison (créé avec Apache Airflow)
4. Planification des requêtes SQL directement depuis BigQuery (uniquement pour les besoins très simples)

Pourquoi dbt (Data Build Tool) est-il autant utilisé en entreprise ?

dbt (version cloud) est de plus en plus utilisé en entreprise pour plusieurs raisons. Voici une liste non exhaustive :

1. Les entreprises deviennent de plus en plus matures sur les sujets data, et ont donc de plus en plus besoin d’une solution pour transformer leurs données.
2. dbt permet aux équipes de data analysts d’être beaucoup plus autonomes et donc d’être plus rapides dans l’exécution de leur travail (cela leur permet d’apporter de la valeur beaucoup plus rapidement).
3. dbt facilite la collaboration entre les équipes de data analyst et data ingénieur. Les modèles dbt peuvent être partagés, versionnés et gérés de manière collaborative via des systèmes de contrôle de version tels que Git. Cela permet aux équipes de travailler ensemble sur les pipelines de données et de partager leurs connaissances et leurs bonnes pratiques.
4. dbt permet de tester et valider facilement la transformation des données. Cela contribue à garantir l’intégrité des données utilisées par l’entreprise.
5. Souvent, lors de la transformation des données, il est logique/indispensable de le faire dans une approche par étape (plusieurs couches d’analyse). Avec dbt, il n’est pas nécessaire d’héberger un outil d’orchestration (comme Apache Airflow par exemple), car l’outil comprend une fonctionnalité qui offre une autonomie totale sur l’orchestration et la planification des modèles. Cette fonctionnalité permet d’avoir des données mises à jour à des intervalles de temps réguliers définis.
6. dbt s’intègre très facilement aux principaux cloud data warehouse du marché.
7. dbt minimise les copier-coller et favorise la réutilisation des modèles (codes SQL) existants.
8. Avec dbt, la documentation des données est accessible, facilement mise à jour et permet de fournir des données de confiance à l’ensemble de l’entreprise. L’outil génère automatiquement de la documentation sur les descriptions et les dépendances des modèles, les tests, etc.
9. L’outil est abordable en termes de prix.

OLTP, OLAP, Données non structurées, Données structurées, Docker, Gouvernance des données, DFS, MySQL, PostgreSQL, Data cleaning, Analyse ad hoc, Data lake, Power BI, Analyse descriptive, Analyse multidimensionnelle, SIAD, ARR, Taux de rétention, Taux d’attrition, Data mining, Pie chart, Histogramme, Dashboard, Graphique, Tableau software, Box plot, Bar chart, Area chart, Data visualisation, KPI, Analyse de cohorte, MRR, API, Data warehouse, Data engineering, CLV, ETL, dbt (Data Build Tool), Data catalog, Marketing Automation, Segmentation RFM