dbt en Data Mesh. Avec amour pour les utilisateurs
Lien vers l’intervention Leonid et Nikita sont les créateurs de l’intégration dmp-af en pleine croissance. …
Article original sur denvic.tech (en russe)
Aleksandr Mazalov (Senior Data Engineer & Data Architect) partage un cas réel : la migration d’une architecture chaotique fondée sur 1C et KNIME vers un DWH incrémental moderne sur Postgres, Airflow et dbt.
Le problème
L’architecture héritée copiait l’intégralité de la base 1C vers MS SQL Server quotidiennement — un processus de 3 à 4 heures qui plantait fréquemment. KNIME exigeait 40 Go de RAM, les scripts SQL étaient surchargés de JOINs, et les données accusaient deux jours de retard. Résultat : méfiance envers les chiffres, vérifications manuelles, et métriques incohérentes entre équipes.
La solution : architecture en couches
Couche Stage
L’outil “1C to BI Extractor” de Denvic exporte uniquement les deltas (enregistrements nouveaux et modifiés), en captant même les corrections rétroactives dans 1C. Minutes au lieu d’heures.
Couche DDS (Airflow + PostgreSQL)
Un seul DAG gère les mises à jour d’une cinquantaine de tables : identifiants uniques, nettoyage des données, SCD2 pour l’historisation. CI/CD via GitLab avec un environnement à deux niveaux (TEST en Docker → PROD).
Traitement des stocks (Kafka + partitions)
300 millions de lignes avec modifications rétroactives et besoins de mise à jour horaire. Kafka via Confluent absorbe les pics, tandis que deux DAGs Airflow traitent les données par lots avec un partitionnement dynamique par date.
Data Marts (dbt-core + dbt-af)
Modèles structurés par domaine, principe DRY via macros, génération automatique de DAGs avec dbt-af. Les analystes développent leurs marts en autonomie, avec une relecture par les data engineers.
Résultats
| Avant | Après |
|---|---|
| Données vieilles de 2 jours | Mises à jour horaires |
| 40 Go de RAM pour le recalcul complet | Utilisation efficace des ressources |
| Plusieurs jours pour bâtir un nouveau mart | 24 heures pour un nouveau mart |
| Vérification manuelle | Tests dbt automatisés |
| Charge lourde sur 1C | Charge minimale sur 1C |
Stack technique
PostgreSQL, Apache Airflow, dbt-core, dbt-af (Toloka/dmp-labs), Kafka (Confluent), GitLab CI/CD, Docker, Power BI Report Server, Yandex DataLens.
Cette étude de cas illustre parfaitement comment Airflow + dbt, avec la bonne discipline d’ingénierie, transforme le chaos en une plateforme data pilotable.
