Data Engineering
dbt : construire nos premiers modèles Silver
Construisez vos premiers modèles Silver avec dbt et DuckDB, découvrez ref(), les dépendances et les matérialisations, puis interrogez le résultat en SQL.
Architecture Médaillon
Zone Gold et Pipeline d'intégration synapse
Après avoir alimenté notre zone bronze : Paramétrer les Pipeline Azure Synapse Analytics sans ouvrir Synapse ! ; Après avoir alimenté notre zone sliver : Notre premier notebook Spark dans Synapse ; Nous allons maintenant alimenter notre zone gold et créer notre pipeline d'intégration complet de l'ingestion de nos données On-
Architecture Data
Zones de Datalake selon les "bonnes pratiques" Microsoft
Comme tout bon éditeur qui se respecte, Microsoft présente de bonnes pratiques d'implémentation. La documentation proposée est disponible ici : Zones et conteneurs de lac de données - Cloud Adoption Framework | Microsoft Learn Nous allons dans cet article créer les différentes zones de notre Datalake en respectant ces bonnes pratiques
Un Data Lakehouse fonctionnel avec Azure Synapse Analytics
Cet article est le point de départ du projet global qui sera créé le long de plusieurs articles à venir. L'objectif est de créer un datalake autour de la solution intégrée de Microsoft : Synapse Analytiques et d'autres solutions Microsoft / Azures s'imbriquant dans notre besoin.