Data Engineering
dbt : passer du dataset Small au dataset Large
Remplacez le dataset Small par 340 jeux, rejouez toute la chaîne dbt et vérifiez que vos modèles et vos tests tiennent sans réécrire le SQL.
Architecture Data
dbt : construire notre première zone Gold
Construisez deux modèles Gold avec dbt, reliez-les aux modèles Silver avec ref(), ajoutez des tests et visualisez le graphe de dépendances du projet.
Plateformes Data
Microsoft Fabric : télécharger un fichier dans un Lakehouse avec run()
Déclenchons un notebook Fabric paramétré avec run() pour télécharger un fichier depuis GitHub et le déposer dans un Lakehouse.
Plateformes Data
Microsoft Fabric : arrêter le copier-coller entre notebooks avec %run
Centralisons les constantes et fonctions partagées dans un notebook Fabric commun puis réutilisons-les avec %run sans copier-coller.
Développement
dbt : tester la qualité de nos données
Ajoutez des tests dbt à vos modèles Silver, provoquez un échec contrôlé et écrivez un test SQL personnalisé pour fiabiliser la qualité des données.
Data Engineering
dbt : construire nos premiers modèles Silver
Construisez vos premiers modèles Silver avec dbt et DuckDB, découvrez ref(), les dépendances et les matérialisations, puis interrogez le résultat en SQL.
Développement
dbt : installer notre environnement local et découvrir les seeds
Installez dbt v2 avec DuckDB sous Windows, créez un premier projet local et chargez deux fichiers CSV avec dbt seed pour préparer la suite de la série.
IA appliquée
De l’effet waouh à la réalité : ce que l’IA a changé dans ma façon d’apprendre et de construire
Après l’effet waouh du code généré par l’IA, j’ai découvert une nouvelle dette technique : celle des décisions que je n’avais pas comprises. Retour d’expérience sur une façon de construire plus vite sans abandonner l’architecture.
Azure Databriks - Introduction par la pratique
Dans le monde de l'ingénierie des données moderne, Databricks est un nom très connu. Lorsque l'on gravite autour de Spark, on utilise très régulièrement des outils ou concept directement issue de Databricks. Dans cet article nous allons faire nos premiers pas directement sur la plateforme Databricks
Fabric - Copy job
Il y a quelque temps, Microsoft a annoncé un type de job particulier, les "Copy job". Dans de nombreux projets, pour des raisons d'impact sur les bases opérationnelles, nous faisons des copies des données sources pour travailler de façon autonome par la suite. Ce type de job est justement là pour tr
Microsoft Fabric via Terraform - les Basics
Microsoft a annoncé très récemment la "Public Preview" d'un provider Terraform pour Microsoft Fabric. Nous allons ici tester les basics de la mise en place d'une Infrastructure as Code (IaC) autour de Fabric !
Zone Gold et Pipeline d'intégration synapse
Après avoir alimenté notre zone bronze : Paramétrer les Pipeline Azure Synapse Analytics sans ouvrir Synapse ! ; Après avoir alimenté notre zone sliver : Notre premier notebook Spark dans Synapse ; Nous allons maintenant alimenter notre zone gold et créer notre pipeline d'intégration complet de l'ingestion de nos données On-