Plateformes Data
Microsoft Fabric : arrêter le copier-coller entre notebooks avec %run
Centralisons les constantes et fonctions partagées dans un notebook Fabric commun puis réutilisons-les avec %run sans copier-coller.
Industrialisation
Développement
dbt : tester la qualité de nos données
Ajoutez des tests dbt à vos modèles Silver, provoquez un échec contrôlé et écrivez un test SQL personnalisé pour fiabiliser la qualité des données.
Développement
dbt : installer notre environnement local et découvrir les seeds
Installez dbt v2 avec DuckDB sous Windows, créez un premier projet local et chargez deux fichiers CSV avec dbt seed pour préparer la suite de la série.
IA appliquée
De l’effet waouh à la réalité : ce que l’IA a changé dans ma façon d’apprendre et de construire
Après l’effet waouh du code généré par l’IA, j’ai découvert une nouvelle dette technique : celle des décisions que je n’avais pas comprises. Retour d’expérience sur une façon de construire plus vite sans abandonner l’architecture.
Fabric - Copy job
Il y a quelque temps, Microsoft a annoncé un type de job particulier, les "Copy job". Dans de nombreux projets, pour des raisons d'impact sur les bases opérationnelles, nous faisons des copies des données sources pour travailler de façon autonome par la suite. Ce type de job est justement là pour tr
Microsoft Fabric via Terraform - les Basics
Microsoft a annoncé très récemment la "Public Preview" d'un provider Terraform pour Microsoft Fabric. Nous allons ici tester les basics de la mise en place d'une Infrastructure as Code (IaC) autour de Fabric !
Notre premier notebook Spark dans Synapse
Synapse nous permet d'utiliser Apache Spark en tant que Runtime de processing afin de travailler nos différents datasets. Dans cet article, nous allons créer notre premier notebook Spark (et le pool Spark nécessaire) pour transformer nos premières données de la zone bronze pour commencer à alimenter notre zone
Architecture Data
Zones de Datalake selon les "bonnes pratiques" Microsoft
Comme tout bon éditeur qui se respecte, Microsoft présente de bonnes pratiques d'implémentation. La documentation proposée est disponible ici : Zones et conteneurs de lac de données - Cloud Adoption Framework | Microsoft Learn Nous allons dans cet article créer les différentes zones de notre Datalake en respectant ces bonnes pratiques
Wide World Importers - BDD source du projet
Nous allons dans cette article "installer" la base d'exemple Wide Word Importer de Microsoft, la préparer et l'inspecter un minimum pour pouvoir débuter nos travaux de Datalake.
Mise en cluster d'un runtime d'intégration auto-hébergé
Dans un précédent article, nous avons installé un runtime d'intégration auto-hébergé permettant le transfert de données locales vers Azure. Nous avions évoqué dans les options avancées, la possibilité de faire de la haute disponibilité pour notre runtime. Nous allons dans cet article configurer la haute disponibilité sur
Configurer un runtime dans Synapse pour la connexion à une base de données On-Prem
Dans cet article, je vais procéder à l'installation d'un runtime d'intégration "simple" pour Synapse, il n'y a pas de scalabilité ni de haute dispo comme il pourrait être nécessaire en production pour des applications critiques.
git + synapse, gestion de version et de code source
Nous allons ici mettre en place la version de code source avec git pour nos développements synapse.