Plateformes Data
Microsoft Fabric : arrêter le copier-coller entre notebooks avec %run
Centralisons les constantes et fonctions partagées dans un notebook Fabric commun puis réutilisons-les avec %run sans copier-coller.
Tutoriel
Développement
dbt : tester la qualité de nos données
Ajoutez des tests dbt à vos modèles Silver, provoquez un échec contrôlé et écrivez un test SQL personnalisé pour fiabiliser la qualité des données.
Data Engineering
dbt : construire nos premiers modèles Silver
Construisez vos premiers modèles Silver avec dbt et DuckDB, découvrez ref(), les dépendances et les matérialisations, puis interrogez le résultat en SQL.
Développement
dbt : installer notre environnement local et découvrir les seeds
Installez dbt v2 avec DuckDB sous Windows, créez un premier projet local et chargez deux fichiers CSV avec dbt seed pour préparer la suite de la série.
Azure Databriks - Introduction par la pratique
Dans le monde de l'ingénierie des données moderne, Databricks est un nom très connu. Lorsque l'on gravite autour de Spark, on utilise très régulièrement des outils ou concept directement issue de Databricks. Dans cet article nous allons faire nos premiers pas directement sur la plateforme Databricks
Notre premier notebook Spark dans Synapse
Synapse nous permet d'utiliser Apache Spark en tant que Runtime de processing afin de travailler nos différents datasets. Dans cet article, nous allons créer notre premier notebook Spark (et le pool Spark nécessaire) pour transformer nos premières données de la zone bronze pour commencer à alimenter notre zone
Connexion du Lake à Synapse
Nous avons fait le choix de créer un compte de stockage (ou plusieurs) séparé de celui propre à Synapse pour notre datalake. Et donc, après avoir créé nos différentes ressources (workspace et stockage), il reste une étape importante qui est la "connexion" du stockage au workspace afin de
Créer un dataset Power BI depuis notre Synapse DataLakeHouse
Notre DataLakeHouse contient physiquement des fichiers de données. Ceux-ci sont organisés, nettoyés, représentent un modèle de donnée défini sur la "dernière" couche et éventuellement de formats différents. Nous pouvons donc lire nos données depuis ces fichiers et travailler dessus pour faire ce que l'on en
Rafraichir un dataset Power BI depuis Azure Synapse Analytics
Nous allons présenter dans cet article comment mettre à jour notre Dataset Power BI directement depuis Azure Synapse Analytics via un pipeline.
Configurer un runtime dans Synapse pour la connexion à une base de données On-Prem
Dans cet article, je vais procéder à l'installation d'un runtime d'intégration "simple" pour Synapse, il n'y a pas de scalabilité ni de haute dispo comme il pourrait être nécessaire en production pour des applications critiques.
Création des ressources de stockage : Azure Synapse Analytics - Azure Blob Storage
Pour rappel, nous travaillons à la mise en place d'un datalake/datalakehouse "dans" Azure Synapse Analytics. Ce scénario tourne autour de deux solutions que sont : * Storage account / Data Lake Storage --> le "datalake" * Synapse workspace --> L'environnement de développement et d'
Création de l'environnement de travail : Azure Synapse Analytics - Workspace
Nous travaillons à la mise en place d’un datalake/datalakehouse « dans » Azure Synapse Analytics. Ce scénario tourne donc autour de deux solutions que sont : Storage account / Data Lake Storage pour le « datalake » Synapse workspace pour L’environnement de développement et d’intégration Cet article