Après avoir alimenté notre zone bronze : Paramétrer les Pipeline Azure Synapse Analytics sans ouvrir Synapse ! ; Après avoir alimenté notre zone sliver : Notre premier notebook Spark dans Synapse ; Nous allons maintenant alimenter notre zone gold et créer notre pipeline d'intégration complet de l'ingestion de nos données On-
Synapse nous permet d'utiliser Apache Spark en tant que Runtime de processing afin de travailler nos différents datasets. Dans cet article, nous allons créer notre premier notebook Spark (et le pool Spark nécessaire) pour transformer nos premières données de la zone bronze pour commencer à alimenter notre zone
Nous avons fait le choix de créer un compte de stockage (ou plusieurs) séparé de celui propre à Synapse pour notre datalake. Et donc, après avoir créé nos différentes ressources (workspace et stockage), il reste une étape importante qui est la "connexion" du stockage au workspace afin de
Architecture Data
Comme tout bon éditeur qui se respecte, Microsoft présente de bonnes pratiques d'implémentation. La documentation proposée est disponible ici : Zones et conteneurs de lac de données - Cloud Adoption Framework | Microsoft Learn Nous allons dans cet article créer les différentes zones de notre Datalake en respectant ces bonnes pratiques
Nous allons dans cette article "installer" la base d'exemple Wide Word Importer de Microsoft, la préparer et l'inspecter un minimum pour pouvoir débuter nos travaux de Datalake.
Dans un précédent article, nous avons installé un runtime d'intégration auto-hébergé permettant le transfert de données locales vers Azure. Nous avions évoqué dans les options avancées, la possibilité de faire de la haute disponibilité pour notre runtime. Nous allons dans cet article configurer la haute disponibilité sur
Notre DataLakeHouse contient physiquement des fichiers de données. Ceux-ci sont organisés, nettoyés, représentent un modèle de donnée défini sur la "dernière" couche et éventuellement de formats différents. Nous pouvons donc lire nos données depuis ces fichiers et travailler dessus pour faire ce que l'on en
Nous allons présenter dans cet article comment mettre à jour notre Dataset Power BI directement depuis Azure Synapse Analytics via un pipeline.
Dans cet article, je vais procéder à l'installation d'un runtime d'intégration "simple" pour Synapse, il n'y a pas de scalabilité ni de haute dispo comme il pourrait être nécessaire en production pour des applications critiques.
Nous allons ici mettre en place la version de code source avec git pour nos développements synapse.
Cet article est le point de départ du projet global qui sera créé le long de plusieurs articles à venir. L'objectif est de créer un datalake autour de la solution intégrée de Microsoft : Synapse Analytiques et d'autres solutions Microsoft / Azures s'imbriquant dans notre besoin.
Pour rappel, nous travaillons à la mise en place d'un datalake/datalakehouse "dans" Azure Synapse Analytics. Ce scénario tourne autour de deux solutions que sont : * Storage account / Data Lake Storage --> le "datalake" * Synapse workspace --> L'environnement de développement et d'