La plateforme de données HelloDATA combine l’agilité de l’open source et la fiabilité des solutions d’entreprise. Elle regroupe votre flux de données dans un seul portail accessible.

HelloDATA a été développée en collaboration avec la direction de la santé et l’office cantonal de l’informatique et d’organisation du canton de Berne et mise en ligne sur GitHub par ce même canton. Ainsi, HelloDATA est parfaitement adaptée aux besoins de l’administration publique.

Dans le portail HelloDATA, les outils individuels open source sont réunis en une solution globale, ce qui permet d’accéder à tous les outils de manière uniforme. Les fonctions de base intégrées comprennent entre autres:
  • Modèles de données avec dbt Lineage: toutes les sources et transactions de données qui mènent à un tableau, présentées de manière claire et compréhensible.
  • Aperçu des traitements de données en cours: pour chaque tableau de bord, il est possible de savoir quand les données ont été traitées pour la dernière fois.
  • Création et partage des rapports etdes tableaux de bord à l’échelle de l’entreprise.
  • Vos tableaux de données sontreprésentés sous forme de data marts: les tableaux physiques, les colonnes etles schémas peuvent ainsi être consultés.
  • Surveillance et contrôle centralisésde tous les processus et pipelines de données.
  • Gestion uniforme des utilisateurs etdéfinition/attribution des rôles au sein du portail.

Grâce à ces trois étapes centrales, HelloDATA transformeen un clin d’œil vos données brutes en connaissances adaptées auxdestinataires, pertinentes et exploitables.


Extraction des données, indépendamment de leur origine

Préparation des données orientée vers les requêtes:

Une visualisation adaptée aux besoins
1. Extraction des données, indépendamment de leur origine:
Aujourd’hui, les données sont collectées et stockées dans différentes applications et bases de données. Pour pouvoir en tirer des résultats intéressants et donc souvent complexes, plusieurs jeux de données sont généralement nécessaires. HelloDATA propose des possibilités de connexion pour toutes les technologies d’interface courantes. Nos experts peuvent également vous aider à développer une définition d’interface qui garantit une sécurité totale à tout moment. Ainsi, les données de n’importe quelle application spécialisée ou base de données sont disponibles pour une valeur ajoutée supplémentaire.

2. Préparation des données orientée vers les requêtes:
En tant que colonne vertébrale de lachaîne de valeur, l’entrepôt de données (DWH), basé sur dbt, prépare les données de manière àen tirer des connaissances supplémentaires. Une modélisation moderne de l’entrepôtde données Data Vault 2.0 offre une maintenance, une évolutivité, une intégrité, un versioning et une historisation garantis des données, même en cas decomplexité croissante. L’orchestration de ces tâches se fait avec Airflow. Notre documentation DWH mise à jour automatiquement offre une visualisationcompréhensible et interactive de toutes les références et transformations dedonnées. Ainsi, les différentes étapes de transformation sont présentées demanière compréhensible et les dépendances entre les données, les tableaux etles KPI sont visibles en un coup d’œil.
‍
3. Une visualisation adaptée aux besoins:
Avec HelloDATA, les connaissances invisibles deviennent visibles et le potentiel des données est exploité. Les analyses sont présentées dans des tableaux de bord compréhensibles dans l’outil de visualisation Superset et permettent ainsi de recourir aux informations existantes des applications spécialisées. Les visualisations sont claires et attrayantes. Les tableaux de bord interactifs permettent d’explorer les relations et de se plonger dans différents thèmes. Pour cela, HelloDATA offre une large palette de possibilités de visualisation, notamment des cartes de communes ou de districts, des séries chronologiques, des diagrammes et des tableaux. Les collaboratrices et collaborateurs peuvent consulter les données et les relations qui en résultent et les autoriser via un navigateur sur HelloDATA, puis en tirer les conclusions qui s’imposent.

Transformations efficaces des données dans l’entrepôt de données

Lestransformations de données au sein du DWH sont définies par des modèles dedonnées et consistent en des scripts SQL. Chaque modèle de données génère untableau ou une vue dans le Data Mart. dbt consiste en la combinaison de SQL avec Jinja et offre ainsi plusieurs fonctionnalitésqui facilitent le développement et la maintenance des modèles de données. Avec Data Vault 2.0, la maintenance, l’intégrité des données, les versions et l’historisationpeuvent être assurées malgré la complexité croissante.  
‍

Une autrefonction offerte par dbt est la création automatique de graphiques de linéairesqui permettent de suivre toutes les étapes de transaction précédentes d’untableau de données de manière clairement visualisée.
‍

Avec Airflow l'ensemble du processus de transformationdes données est orchestré. Les tâches individuelles du pipeline d’ingénieriedes données sont programmées dans des scripts Python et, grâce à Airflow, ellessont présentées en détail avec l’état, les moments et la durée d’exécution, etplus encore.
‍

DansHelloDATA, nous utilisons ELT (Extract Load Transform) au lieu de l’ETL habituel, pour:
  • charger le moins possible les systèmes sources (souvent des bases dedonnées productives),
  • exécuter les transformations au sein du Datawarehouse (DWH) indépendamment de l’extraction et de la charge et
  • gérer les transformations en DBT avec SQL de manière lisible etcontrôlable en termes de version.
    ‍

Avec Superset, nous disposons d’un outil puissant pour l’analyse et la visualisation desdonnées. Celui-ci convient aussi bien comme outil BI en libre-service que pourle développement individuel de tableaux de bord. Dans Superset, les éléments d’unebase de données (dans notre cas, les data marts spécifiques au projet du DWH) peuvent être exposés directement en tant que sets de données ou importésindividuellement à l’aide du SQL Lab intégré par des requêtes SQL sur mesure.Les ensembles de données peuvent être préparés et représentés visuellement dansdes graphiques. Divers types de graphiques sont disponibles, par exemple des barplots, des séries de lignes de temps, des tachymètres, des graphiques de réseau, ou des visualisationsde cartes (basées sur deck.gl). Les graphiques peuvent être intégrés dans destableaux de bord et y être organisés et présentés de manière visuellementattrayante avec des éléments de style tels que des onglets et des grilles d’organisation. De plus, ils offrent différentes options de filtrage qui permettent auxutilisateurs de consulter les graphiques de manière individuelle et d’explorerles ensembles de données sous-jacents.
‍