HelloDATA wurde gemeinsam mit der Gesundheitsdirektion und dem kantonalen Amt für Informatik und Organisation für den Kanton Bern entwickelt und durch den Kanton Bern auf GitHub gestellt. Dadurch ist HelloDATA optimal auf die Bedürfnisse der öffentlichen Verwaltung ausgerichtet.
Im HelloDATA-Portal werden die individuellen Open-Source-Tools zu einer Gesamtlösung kombiniert, was Ihnen einen einheitlichen Zugriff auf alle Tools ermöglicht. Inkludierte Basisfeatures umfassen unter anderem:
Die Datenplattform HelloDATA verbindet die Agilität von Open Source mit der Zuverlässigkeit einer Unternehmenslösung und bündelt Ihren Daten-Workflow in einem einzigen zugänglichen Portal.
- Data Models mit dbt Lineage: Alle Datenquellen und -transaktionen, welche zu einer Tabelle führen, übersichtlich und nachvollziehbar dargestellt
- Übersicht der laufenden Datenverarbeitungen: Für jedes Dashboard kann nachvollzogen werden, wann die Daten letztmalig aufbereitet wurden
- Kreieren und teilen sie unternehmensweite Reports und Dashbaords
- Ihre Datentabellen werden in Form von Data Marts dargestellt: physikalische Tabellen, Spalten und Schemas sind so einsehbar
- Zentrale Überwachung und Steuerung aller Prozesse und Datenpipelines
- Einheitliche Userverwaltung und Rollendefinition/ -vergabe innerhalb des Portals
Mit diesen drei zentralen Schritten verwandelt HelloDATA Ihre Rohdaten im Handumdrehen in empfängergerechte, aussagekräftige und verwertbare Erkenntnisse
Extrahierung der Daten, unabhängig der Herkunft
Abfrageorientierte Aufbereitung der Daten
Bedarfsgerechte Visualisierung
1. Herkunftsunabhängige Extrahierung der Daten:
Daten werden heute in unterschiedlichsten Applikationen und Datenbanken erfasst und abgelegt. Damit daraus interessante und damit oft auch komplexe Ergebnisse abgeleitet werden können, braucht es zumeist eine Kombination mehrerer Datensätze. HelloDATA bietet dazu Anbindungsmöglichkeiten für alle geläufigen Schnittstellentechnologien an. Unsere Experten unterstützen zudem gerne bei der Entwicklung einer Schnittstellendefinition, die jederzeit vollständige Sicherheit gewährleistet. Damit werden die Daten beliebiger Fachapplikationen oder Datenbanken startklar für eine zusätzliche Wertschöpfung.
2. Abfrageorientierte Aufbereitung der Daten:
Als Rückgrat der Wertschöpfungskette bereitet das Datawarehouse (DWH), basierend auf dbt die Daten so auf, dass daraus zusätzliche Erkenntnisse resultieren. Eine moderne Data-Warehouse-Modellierung nach Data Vault 2.0 bietet Wart- und Skalierbarkeit sowie gesicherte Integrität, Versionierung und Historisierung der Daten – auch bei zunehmender Komplexität. Die Orchestrierung dieser Tasks geschieht mit Airflow. Unsere automatisch aktualisierte DWH-Dokumentation bietet eine verständliche und interaktive Visualisierung zu allen Datenbezügen/-transformationen. Damit werden die einzelnen Transformationsschritte nachvollziehbar aufgezeigt und Abhängigkeiten zwischen Daten, Tabellen und KPIs auf einen Blick ersichtlich.
3. Bedarfsgerechte Visualisierung:
Mit HelloDATA wird verborgenes Wissen sichtbar und das Potenzial der Daten ausgeschöpft. Analysen werden im Visualisierungswerkzeug Superset in verständlichen Dashboards dargestellt und machen so die vorhandenen Informationen aus den Fachapplikationen nutzbar. Die Visualisierungen sind übersichtlich und ansprechend gestaltet. Interaktive Dashboards ermöglichen es, Zusammenhänge zu erkunden und in verschiedene Fokusthemen einzutauchen. Dafür bietet HelloDATA eine breite Palette an Visualisierungsmöglichkeiten, u.a. Gemeinde- oder Bezirkskarten, Zeitserien, Diagramme und Tabellen. Die daraus resultierenden Daten und Zusammenhänge können interessierte und berechtigte Mitarbeiter via Browser auf HelloDATA anschauen und entsprechende Schlüsse daraus ziehen.
Effiziente Datentransformationen im Data Warehouse
Die Datentransformationen innerhalb des DWH werden durch Datenmodelle definiert und bestehen aus SQL-Skripts. Jedes Datenmodell generiert eine Tabelle oder eine View im Data Mart. dbt besteht aus der Kombination von SQL mit Jinja und bietet dadurch einige Features, welche die Entwicklung und den Unterhalt von Datenmodellen erleichtern. Mit Data Vault 2.0 können Wartung, Datenintegrität, Versionierungen und Historisierung trotz steigender Komplexität sichergestellt werden.
Ein weiteres Feature, welches dbt anbietet, sind die automatisch erstellten Lineage Graphs, welche es erlauben, alle vorangegangenen Transaktionsschritte einer Datentabelle übersichtlich visualisiert nachzuverfolgen. So besteht jederzeit Transparenz über die Herkunft und Verbindung der anzuzeigenden Daten.
Mit Airflow wird der gesamte Datentransformationsprozess orchestriert. Einzelne Tasks der Data Engineering Pipeline werden in Python-Skripts programmiert und dank Airflow detailliert dargestellt mit Ausführungsstatus, Ausführungszeitpunkten, Ausführungsdauer und mehr.
In HelloDATA verwenden wir ELT (extract, load, transform) statt des üblichen ETL, um:
- die Quellsysteme (oft produktive Datenbanken) möglichst wenig zu belasten,
- die Transformationen innerhalb des Datawarehouse (DWH) unabhängig von Extraction und Load ausführen zu können und
- die Transformationen in DBT mit SQL lesbar und versionskontrollierbar führen zu können.
Mit Superset haben wir ein mächtiges Tool für die Datenanalyse und Datenvisualisierung. Dieses eignet sich sowohl als Self-Service-BI-Tool als auch für die Individualentwicklung von Dashboards. In Superset können Daten aus einer Datenbank (in unserem Fall die projektspezifischen Data Marts des DWH) direkt als Datasets exponiert werden oder anhand des eingebauten SQL Labs durch massgeschneiderte SQL-Abfragen individuell importiert werden. Datasets können in Charts visuell aufbereitet und dargestellt werden. Es stehen diverse Chart-Typen zur Verfügung, z.B. Barplots, Timeline-Series, Tachometer, Netzwerk-Graphs, Kartenvisualisierungen (deck.gl-basiert). Die Charts wiederum können in Dashboards integriert und dort mit Stilelementen wie Register-Tabs und Anordnungsraster visuell ansprechend organisiert und präsentiert werden. Zudem bieten Dashboards unterschiedliche Filteroptionen, mit denen Benutzer mit Charts interagieren und so die dahinterliegenden Datasets explorieren können.
