12.10.2023 Babenhausen - Oft haben IT-Chefs Probleme bei der raschen Bereitstellung von „Big Data“. Es hapert vor allem an der Integration großer Datenmengen aus unterschiedlichen Quellen, an der Bereinigung und Konsolidierung dieser Daten und auch an der Maskierung bzw. Anonymisierung aller in den Daten enthaltenen personenbezogenen Informationen.
„Ohne diese Vorkehrungen bleibt die Nutzung von ‚Big Data‘ für innovative Analyse-, Visualisierungs- oder KI-Plattformen ein Wunschtraum“, sagt Amadeus Thomas, Geschäftsführer der Jet-Software GmbH, Babenhausen. „Nur die direkte Bereitstellung von ‚Big Data‘ erlaubt die Echtzeit-Auswertung von Sensordaten im Sinne von Industrie 4.0 oder die Realtime-Reaktion auf Kundenanforderungen im E-Commerce.“
Vereinfachte Form der Datenvirtualisierung
Abhilfe schaffen will Thomas mit der Tool-Suite Voracity des Partners Innovative Routines International (IRI) aus Florida. Voracity bietet eine vereinfachte Form der Datenvirtualisierung für den direkten Zugriff auf die passende Datenquelle. Weil ein einziger Satz gemeinsamer Metadaten sowohl Virtualisierung als auch Offline-Verarbeitung unterstütze, so Thomas, werde Beschaffung, Bereinigung und Integration auch sehr großer Datenmengen viel einfacher.
Weil die Datenmanagement-Plattform Voracity die Daten nicht nur bündelt, sondern auch filtert und schützt, können mehrere Batch- oder Echtzeitziele auf einmal produziert werden, einschließlich:
- Operational Data Stores (ODS), Data Warehouses und Data-Mart-Datenbanken (vorsortiert)
- Flat-Files für den Einsatz in ETL-Tools, ETL-Applikationen und Hadoop-Datenbanken
- Piped, Prozedur oder Brokered (MQTT/Kafka) In-Memory-Daten-Feeds
- 2D-Berichte, föderierte Ansichten oder Birt-Diagramme in Eclipse
- Prädiktiven Analyse, Datenwissenschafts- und Deep-Learning-Knoten in Knime (Der „Konstanz Information Miner“ ist eine freie Software für die interaktive Datenanalyse)
- Data Wrangling für BI, Data Mining und Analyse-Tools wie Cognos, iDashboards, Knime, Microstrategy, Oracle Data Visualization + Business Intelligence Enterprise Edition, Power BI, Qlikview, R, SAP-Software Business Objects, Spotfire, Splunk oder Tableau..
- maskierte Produktions- oder synthetische und intelligente Testdatenziele.
Zentralisierung der Metadaten
Voracity externalisiert die Datenaufbereitung und -bereitstellung in unterschiedlichen Dateisystemen oder Apache Hadoop. „Was auch immer das Unternehmen konfiguriert hat, wird jetzt zu einem schnelleren, kostengünstigeren Speicherplatz werden, um die Verarbeitung großer Datenmengen zu realisieren und zu skalieren“, verspricht Geschäftsführer Amadeus Thomas. „Gleichzeitig trennt Voracity mit seinen einfachen, zentralisierten Metadaten alle Daten von den Anwendungssystemen und wird so zu einer Produktionsanalyseplattform.“ Was das konkret heißt, macht Thomas an einigen typischen Beispielen deutlich:
- Keine Auswirkungen auf die Produktion, dazu erhebliche Zeit- und Kosteneinsparungen!
- Die schwierigen Transformationsaufgaben betreffen weder die Produktionsdatenbank noch die Anwendungen und die BI-Tools/Schichten, sondern können darauf aufsetzen
- Saubere, sichere und vorformatierte Daten werden wahlweise in Form von Dateien, Tabellen, Pipelines oder Prozessen an die Ziele gebracht, an denen diese Daten benötigt werden – und zwar genau dann, wenn sie sie benötigt werden
- Voracity verhindert die typischen Speicher- und Synchronisationsprobleme, die normalerweise mit der Verwendung redundanter Kopien der Daten verbunden sind
- Chirurgisch genaues Auswählen und Einfügen von Daten mithilfe von SQL-kompatibler Query- und Update-Befehle innerhalb von SortCL-Aufträgen, um die Datenflüsse gemäß der Geschäftsregeln zu steuern
- Mehr Transparenz und Qualität durch zusätzliche bzw. aktuellere Daten
- Alle Jobs laufen auf jeder Plattform und nach den Zeitplänen, die zentral definierten und automatisierten Bedingungen unterliegen. So werden auch die üblichen Verzögerungen bei Data-Warehouse- und Data-Mart-Updates vermieden, die bei manueller Bereitstellung der Daten unvermeidbar sind.
- Daten für prädiktive Analysen vorbereiten.