Datemaskierung von Azure Databricks Delta Lake: Innovative Routines International hat die Plattform IRI Voracity sowie das Datenmaskierungstool IRI FieldShield um die native Unterstützung von Azure Databricks Delta-Tabellen erweitert. Unternehmen können damit sensible Daten in modernen Lakehouse-Umgebungen direkt identifizieren, klassifizieren, maskieren und transformieren, ohne die Daten exportieren oder in andere Formate konvertieren zu müssen.
Delta Lake bildet die Standard-Speicherschicht von Azure Databricks und ist die Grundlage moderner Lakehouse-Architekturen. Als Open-Source-Technologie erweitert Delta Lake das Parquet-Dateiformat um ein Transaktionsprotokoll, das ACID-konforme Transaktionen, eine zuverlässige Metadatenverwaltung und eine hohe Skalierbarkeit ermöglicht. Durch die vollständige Integration mit Apache Spark und Structured Streaming lassen sich dieselben Daten sowohl für Batch- als auch für Echtzeitverarbeitung nutzen. Funktionen wie Schemaerzwingung, Versionierung ("Time Travel") und leistungsstarke Analysefunktionen sorgen dabei für eine konsistente und performante Datenverarbeitung.
Mit der neuen Integration kann IRI FieldShield sensible Daten – darunter personenbezogene Daten (PII), Gesundheitsdaten (PHI) und Finanzinformationen – direkt in Delta-Lake-Tabellen schützen. Die Verarbeitung erfolgt auf Daten, die in Azure Data Lake Storage gespeichert und über Azure Databricks verwaltet werden. Dabei bleiben Performance, Zuverlässigkeit und Skalierbarkeit auch bei großen Datenmengen erhalten.
Darüber hinaus unterstützt IRI FieldShield den dreistufigen Unity Catalog von Databricks (Katalog, Schema und Tabelle). Dadurch können sensible Daten zentral über gesamte Lakehouse-Umgebungen hinweg identifiziert und abgesichert werden – sowohl in Batch- als auch in Streaming-Workloads. Gleichzeitig bleiben die Governance-, Integritäts- und Konsistenzfunktionen von Delta Lake vollständig erhalten.
Zu den wichtigsten Vorteilen der neuen Integration zählen:
- Native Datenmaskierung für Delta-Lake-Tabellen ohne Datenexport oder Formatkonvertierung
- Schutz sensibler Daten direkt innerhalb der Lakehouse-Umgebung
- Erhaltung von ACID-Transaktionen und Schemaerzwingung während der Datenverarbeitung
- Hochperformante Verarbeitung großer analytischer Datenbestände
- Unterstützung von Batch- und Streaming-Anwendungen in Azure Databricks
- Zentrale Identifizierung und Absicherung sensibler Daten über den Unity Catalog
Mit dieser Erweiterung stärkt IRI den Schutz cloudnativer Datenplattformen und unterstützt Unternehmen dabei, regulatorische Anforderungen wie die DSGVO (GDPR), HIPAA, PCI DSS und CPRA einzuhalten. Gleichzeitig profitieren Datenanalyse-, KI- und Data-Engineering-Projekte von einer sicheren und leistungsfähigen Grundlage für die Verarbeitung sensibler Daten in modernen Lakehouse-Architekturen.
Effizienz trifft Erfahrung: Seit mehr als vier Jahrzehnten unterstützen unsere Softwarelösungen Unternehmen bei Datenmanagement und Datenschutz – technologisch führend, zuverlässig im produktiven Einsatz und branchenübergreifend einsetzbar.
Seit 1978 im Einsatz: Zahlreiche namhafte Unternehmen, Dienstleister, Finanzinstitute sowie Landes- und Bundesbehörden zählen zu unseren langjährigen Kunden – nationale Referenzen sind hier gelistet und internationale Referenzen sind hier zusammengefasst.
Maximale Kompatibilität: Unsere Software unterstützt sowohl klassische Mainframe-Plattformen (Fujitsu BS2000/OSD, IBM z/OS, z/VSE, z/Linux) als auch moderne Open-System-Umgebungen wie Linux, UNIX-Derivate und Windows.
Mit der neuen Integration kann IRI FieldShield sensible Daten – darunter personenbezogene Daten (PII), Gesundheitsdaten (PHI) und Finanzinformationen – direkt in Delta-Lake-Tabellen schützen. Die Verarbeitung erfolgt auf Daten, die in Azure Data Lake Storage gespeichert und über Azure Databricks verwaltet werden. Dabei bleiben Performance, Zuverlässigkeit und Skalierbarkeit auch bei großen Datenmengen erhalten!