Datenqualitätsmanagement: Was ist das und warum ist es wichtig?

By |2021-09-20T08:36:42+00:00November 10th, 2019|

Daten sind das Lebenselixier eines Unternehmens, das die Grundlage für viele wichtige Geschäftsentscheidungen bildet. Unternehmen sollten jedoch über einen umfassenden Datenqualitätsprozessfluss verfügen, um die Lebensfähigkeit der Daten sicherzustellen, da genaue Daten dazu beitragen können, wertvolle Ergebnisse zu liefern. Um vom explosiven Wachstum von Big Data zu profitieren, müssen Unternehmen daher ein Framework für das Datenqualitätsmanagement einsetzen, bevor sie mit der Gewinnung umsetzbarer Erkenntnisse aus Informationen beginnen können. Ein Rahmen für das Datenqualitätsmanagement gewährleistet Konsistenz, Genauigkeit und Gültigkeit der Daten.

In diesem Artikel wird erläutert, was Datenqualitätsmanagement ist, welche Schritte zur Sicherstellung der Datenqualität erforderlich sind, welche Bewertungsmerkmale für das Datenqualitätsmanagement festgelegt werden, warum das Datenqualitätsmanagement wichtig ist, und es werden Tools für das Datenqualitätsmanagement vorgestellt.

Was ist Datenqualitätsmanagement?

Datenqualitätsmanagement (DQM) bezieht sich auf eine Reihe von Geschäftspraktiken, bei denen die richtigen Mitarbeiter, Prozesse und Technologien eingesetzt werden, um aus den verfügbaren Informationen umsetzbare Erkenntnisse abzuleiten. Ein etabliertes Datenqualitäts- und Integrations-Framework stellt sicher, dass der Datenqualitätsprozessfluss während des gesamten Datenlebenszyklus aufrechterhalten wird.

Beispielsweise legen Benutzer im Rahmen eines Unternehmensplans für das Datenqualitätsmanagement während der gesamten Datenreise zu bestimmte Datenqualitätsprüfungen fest Beseitigen Sie Inkonsistenzen oder Fehler und zuverlässige Daten für Analyse- und Business-Intelligence-Prozesse sicherstellen.

Häufige Gründe für ein schlechtes Datenqualitätsmanagement

Die Forschung zeigt, dass 40 Prozent der Geschäftsinitiativen erreichen ihre Ziele nicht aufgrund von Datenqualitätsproblemen. Daher müssen Datenverwalter die Hauptursachen für eine schlechte Datenqualität identifizieren und einen robusten Datenprofilierungs- und Validierungsplan erstellen, um die Genauigkeit der für die Entscheidungsfindung verwendeten Informationen zu verbessern.

Laut 451 Research sind die drei Hauptgründe für die schlechte Datenqualität:

   1. Manuelle Dateneingabe

Viele Unternehmen verlassen sich darauf, dass ihre Mitarbeiter Daten manuell in Geschäftssysteme einspeisen, was zu Fehlern aufgrund mangelnder Fachkenntnisse, menschlicher Fehler oder der monotonen Natur der Arbeit führt. Andere häufige Folgen einer schlechten Datenqualität und -verwaltung, wie z. B. manuelle Dateneingabe, sind doppelte Datensätze und fehlende Informationen.

   2. Datenmigrations- und -konvertierungsprojekte

Datenmigrationsprojekte beinhalten die Übertragung von Daten zwischen verschiedenen Dateiformaten, Datenbanken und Speichersystemen, was oft zu Duplizierungen oder fehlenden Datensätzen führt. Darüber hinaus beinhaltet die Migration von einem alten Informationssystem zu einem neuen häufig: Konvertieren von Daten in ein kompatibles Format Dies kann zu einer schlechten Datenqualität führen, wenn dies nicht korrekt durchgeführt wird.

   3. Einträge von mehreren Benutzern

In vielen Abteilungen sind mehrere Mitarbeiter in den Prozess der Verarbeitung und Änderung von Daten involviert. Dies kann zu Unstimmigkeiten führen, z. B. zu unterschiedlichen Namen für denselben Lieferanten. Beispielsweise geben einige Mitarbeiter möglicherweise den Namen des Lieferanten als "Dell" ein, während andere möglicherweise "Dell Inc." verwenden. für den gleichen Anbieter.

Dieses Problem lässt sich mit Hilfe von Datenqualitätsprüfungen leicht lösen. DQM-Tools können dabei helfen, automatisch mehrere Datenqualitätsprüfungen für jeden Datensatz hinzuzufügen.

Vorteile des Data Quality Management Framework: Warum ist Datenqualitätsmanagement wichtig?

Hochwertige Daten können den Geschäftsbetrieb verbessern und effizienter und rentabler machen. Einige Vorteile eines Prozesses zur Verbesserung der Datenqualität in jedem Schritt des Geschäftsprozesses sind:

Daten helfen, neue Geschäftschancen zu erkennen und Geschäftsergebnisse zu verbessern

Unternehmensentscheidungen, die auf Qualitätsdaten basieren, führen eher zu positiven Ergebnissen, da Manager ein genaues, aktuelles und vollständiges Bild der wichtigen Datenbestände haben. Darüber hinaus helfen hochwertige Daten den Managern, neue Möglichkeiten zu erkennen und zu nutzen, sodass das Unternehmen wachsen und wettbewerbsfähig bleiben kann.

Zum Beispiel können falsche Finanzinformationen, wie überhöhte Gewinne, zu irreführenden Finanzkennzahlen führen, die häufig verwendet werden, um die Leistung eines Unternehmens in der Vergangenheit zu bewerten. Diese Analyse sollte auf genauen und vertrauenswürdigen Daten basieren, da sie die Grundlage für viele wichtige Entscheidungen wie potenzielle Zielmärkte und Preisänderungen bilden. Ebenso können aktualisierte Finanzdaten dem Unternehmen bei der Entscheidung helfen, welche Marktsegmente rentabler sind, damit Manager neue Wachstumschancen in diesen Bereichen erkunden können.

Datenqualität unterstützt erfolgreiche Datenmigrationen

Eine schlechte Datenqualität ist ein Grund für das Scheitern von Datenmigrationsprojekten, da bei diesen Projekten große Datenmengen in unterschiedlichen Formaten transportiert werden. Ein effizientes Datenqualitätsmanagement ist notwendig, um eine hohe Migrationserfolgsrate zu gewährleisten. Datenqualitätsregeln sollten verwendet werden, um Fehler zu identifizieren und zu korrigieren, bevor die Migration stattfinden kann. Das hilft bei der Durchführung Datenmigration Projekte schneller und mit größerer Genauigkeit.

Um beispielsweise ein einheitliches Repository für Kundendaten zu erstellen, plant ein Unternehmen, von einem dezentralen Informationsspeichersystem auf ein zentrales wie ein Data Warehouse umzusteigen. Zuvor wurden Daten von Mitarbeitern manuell eingegeben und hatten Fehler, einschließlich doppelter Datensätze und fehlender Informationen. Eine effektive Software für das Datenqualitätsmanagement kann dem Unternehmen helfen, diese Fehler zu identifizieren und zu korrigieren, bevor Daten in ein Data Warehouse migriert werden.

Sicherstellung der Datenqualität reduziert Zeit und Kosten der Datenverarbeitung

Gemäß Gartner, kann eine schlechte Datenqualität durchschnittliche finanzielle Auswirkungen von 9.7 Millionen US-Dollar pro Jahr haben. Darüber hinaus bedeuten fehlerhafte Daten, dass falsche Informationen verarbeitet werden, was eine Nacharbeit nach sich ziehen kann. Wenn Unternehmen jedoch ein Datenqualitätsmanagement-Framework in ihren gesamten Geschäftsprozess integrieren, können der Zeit- und Kostenaufwand für Nacharbeiten minimiert werden.

Was sind die Merkmale der Datenqualität?

Ein genau definierter Satz von Bewertungsmetriken für das Datenqualitätsmanagement ist für die Bewertung der Leistung der Datenqualitätsmanagementinitiativen eines Unternehmens von entscheidender Bedeutung. Es hilft festzustellen, ob die Strategie des Datenqualitätsmanagements Früchte trägt, um die organisatorischen Ziele zu erreichen.

Abbildung 1: Abmessungen der Datenqualität

Zu den wichtigsten Dimensionen der Datenqualität gehören:

  • Vollständigkeit gibt an, ob die gesammelten Daten ausreichen, um Schlussfolgerungen zu ziehen. Dies kann beurteilt werden, indem sichergestellt wird, dass in keinem Datensatz Informationen fehlen.
  • Konsistenz stellt sicher, dass die Daten aller Systeme in einer Organisation synchronisiert sind und dieselben Informationen widerspiegeln. Ein Beispiel für konsistente Daten ist das Aufzeichnen des Versanddatums in demselben Datumsformat wie in der Informationstabelle eines Kunden.
  • Genauigkeit impliziert, ob die gesammelten Daten genau das darstellen, was sie sollten. Dies kann daran gemessen werden Quelldaten und validiert gegen benutzerdefinierte Geschäftsregeln.
  • Rechtzeitigkeit bedeutet, dass die Daten wie erwartet verfügbar sind, um eine datengesteuerte Entscheidungsfindung zu erleichtern. Viele Unternehmen nutzen Tools, die die Echtzeit-Datenintegration unterstützen, um aktuelles Geschäftswissen zu erlangen. Es ist jedoch wichtig zu beachten, dass Datenqualität und Integration Hand in Hand gehen. Bevor mit der Datenintegration begonnen wird, müssen die Daten profiliert und bereinigt werden, was wiederum die Entwicklung von Datenmapping und Arbeitsabläufe.
  • Einzigartigkeit Um sicherzustellen, dass keine Duplikate in den Daten vorhanden sind. Das Fehlen eindeutiger Daten kann beispielsweise dazu führen, dass mehrere E-Mails aufgrund von doppelten Datensätzen an einen einzelnen Kunden gesendet werden.
  • Gültigkeit misst, ob die Daten den vom Geschäftsbenutzer festgelegten Standards oder Kriterien entsprechen. Beispielsweise kann ein Unternehmen eine Qualitätsprüfung für Unternehmensdaten in das Feld Bestellmenge einfügen, dh 'Bestellmenge> = 0', da eine negative Bestellmenge ungültige Informationen impliziert.

Was sind DQM-Tools (Data Quality Management)?

DQM-Tools (Data Quality Management) sind Technologien, mit denen Datenfehler identifiziert, verstanden und behoben werden können. DQM-Tools unterstützen Geschäftsentscheidungen und Geschäftsprozesse für eine effiziente Datenverwaltung.

Auswahl von DQM-Tools

Daten bestimmen die Entscheidungsfindung, weshalb das Datenqualitätsmanagement für Unternehmen zu einer Top-Priorität geworden ist. Aufgrund erhöhter Datenmengen und Ungleichheiten kann die manuelle Durchführung des Prozesses jedoch zu Datenqualitätsfehlern und viel Zeit führen. Hier kommen DQM-Tools ins Spiel.

Hier sind einige wichtige Faktoren, die Unternehmen bei der Auswahl des richtigen DQM-Tools berücksichtigen sollten:

  • Datenprofilerstellung und Bereinigungsfunktion

Ein wirksames Instrument für die Datenqualität sollte Folgendes umfassen Datenprofilierung Eigenschaften. Ein DQM-Tool hilft bei der Automatisierung der Identifizierung von Metadaten und bietet eine klare Übersicht über die Quelldaten, um etwaige Unstimmigkeiten zu erkennen.

Darüber hinaus können Datenbereinigungsfunktionen in einem Datenverwaltungstool dazu beitragen, Fehler zu vermeiden und zu beheben, bevor Daten auf ein Ziel geladen werden.

  • Datenqualitätsprüfungen

Die fortschrittliche DQM-Software enthält in den Informationsfluss integrierte Objekte und Regeln zur Überwachung und Meldung von Fehlern, die bei der Datenverarbeitung auftreten können. Sie stellen sicher, dass die verarbeiteten Daten anhand definierter Geschäftsregeln validiert werden, um die Datenintegrität zu gewährleisten.

  • Datenlinienmanagement

Ein DQM-Tool unterstützt die Verwaltung der Datenherkunft, mit deren Hilfe der Informationsfluss gesteuert und analysiert werden kann, indem der Datenursprung und seine Reise beschrieben werden, z. B. die Schritte, in denen die Daten transformiert oder in das Ziel geschrieben wurden.

  • Verbindung zu mehreren Datenquellen

Mit der zunehmenden Vielfalt und Anzahl von Datenquellen ist es entscheidend geworden, interne und externe Datensätze zu bewerten und zu validieren. Daher sollten Unternehmen DQM-Tools auswählen, die Unterstützung für Daten in jedem Format und jeder Komplexität bieten, unabhängig davon, ob sie strukturiert oder unstrukturiert, flach oder hierarchisch, alt oder modern sind.

Erstellen einer zentralen Strategie für das Datenqualitätsmanagement

Die Sicherstellung der Datenqualität ist ein fortlaufender Prozess, der sich an die sich ändernden Anforderungen des Unternehmens anpasst. Dies bedeutet, dass Unternehmen über eine zentralisierte DQM-Strategie mit einem robusten Rahmen verfügen müssen, um die Herausforderungen der Datenqualität zu bewältigen und die Vorteile qualitativ hochwertiger Daten zu nutzen.

Die Frage, die sich Geschäftsanwender oft stellen, lautet: Wie überprüfen Sie die Datenqualität? Wir haben fünf Schritte zur Erstellung einer zentralisierten Datenqualitätsmanagementstrategie aufgelistet:

  • Definieren Sie die wichtigsten Erfolgsziele für das Datenqualitätsprogramm

Dies beinhaltet die Definition der Datenvollständigkeitsmetriken, wie z. B. das Verhältnis von Daten zu Fehlern und der Prozentsatz leerer Datensätze. Dies bietet Benutzern ein klares Verständnis der analysierten Daten und der Dimensionen, einschließlich Vollständigkeit, Einzigartigkeit, Genauigkeit usw., die zur Bewertung der Datenintegrität verwendet werden.

  • Kommunizieren Sie den DQM-Plan organisationsweit

Die Gewährleistung der Datenqualität liegt in der Verantwortung aller Informationsbeteiligten, einschließlich Datenarchitekten, Geschäftsanalysten und IT. Daher sollten die Mitarbeiter die erwarteten Datenmanagement-Level, den geschäftlichen Nutzen der festgelegten Datenmanagement-Standards und die Bewertungsmetriken für die reibungslose Umsetzung der DQM-Strategie kennen.

  • Bewerten Sie eingehende Geschäftsdaten anhand der festgelegten Datenqualitätsparameter

Die Sicherstellung der Unternehmensdatenqualität ist mit einem fortschrittlichen DQM-Tool einfacher, da Benutzer Datenverwaltungsregeln definieren und eingehende Daten anhand vordefinierter Kriterien bewerten können.

  • Analysieren Sie die Datenqualitätsergebnisse und ermitteln Sie die Hauptursachen für fehlerhafte Daten

Nach der Verarbeitung der Daten in der DQM-Software können Anwender die Datenqualität bewerten und die Gründe für vorgemerkte Datensätze ermitteln. Der Screenshot unten zeigt beispielsweise, dass einer der Datensätze aufgrund der falschen E-Mail-Adresse fehlerhaft war.

Abbildung 2: Markierte Datensätze

  • Überwachen und passen Sie die Datenqualitäts-Workflows an die sich ändernden Datenanforderungen an

Benutzer müssen die Datenvalidierungs-Workflows in regelmäßigen Abständen überprüfen, um sicherzustellen, dass die Datenqualitätsregeln mit den allgemeinen Geschäftszielen synchronisiert sind. Dies umfasst auch das Ergreifen der erforderlichen Maßnahmen zur Verbesserung der Datenqualitätsstandards auf der Grundlage früherer Ergebnisse.

Stellen Sie das Datenqualitätsmanagement mit sicher Astera Centerprise 

Astera Centerprise ist eine End-to-End-Datenmanagementlösung, die es Unternehmen ermöglicht, komplexe Datenqualitäts- und Integrationsaufgaben zu erfüllen und gleichzeitig ein robustes Datenqualitätsmanagement sicherzustellen. Die fortschrittlichen Datenprofilierungs- und Datenqualitätsfunktionen ermöglichen es Benutzern, die Integrität kritischer Geschäftsdaten zu messen und Datenintegrationsprojekte in einer agilen, codefreien Umgebung zu beschleunigen.

Willst du herausfinden wie Centerprise kann ein erfolgreiches Qualitätsmanagement für Unternehmensdaten unterstützen? Laden Sie die die kostenlose Testversion. Version und Erfahrung für sich selbst!

Centerprise Datenextraktor-Banner

Referenz:  https://siliconangle.com/files/2016/01/Blazent_State_of_Data_Quality_Management_2016.pdf