Besprechen Sie die Vergangenheit, Gegenwart und Zukunft des Data Warehousing mit dem BI-Experten Paul Kellett

Da rampen wir auf die Veröffentlichung von Astera DW-BuilderWir möchten den Lesern einen Einblick geben, wie sie ihre BI-Architekturen schneller, agiler und letztendlich besser an die Anforderungen der heutigen Datenumgebung mit hohem Volumen und hoher Geschwindigkeit anpassen können.

Wenn es darum geht, effektive Data Warehousing-Lösungen zu erstellen und zu implementieren, können sich nur wenige Menschen mit den erforderlichen Anmeldeinformationen rühmen Paul Kellett bringt auf den Tisch. Mit 25 Jahren Erfahrung in einer Vielzahl von Projekten für Unternehmen auf allen Ebenen hat Paul aus erster Hand gesehen, wie Kunden auf den ständig wachsenden Bedarf an Business Intelligence in ihrem Unternehmen reagiert haben.

Paul Kellett (Data Warehousing-Experte)

In diesem weitreichenden Gespräch nutzten wir die Gelegenheit, um einige von Pauls offenen Gedanken zu Themen wie - dem aktuellen Stand der Unternehmens-BI, wie - zu erhalten Automatisierung kann die Entwicklung von Data Warehouse beschleunigen und sieht, wie die Branche in den nächsten Jahren voranschreitet.

Was sind Ihrer Meinung nach die wichtigsten Entwicklungen, die Sie in Enterprise BI gesehen haben, seit Sie in diesem Bereich angefangen haben?

Ich habe vor mehr als 25 Jahren in dieser Branche mit dem sogenannten MIS (Management Information Systems) angefangen und hauptsächlich in Datenbankprojekten gearbeitet. Seitdem war ich an verschiedenen BI-Projekten beteiligt, von Unternehmen über Abteilungen bis hin zu KMU.

Wenn ich über die wichtigsten Änderungen sprechen würde, die ich in dieser Zeit gesehen habe, würde ich ein viel größeres Bewusstsein [für die Bedeutung von BI], ein größeres Datenvolumen, eine größere Komplexität in Bezug auf Daten und eine verbesserte unterstützende Technologie sagen. Während zugrunde liegende Kosten und Komplexität sind dEs gibt immer noch einen Weg dorthin. [Ich denke, die] visuelle Seite von BI hat sich ebenfalls erheblich verbessert.

Was sind einige der häufigsten Anwendungsfälle für Data Warehousing, die Sie sehen?

Die Vielfalt der Anwendungsfälle ist überraschend breit, aber die typischsten sind Greenfield-Umgebungen Wenn eine Organisation beschlossen hat, BI- oder Ersatzszenarien für vorhandene Lösungen zu implementieren. Der Austausch wird normalerweise durch eine schlechte / fehlgeschlagene vorhandene Lösung vorangetrieben (was überraschenderweise der Fall ist alltäglich) oder Austausch von Kernquellendatensystemen. Es gibt auch eine Vielzahl von Anwendungsfällen, in denen Elemente einer Lösung vollständig ersetzt werden, z. B. das Ersetzen von handcodierter ETL durch ein ETL-Tool. Letzteres ist tendenziell inkrementeller.

Glauben Sie, dass jedes Unternehmen von einem Data Warehouse profitieren könnte?

Ein echtes Data Warehouse ist nicht jedermanns Sache, aber ich habe noch keine Organisation gefunden, die die Verwendung von Daten und Informationen nicht verbessern könnte.

Eine EDW kann eine bedeutende Investition sein. Daher erfordert die [erfolgreiche Implementierung von] BI normalerweise kulturelle Änderungen in der Art und Weise, wie das Unternehmen Daten verwendet. Einer der gemeinsamen Wege zu „True BI“ führt über Data Marts, Abteilungslösungen und verbesserte Berichterstellung, wobei jede nachfolgende Implementierung die Datennutzung des Unternehmens verbessert. In vielen Fällen liegt eine EDW am Ende dieser Straße.

Ironischerweise häufig größere Unternehmen enden mit Datenmausoleen, die Engpassdaten lieferny. [Diese Architekturen] werden häufig von bestimmten Geschäftsbereichen überfordert und unterstützen daher das breitere Geschäft im Gegensatz zu einer echten Unternehmenslösung [wie einem Data Warehouse] nur schlecht. Die Lösung besteht darin, mehr Data Marts zu erstellen, um verschiedene Geschäftselemente zu unterstützen. Diese Daten sollten dann in das zentrale Data Warehouse integriert werden.

Gibt es bestimmte Faktoren, nach denen Sie suchen würden, wenn Sie einem Kunden eine EDW empfehlen?

Ich suche ein Unternehmen mit dem Appetit, sein Datenbewusstsein zu verbessern, da sich daraus alles ergeben sollte. Ich empfehle nach Möglichkeit einen abgestuften Ansatz. Das Endspiel könnte durchaus ein Data Warehouse sein, aber es ist wichtig, dass die Geschäftsvorteile schrittweise bereitgestellt werden.

Was sind einige der wichtigsten Herausforderungen, die sich während des Data Warehouse-Entwicklungsprozesses ergeben?

Wahrscheinlich macht der Zugriff auf und das Verständnis von Daten… dieser Teil immer Spaß. Es kann auch eine schwierige Aufgabe sein, Unternehmen für diesen Ansatz zu gewinnen. Eine weitere Einschränkung, auf die ich stoße, ist der fehlende Zugang zu BI-Fachleuten, die sowohl die Technologie verstehen als auch mit dem Unternehmen sprechen können.

Was ist Ihrer Meinung nach der wichtigste Schritt, um während der Data Warehouse-Entwicklung das Richtige zu tun? Quelldaten extrahieren? Daten modellieren? ETL-Prozesse erstellen?

Der wichtigste Teil ist das Ergebnis. Die Daten müssen in einer Form vorliegen, die BI unterstützt. In erster Linie bedeutet dies, dass Daten keine Informationen verlieren und in einer für das Unternehmen relevanten Weise verfügbar sind.

Es gibt viele Möglichkeiten, um an diesen Punkt zu gelangen, aber es ist das Ziel, das am wichtigsten ist. Allerdings ist das Ziel in BI häufig von Anfang an unklar. Daher ist die Fähigkeit, das Endergebnis basierend auf Erkenntnissen und geschäftlichem Feedback schnell anzupassen, von größter Bedeutung. Dies setzt einen effektiven und schnellen Datenlieferungsmechanismus sowie ein leistungsfähiges Präsentationstool [am Frontend] voraus.

Was halten Sie von Architekturen wie dem Data Lake oder dem Data Vault? Sind Alternativen zum Data Warehouse, ergänzende Lösungen oder nur viel Hype?

Im Allgemeinen sind diese komplementär und nicht Kern. Data Lakes sind in der Regel viel billiger und einfacher zu implementieren. Das Konzept der Datenseen ist relativ gut etabliert und wurde in jüngster Zeit wirklich umbenannt. Es könnte vor mehr als 20 Jahren als Operational Data Store (ODS) bezeichnet worden sein. Ich erstelle häufig einen unsichtbaren Datensee als Teil einer Data Warehouse-Lösung. Unsichtbar, da ich seine Existenz nicht als Datensee veröffentliche, da dies Vorteile in Bezug auf Flexibilität und Überprüfbarkeit bietet. Ein Datensee kann auch eine billige Zwischenstufe für eine umfassendere BI-Lösung sein, z Es ermöglicht eine verbesserte Berichterstellung.

Ein Datentresor ist viel mehr eine IT-gesteuerte Komponente. Formaler und strukturierter, und IMO ist aufgrund der zusätzlichen Kosten und Zeiträume, die es zu einer Lösung hinzufügt, weniger häufig zu rechtfertigen. Wenn zusätzlich zum DW gemeinsame Daten in vielen Anwendungen gemeinsam genutzt werden müssen, ist dies gerechtfertigt.

Welche Rolle spielen Ihrer Meinung nach Data Warehouse-Automatisierungstools bei der Beschleunigung und Rationalisierung der Data Warehouse-Entwicklung?

Enorm. Immens. Fest. Soll ich weitermachen Zu häufig ist ein Data Warehouse ein monolithisches Projekt vom Typ Wasserfall, bei dem wir Techno-Nerds für einen längeren Zeitraum in einem Raum eingesperrt sind und gebeten werden, eine bestmögliche Lösung für die Anforderungen des Unternehmens zu finden. Ja, ich übertreibe, aber der Prozess muss schnell und inkrementell sein, mit häufigen kurzen Überprüfungs- / Überarbeitungszyklen die sich mit dem Geschäft beschäftigen. Mit anderen Worten, Data Warehousing muss wirklich agil werden.

Aus früheren Erfahrungen wissen wir, dass die Aufteilung eines DW in viele mundgerechte Teile das Risiko verringert, die Lieferqualität verbessert und das Engagement für das Unternehmen verbessert. Dies ist mit geeigneten Automatisierungstools viel einfacher.

Eine andere Sichtweise ist der ROI. In der typischen DW macht die Datenaufbereitungsseite den größten Teil der Kosten aus. Die Reduzierung dieser Ausgaben durch eine ordnungsgemäße datenorientierte Automatisierung hat viele Vorteile, da die Lieferung schneller und von besserer Qualität ist Daten zur Senkung der Eintrittsbarriere. 

Eine verbesserte Qualität ist offensichtlich ein entscheidender Vorteil der Automatisierung, da die Menge, die maßgeschneidert, komplexer und anfällig für Probleme ist, mit einem geeigneten Tool drastisch reduziert wird.

Welche Features / Funktionen sind Ihrer Meinung nach für ein effektives Data Warehouse-Automatisierungstool unerlässlich?

Die wiederholbaren Aufgaben zB Fehlerbehandlung, Prüfung, Erstellung von SCDsusw. müssen sehr einfach und robust sein. Es gibt viele sich wiederholende Aufgaben in einem DW-Build. Die Integration in Quellsysteme und das Zielmodell muss stark sein. Für die Wartung und agile Bereitstellung ist die Fähigkeit, Abhängigkeitsanalysen durchzuführen, um die Verarbeitung zu verstehen, sehr wichtig.

Denken Sie, dass Cloud Data Warehouses lokale EDWs ersetzen werden? Oder sehen Sie das Data Warehouse-Hybridmodell häufiger?

Nicht sicher. Ich sehe einen allgemeinen Schritt zu Off-Premise-DWs, da diese eine größere Flexibilität bieten, aber diese [Cloud-Bereitstellung] ist nicht ohne Herausforderungen. Wahrscheinlich werden alle drei mit einem größeren Anteil an Cloud-DWs gemeinsam sein als vor Ort.

Wo sehen Sie die Branche in den nächsten fünf Jahren?

Die "sexy" Elemente von BI, wie KI-gesteuerte Analysen und leistungsfähigere Visualisierungen, erhalten den größten Fokus. Diese Elemente werden wahrscheinlich weiterhin den Raum dominieren. Ich sehe jedoch eine stille Revolution auf der Seite der Datenlieferung. Da die Verfügbarkeit von Daten immer wichtiger wird, da Unternehmen erkennen, dass dies normalerweise die größten Kosten sind.

Werfen Sie einen Blick aus erster Hand auf die Zukunft des Data Warehousing

Die Zeit für die Modernisierung Ihres Unternehmens-BI ist jetzt gekommen. Mit Astera Mit DW Builder können Sie eine vollständige End-to-End-Plattform nutzen, die verspricht, das Design, die Entwicklung und die Bereitstellung Ihres EDW-Blitzes schnell zu gestalten. Finden Sie heraus, wie wir Ihren Anwendungsfall unterstützen können. Kontaktieren Sie unsere technischen Experten heute.