Wat is datawarehousing? Concepten, functies en voorbeelden

In de huidige zakelijke omgeving moet een organisatie beschikken over betrouwbare rapportage en analyse van grote hoeveelheden gegevens. Bedrijven moeten hun gegevens verzamelen en integreren voor verschillende aggregatieniveaus, van klantenservice tot partnerintegratie tot zakelijke beslissingen op het hoogste niveau. Dit is waar datawarehousing een rol speelt om rapportage en analyse eenvoudiger te maken. Deze toename van data leidt op zijn beurt tot een toename van het gebruik van data warehouses om bedrijfsgegevens te beheren.

Om het belang van gegevensopslag te begrijpen, gaan we eens kijken naar de belangrijke concepten voor datawarehousing.

Wat is datawarehousing?

Data Warehousing is het proces van het verzamelen, organiseren en beheren van gegevens uit ongelijksoortige gegevensbronnen om betekenisvolle zakelijke inzichten en prognoses te bieden aan de respectieve gebruikers.

Gegevens die in de DWH zijn opgeslagen, verschillen van gegevens die in de operationele omgeving worden aangetroffen. Het is zo georganiseerd dat relevante gegevens worden geclusterd om de dagelijkse werkzaamheden, gegevensanalyse en rapportage te vergemakkelijken. Dit helpt bij het bepalen van de trends in de loop van de tijd en stelt gebruikers in staat plannen te maken op basis van die informatie. Dit versterkt dus het belang van het gebruik van datawarehouses voor zakelijke besluitvormers.

Benaderingen van het combineren van heterogene databases

Er zijn twee populaire benaderingen om verschillende databases te integreren:

• Zoekopdrachtgestuurd: Een querygestuurde aanpak bij datawarehousing is traditioneel bij het creëren van integrators en wrappers bovenop verschillende databases.
• Update-gedreven: Een updategestuurde benadering voor het integreren van gegevens is een alternatief voor de querygestuurde benadering en wordt tegenwoordig vaker gebruikt. Bij deze aanpak worden de gegevens uit diverse bronnen vooraf gecombineerd of geïntegreerd en opgeslagen in een datawarehouse. Later kunnen medewerkers toegang krijgen tot deze gegevens voor bevraging en gegevensanalyse.

Datawarehouse-architectuur

A datawarehouse-architectuur gebruikt dimensionale modellen om de beste techniek te identificeren voor het extraheren en vertalen van informatie uit ruwe gegevens. Bij het ontwerpen van een real-time datawarehouse op bedrijfsniveau moet u echter rekening houden met drie hoofdtypen architectuur.

1. Architectuur met één laag
2. Architectuur op twee niveaus
3. Architectuur op drie niveaus

Het inschakelen van de functies

De belangrijkste kenmerken van een datawarehouse zijn onder meer:

• Onderwerpgericht: Het biedt informatie gericht op een specifiek onderwerp in plaats van op de lopende activiteiten van de organisatie. Voorbeelden van onderwerpen zijn productinformatie, verkoopgegevens, klant- en leveranciersgegevens, etc.
• geïntegreerd: Het is ontwikkeld door gegevens uit meerdere bronnen te combineren, zoals platte bestanden en relationele databases.
• Tijd variant: De gegevens in een DWH geven informatie vanaf een specifiek historisch tijdstip. Daarom worden de gegevens gecategoriseerd binnen een bepaald tijdsbestek.
• Niet-vluchtig: Niet-vluchtig verwijst naar historische gegevens die niet worden weggelaten wanneer nieuwere gegevens worden toegevoegd. Een DWH staat los van een operationele database. Dit betekent dat eventuele reguliere wijzigingen in de operationele database niet zichtbaar zijn in het datawarehouse.

De rol van datapijplijnen in de EDW

Er gaat veel moeite in zitten het ontsluiten van de ware kracht van uw datawarehouse. U kunt betrouwbare, flexibele oplossingen met lage latentie bouwen ETL-pijplijnen met behulp van een metadata-gedreven ETL nadering.

Een datawarehouse wordt gevuld met behulp van gegevenspijplijnen. Ze transporteren ruwe gegevens uit verschillende bronnen naar een gecentraliseerd datawarehouse voor rapportage en analyse. Gaandeweg worden de gegevens getransformeerd en geoptimaliseerd.

De toename in volume, snelheid en variëteit heeft echter geleid tot de traditionele benadering van het bouwen van datapijplijnen —met handmatige codering en herconfiguratie – ineffectief en achterhaald.

Automatisering is een integraal onderdeel van het bouwen van efficiënte datapijplijnen die passen bij de flexibiliteit en snelheid van uw bedrijfsprocessen.

Automatisering van gegevenspijplijnen

U kunt gegevens naadloos van de bron naar de visualisatie transporteren via automatisering van de datapijplijn. Het is een moderne benadering voor het vullen van datawarehouses en vereist het ontwerpen van functionele en efficiënte gegevensstromen.

Zoals we allemaal weten is tijdigheid een van de cruciale elementen van hoogwaardige business intelligence. Met geautomatiseerde datapipelines kunt u gegevens snel beschikbaar maken in het datawarehouse.

U kunt verouderde, triviale of dubbele gegevens elimineren door gebruik te maken van de kracht van geautomatiseerde en schaalbare gegevenspijplijnen. Dit maximaliseert de toegankelijkheid en consistentie van gegevens om analyses van hoge kwaliteit te garanderen.

Met een op metadata gebaseerd ETL-proces kunt u nieuwe bronnen naadloos in uw architectuur integreren en iteratieve cycli ondersteunen om uw BI-rapportage en -analyse te versnellen.

U kunt ook de ELT benadering. In ELT kunt u de gegevens rechtstreeks naar het magazijn laden, zodat u de rekencapaciteit van het bestemmingssysteem kunt benutten datatransformaties efficiënt.

Gegevenspijplijnen optimaliseren

Een onderneming moet zich richten op het bouwen van geautomatiseerde datapijplijnen die zich dynamisch kunnen aanpassen aan veranderende omstandigheden, bijvoorbeeld het toevoegen en verwijderen van databronnen of het wijzigen van transformaties.

Het verplaatsen van hele databases wanneer u gegevens nodig heeft voor rapportage of analyse kan uiteraard zeer inefficiënt zijn.

De beste praktijk is om gegevens stapsgewijs te laden met behulp van gegevens vastleggen wijzigen om uw datawarehouse te vullen. Het helpt redundantie te elimineren en zorgt voor maximale gegevensnauwkeurigheid.

Andere essentiële mogelijkheden die nodig zijn om geautomatiseerde datapijplijnen te creëren zijn incrementeel laden, taakmonitoring en taakplanning.

• Incrementeel laden zorgt ervoor dat u niet elke keer dat de brontabel verandert alle gegevens naar uw datawarehouse hoeft te kopiëren. Hierdoor is uw datawarehouse altijd accuraat en up-to-date.
• Door taakmonitoring krijgt u inzicht in eventuele problemen met uw huidige systeem en kunt u het proces optimaliseren.
• Met taakplanning kunnen gebruikers gegevens dagelijks, wekelijks, maandelijks verwerken, of alleen wanneer gegevens aan specifieke triggers of voorwaarden voldoen.

Het orkestreren en automatiseren van uw datapijplijnen kan handmatig werk elimineren, reproduceerbaarheid introduceren en de efficiëntie maximaliseren.

Voorbeelden van datawarehousing in verschillende industrieën

Big data is van levensbelang geworden datawarehousing en business intelligence in verschillende industrieën. Laten we eens kijken naar enkele voorbeelden van datawarehousing in verschillende sectoren.

Investerings- en verzekeringssector

Bedrijven gebruiken voornamelijk een datawarehouse om klant- en markttrends en andere datapatronen in deze sectoren te analyseren. Forex en aandelenmarkten zijn twee belangrijke subsectoren. Hier spelen datawarehouses een cruciale rol, omdat een verschil van één punt over de hele linie tot enorme verliezen kan leiden. DWH’s worden meestal gedeeld in deze sectoren en richten zich op realtime datastreaming.

Winkelketens

Winkelketens gebruiken DWH's voor distributie en marketing. Veel voorkomende toepassingen zijn het volgen van artikelen, het onderzoeken van het prijsbeleid, het volgen van promotieaanbiedingen en het analyseren van kooptrends van klanten. Winkelketens integreren doorgaans EDW-systemen voor business intelligence en prognosebehoeften.

Gezondheidszorg

Zorgbedrijven gebruiken een DWH om de uitkomsten van patiënten te voorspellen. Ze gebruiken het ook om behandelrapporten te genereren en gegevens te delen met verzekeringsmaatschappijen, onderzoekslaboratoria en andere medische eenheden. EDW's vormen de ruggengraat van gezondheidszorgsystemen omdat de nieuwste, up-to-date behandelinformatie cruciaal is voor het redden van levens.

Soorten datawarehouses

Er zijn drie hoofdtypen datawarehouses. Ieder heeft daarin zijn specifieke rol gegevensbeheer operaties.

1- Enterprise-datawarehouse

Een enterprise datawarehouse (EDW) is een centrale of hoofddatabase om beslissingen in de hele onderneming te vergemakkelijken. De belangrijkste voordelen van het hebben van een EDW zijn onder meer:

• Toegang tot organisatiebrede informatie.
• De mogelijkheid om complexe queries uit te voeren.
• Het mogelijk maken van verrijkte, vooruitziende inzichten voor datagestuurde beslissingen en vroege risicobeoordeling.

2- ODS (Operationele gegevensopslag)

In ODS wordt de DWH in realtime vernieuwd. Daarom gebruiken organisaties het vaak voor routinematige bedrijfsactiviteiten, zoals het opslaan van gegevens van werknemers. Bedrijfsprocessen maken ook gebruik van ODS om gegevens aan de EDW te verstrekken.

3- Datamart

Het is een subset van een DWH die een bepaalde afdeling, regio of bedrijfseenheid ondersteunt. Denk hier eens over na: u heeft meerdere afdelingen, waaronder verkoop, marketing, productontwikkeling, enz. Elke afdeling heeft een centrale opslagplaats waar gegevens worden opgeslagen. Deze opslagplaats is een data mart.

De EDW slaat de gegevens uit de datamart dagelijks/wekelijks (of zoals geconfigureerd) op in de ODS. De ODS fungeert als verzamelplaats voor gegevens integratie. Vervolgens stuurt het de gegevens naar de EDW om op te slaan voor BI-doeleinden.

Waarom hebben bedrijven datawarehousing en business intelligence nodig?

Veel zakelijke gebruikers vragen zich af waarom datawarehousing essentieel is. De eenvoudigste manier om dit uit te leggen is via de verschillende voordelen voor de eindgebruikers. Deze omvatten:

• Verbeterde toegang voor eindgebruikers tot een breed scala aan bedrijfsgegevens
• Verhoogde gegevensconsistentie
• Aanvullende documentatie van de gegevens
• Mogelijk lagere computerkosten en hogere productiviteit
• Het bieden van een plek om gerelateerde gegevens uit afzonderlijke bronnen te combineren
• Creatie van een computerinfrastructuur die veranderingen in computersystemen en bedrijfsstructuren kan ondersteunen
• Hiermee kunnen eindgebruikers ad-hocquery's of rapporten uitvoeren zonder de prestaties van de operationele systemen te beïnvloeden

Tools en technieken voor datawarehousing

De data-infrastructuur van de meeste organisaties is een verzameling van verschillende systemen. Een organisatie kan bijvoorbeeld één systeem hebben dat klantrelaties, personeelszaken, verkoop, productie, financiën, partners, enzovoort afhandelt. Deze systemen zijn vaak slecht of helemaal niet geïntegreerd. Dit maakt het moeilijk om eenvoudige vragen te beantwoorden, ook al is de informatie ‘ergens’ binnen de organisatie beschikbaar ongelijksoortige datasystemen.

Bedrijven kunnen DWH-tools gebruiken om deze problemen op te lossen door één enkele database met homogene gegevens te creëren. De softwaretools voor extraheren en het transformeren van de gegevens in een homogeen formaat om in de DWH te laden, zijn ook essentiële componenten van een datawarehousingsysteem.

Enterprise Data Warehousing Automatiseringstool van Astera Software

Astera Bouwer van datawarehouses versnelt de ontwikkeling van een datawarehouse vanaf nul. Het ondersteunt talloze integraties, automatiseert datamodellering en levert een krachtige DWH via een uniform, intuïtief platform.

ADWB is een metadata-gedreven systeem automatiseringstool voor datawarehousing met een rijke datamodeller en bevat alle belangrijke kenmerken van een hierboven genoemd datawarehouse. Dankzij de reverse-engineering-functionaliteit kunnen gebruikers met een paar klikken databases maken zonder codes te schrijven. Op dezelfde manier kunnen gebruikers snel schema's helemaal opnieuw ontwikkelen met de eenvoudige optie voor slepen en neerzetten. Onderstaande afbeeldingen geven kort weer hoe de ADWB werkt.

Lees verder over hoe u uw datawarehouse kunt bouwen vanaf nul mee Astera Bouwer van datawarehouses, een krachtige oplossing die aan al uw zakelijke behoeften voldoet.

Als u uw gebruiksscenario wilt bespreken of een live demo van het product wilt zien, Laat het ons wetenen onze experts nemen contact met u op.