Een datawarehouse bouwen: een stapsgewijze handleiding

Het bouwen van een datawarehouse werd lange tijd gezien als een complexe procedure die aanzienlijke expertise vereiste op diverse, maar gerelateerde, gebieden daarbinnen gegevensbeheer. Van database management van het bouwen van datamodellen tot het implementeren ervan ETL processen zou het bouwen van een datawarehouse al snel maanden duren. Technologische vooruitgang heeft echter geleid tot de beschikbaarheid van steeds meer tools en platforms die toegankelijke en gestroomlijnde oplossingen bieden voor alle soorten gebruikers.

In dit artikel gaan we alles leren over het bouwen van een datawarehouse. Specifiek de vereisten voor het bouwen van een datawarehouse, inclusief een stapsgewijze handleiding, en de best practices.

 

Vereisten voor het bouwen van een datawarehouse

De vereisten voor het bouwen van een datawarehouse kunnen enorm variëren, afhankelijk van uw zakelijke vereisten. Meestal moet u echter rekening houden met de volgende criteria voordat u begint met het bouwen van uw datawarehouse:

Planning voor de datawarehouse-blauwdruk

Dit is de fundamentele fase waarin u de basis legt voor uw datawarehouse. De blauwdruk bepaalt de richting van het project en is van cruciaal belang om ervoor te zorgen dat het eindproduct nauw aansluit bij de behoeften en doelstellingen van uw bedrijf. Bovendien moet uw strategisch plan ook de reikwijdte en het ontwerp van uw datawarehouse bepalen.

Begin met het ontwikkelen van duidelijke bedrijfsdoelstellingen. Het is essentieel om bedrijfsleiders, eindgebruikers, IT-personeel en andere belanghebbenden er in een vroeg stadium bij te betrekken, aangezien u hier vragen moet beantwoorden als: waarom moet u een datawarehouse bouwen? Zal het de hele organisatie bestrijken of zich richten op specifieke afdelingen of bedrijfsfuncties? Welke bedrijfsprocessen zal het ondersteunen? Hoe zal het waarde toevoegen? Het veiligstellen van de buy-in van belanghebbenden en het definiëren van deze doelstellingen zullen alle daaropvolgende beslissingen beïnvloeden; hun steun zal ervoor zorgen dat het project de nodige aandacht en middelen krijgt.

A strategie voor datawarehousing schetst hoe uw organisatie de gegevens verzamelt, opslaat, beheert en gebruikt. Als onderdeel van deze fase moet u dus ook beleid voor gegevensbeheer opstellen dat specifiek is voor uw bedrijf. Dit beleid bepaalt wie verantwoordelijk is voor verschillende gegevensgerelateerde beslissingen en processen, en op welke manier data kwaliteit gewaarborgd is, en hoe om te gaan met gegevensbeveiliging en privacyproblemen.

Het samenstellen van een bekwaam team

Het bouwen van een datawarehouse is een complexe taak waarvoor een divers team van professionals nodig is. Deze stap zorgt ervoor dat uw project goed is uitgerust met het nodige talent om een ​​datawarehouse te bouwen, implementeren en onderhouden dat aan uw analytische behoeften voldoet.

Hoewel het succes van het team grotendeels afhangt van de leden, moet het collectief over een mix van technische vaardigheden beschikken. Normaal gesproken heb je mensen nodig met expertise in SQL, ETL-processen en datamodellering, evenals iemand met projectmanagementcapaciteiten en een sterk begrip van het zakelijke domein. Kortom, uw team bestaat idealiter uit:

• data-architecten voor het ontwerpen van het systeem
• data-ingenieurs om het te bouwen en te onderhouden
• bedrijfsanalisten om ervoor te zorgen dat het voldoet aan de behoeften van de gebruikers
• databasebeheerders om de gegevensopslag te beheren
• projectmanagers om alles op koers te houden

Het beveiligen van essentiële hulpbronnen

Naast een team van professionals moet u ook budgetteren voor de initiële opzet en implementatie en de lopende exploitatie en het onderhoud van uw datawarehouse. Dit omvat de infrastructuur om uw datawarehouse te hosten, de juiste tools om te beheren en uw gegevens verwerkenen veiligheidsmaatregelen om deze te beschermen.

De initiële opzet en implementatie zijn doorgaans de meest resource-intensieve fasen, waarbij investeringen nodig zijn in:

• hardware- of clouddiensten
• softwarelicenties
• en professionele diensten voor ontwerp en ontwikkeling

Het is ook belangrijk dat u rekening houdt met de kosten die hieraan verbonden zijn gegevens integratie en de potentiële behoefte aan ontwikkeling op maat om ervoor te zorgen dat u al uw gegevensbronnen kunt verantwoorden. Als alternatief kunt u kiezen voor een data-integratietool zonder code die wordt geleverd met ingebouwde connectoren voor verschillende bronnen en bestemmingen.

Het opzetten van een technisch raamwerk

Het volgende in de rij is een uitgebreid beoordelingsplan dat de technische en datagereedheid garandeert. Het doel is om de prestaties en schaalbaarheid van de huidige systemen te beoordelen en hun sterke en zwakke punten te benadrukken, samen met het identificeren van mogelijkheden voor verbeteringen. Voer een diepgaande analyse uit van de huidige data-infrastructuur door de bestaande hardware, netwerkconfiguraties en eventuele cloudservices te evalueren.

De oefening omvat het catalogiseren van alle gegevensbronnen die beschikbaar zijn voor uw organisatie, bijvoorbeeld interne systemen zoals CRM en ERP, externe gegevens van partners en streaming gegevensbronnen zoals IoT-apparaten. Door gegevensbronnen te identificeren, kunt u het gegevenslandschap in kaart brengen en de aard en zakelijke relevantie van elke gegevensbron begrijpen.

Het verwerven van de benodigde technische componenten is ook een belangrijke stap in deze voorbereidende fase van het bouwen van een datawarehouse. Het omvat het selecteren van de tools en platforms die helpen bij het implementeren van de datastrategie van uw organisatie. Voor ETL-tools, houd rekening met factoren zoals de gegevensbronnen, data transformatie behoeften, integratie met andere systemen, etc.

Bepaal op dezelfde manier de meest geschikte opties voor gegevensopslag, rekening houdend met de vereiste capaciteit en toegangssnelheid. Bepaal of er behoefte is aan een mix van on-premise, cloudgebaseerde of hybride opslagoplossingen. Rust uw datateam uit met geavanceerde tools voor datamodellering die de constructie van een solide mogelijk maken datawarehouse-architectuur.

Een datawarehouse bouwen: de uitvoeringsfase automatiseren

Zodra u de randvoorwaarden op orde heeft, is de volgende stap het implementeren van het plan en het bouwen van uw datawarehouse.

geautomatiseerde tools voor het bouwen van datawarehouses, zoals Astera Bouwer van datawarehouses, vermindert talloze standaard en repetitieve taken die betrokken zijn bij de levenscyclus van datawarehousing tot slechts een paar eenvoudige stappen.

Astera Data Warehouse Builder is een end-to-end platform dat het proces van het bouwen van een datawarehouse vereenvoudigt en versnelt. Dankzij de drag-and-drop-interface kunt u uw datamodellen en ETL-processen ontwerpen zonder ook maar één regel code te schrijven. De ingebouwde connectoren zorgen voor eenvoudige integratie met een reeks bron- en bestemmingssystemen, zowel op locatie als in de cloud. AsteraDe ingebouwde functies voor gegevenskwaliteit zorgen ervoor dat alleen gezonde gegevens uw datawarehouse binnenkomen voor nauwkeurige BI, analyses en rapportage.

Laten we een use case nemen om het proces van het bouwen van een datawarehouse te illustreren met behulp van Astera's no-code datawarehouse-bouwer.

Het gebruiksscenario:

Shop-Stop is een fictieve online winkel die zijn verkoopgegevens bijhoudt in een SQL-database. Het bedrijf heeft onlangs besloten een datawarehouse te implementeren om een ​​solide rapportagearchitectuur te verkrijgen en BI en analytics te verbeteren. Hun IT-team en technische experts beweren echter dat het kapitaal en de middelen die nodig zijn om het hele proces uit te voeren en te onderhouden aanzienlijk kunnen worden verminderd met behulp van een geautomatiseerde datawarehousingtool.

Shop-Stop besluit gebruik te maken Astera Data Warehouse Builder om hun datawarehouse te ontwerpen, bouwen, implementeren en onderhouden. Laten we eens kijken hoe het proces van het bouwen van een datawarehouse wordt gebruikt Astera er uit ziet.

Een datawarehouse bouwen Stap 1: Een brongegevensmodel maken

De eerste stap bij het bouwen van een datawarehouse is het identificeren en modelleren van de brongegevens. Zodra u een nieuw datamodel aan het project heeft toegevoegd, kunt u uw database, in dit geval de verkoopdatabase van Shop-Stop, reverse-engineeren om een ​​brondatamodel te creëren met behulp van de reverse engineer pictogram op de datamodelwerkbalk met slechts één klik. Als u dit doet, wordt het gegevensmodel automatisch gemaakt. Elke entiteit in dit datamodel vertegenwoordigt een tabel die de brongegevens van Shop-Stop bevat. Zo ziet het eruit:

 

Zodra u over het gegevensmodel beschikt, kunt u het verifiëren om er zeker van te zijn dat het geen fouten en waarschuwingen bevat. Om dit te doen, klikt u eenvoudig op de Controleer of er sprake is van lees- en schrijfimplementatie optie in de hoofdwerkbalk. Hier is een schermafbeelding:

 

Nadat u het model heeft geverifieerd, kunt u het op de server implementeren en beschikbaar maken voor gebruik in ETL-pijplijnen (net zoals ELT) of voor data-analyse. Hier is hoe het te doen. Nu u een brongegevensmodel heeft gemaakt, geverifieerd en geïmplementeerd, gaan we verder met de volgende stap.

Een datawarehouse bouwen Stap 2: Bouw en implementeer een dimensionaal model

De volgende stap in het proces is het ontwerpen van een dimensionaal model dat zal dienen als het bestemmingsschema voor het datawarehouse van Stop-Stop. U kunt gebruik maken van de Geheel object beschikbaar in de datamodeltoolbox en de drag-and-drop-interface van de datamodelbouwer om een ​​model helemaal opnieuw te ontwerpen.

Omdat Shop-Stop al een datawarehouse-schema in een SQL-database heeft, moet u de database reverse-engineeren. Opnieuw vertegenwoordigt elke entiteit in het resulterende datawarehouse-model een tabel in het uiteindelijke datawarehouse van Shop-Stop.

 

Vervolgens moet u dit model omzetten in een dimensionaal model door feiten en dimensies toe te kennen. Het type voor elke entiteit is ingesteld als Algemeen standaard wanneer een database wordt reverse-engineered. U kunt het type gemakkelijk wijzigen in Feit or Afmeting door met de rechtermuisknop op de entiteit te klikken en er met de muis overheen te gaan Type entiteit in het contextmenu en selecteer een geschikt type uit de gegeven opties.

 

De Verkoop-entiteit in het midden is de feit-entiteit, terwijl de rest dimensie-entiteiten zijn.

Zodra u uw feiten en dimensies op orde heeft, moet u ze configureren voor verbeterde opslag en ophalen van gegevens door gespecificeerde rollen toe te wijzen aan de velden in de lay-out van elke entiteit.

Voor dimensie-entiteiten is de Dimensie rol kolom in de Layout Builder biedt een uitgebreide lijst met opties. Deze omvatten:

• Vervangende sleutel
• Bedrijfssleutel
• Langzaam veranderende dimensietypen (SCD1, SCD2, SCD3 en SCD6)
• Record-ID's om historische gegevens bij te houden (ingangs- en vervaldatums, huidige recordaanduiding en versienummer)
• Placeholder Dimension om laat en vroeg binnenkomende feiten en dimensies bij te houden

 

Hetzelfde geldt voor de feitenentiteit Layout Builder bevat een Feit Rol kolom waarmee u de Transactiedatumsleutel rol voor een van de velden. Hier ziet u hoe de lay-out van de Sale entiteit eruit zal zien zodra u de Transactiedatumsleutel rol voor een veld:

Als uw dimensionale model klaar is, kunt u het verifiëren en implementeren voor verder gebruik.

Een datawarehouse bouwen Stap 3: Vul het datawarehouse

Het is nu tijd om het datawarehouse van Shop-Stop te vullen door relevante brongegevens in de tabellen te laden met behulp van ETL-pijplijnen. Astera stelt je in staat om te bouwen ETL en ELT pijpleidingen met behulp van de dataflow-ontwerper.

Om dit te doen, moet u een nieuwe gegevensstroom toevoegen aan het datawarehousingproject. Gebruik de uitgebreide set objecten die beschikbaar zijn in de dataflow-toolbox om het ETL-proces te ontwerpen. Gebruik de Feitenlader en Afmeting lader objecten om gegevens in respectievelijk feiten- en dimensietabellen te laden.

Hier ziet u wat de gegevensstroom is om gegevens in te laden tafel ziet er als volgt uit:

Aan de linkerkant is de Databasetabelbron object dat gegevens ophaalt uit een tabel in de brontabel. Aan de rechterkant de Afmeting lader object laadt gegevens in de relevante tabel in het dimensionale doelmodel.

Om elk van deze objecten met hun respectievelijke modellen te verbinden, moet u het bronobject configureren met de implementatie van het brongegevensmodel:

 

Configureer op dezelfde manier het Dimensional Loader-object met de implementatie van het dimensionale doelmodel, zoals weergegeven in de onderstaande afbeelding:

Houd er rekening mee dat u de gegevensstroom zo moet ontwerpen dat gegevens anders in de feitentabel worden geladen. Dit komt omdat het velden uit meerdere brontabellen bevat, maar de Databasetabelbron voorwerp kan alleen gegevens extraheren vanuit één brontabel tegelijk.

In plaats daarvan kunt u de Bron van gegevensmodelquery object, waarmee u meerdere tabellen uit het bronmodel kunt extraheren door een hoofdentiteit te selecteren. Dit wordt weergegeven in de onderstaande schermafbeelding:

 

Nu u al uw gegevensstromen heeft ontworpen, kunt u ze allemaal uitvoeren om het datawarehouse van Shop-Stop te vullen met hun verkoopgegevens. Om te voorkomen dat alle gegevensstromen afzonderlijk worden uitgevoerd, ontwerpt u een workflow om het hele proces te orkestreren.

 

Automatiseer ten slotte het proces van het vernieuwen van deze gegevens via de ingebouwde Job Scheduler. Ga naar om toegang te krijgen tot de taakplanner Server > Taakschema's in het hoofdmenu.

 

In het Scheduler Op het tabblad kunt u een nieuw schema maken om het uitvoeringsproces met een bepaalde frequentie te automatiseren.

 

Een datawarehouse bouwen Stap 4: Visualiseer en analyseer

Nadat u uw datawarehouse heeft ontworpen en geïmplementeerd, kunt u het integreren met toonaangevende visualisatie- en analysetools zoals Power BI, Tableau, Domo, enz. via een ingebouwde OData-service.

 

Best practices voor het bouwen van een datawarehouse

Het bouwen van een datawarehouse is één ding, het doen op een manier die efficiënt is en effectieve resultaten oplevert is een heel andere uitdaging: een uitdaging waarbij gebruik wordt gemaakt van de best practices.

Begin met een datawarehouse-strategie

Begin altijd met een duidelijke strategie die de bedrijfsdoelstellingen, de reikwijdte van uw data, de architecturale aanpak en hoe uw datawarehouse in de loop van de tijd zal evolueren, schetst. Uw datawarehouse-strategie moet aansluiten bij de algemene bedrijfsstrategie en tegemoetkomen aan specifieke analyse- en rapportagebehoeften.

Automatiseer alles wat je kunt

Hoewel er niet veel kan worden gedaan om de initiële planningsfase te versnellen, kunt u bij de uitvoering de benodigde tijd en middelen aanzienlijk terugdringen. Maak gebruik van tools zoals tools voor datawarehousing, tools voor gegevensintegratie, enz. om repetitieve en arbeidsintensieve taken te automatiseren en te versnellen.

Besteed aandacht aan de datakwaliteit

Uw analyses en rapportages zijn slechts zo goed als de kwaliteit van de gegevens waarmee u uw datawarehouse vult. Ervoor zorgen beheer van gegevenskwaliteit door robuuste processen te implementeren voor het opschonen van gegevens, deduplicatie en validatie.

Kies voor een schaalbare architectuur

Naarmate de datavolumes groeien en de bedrijfsbehoeften veranderen, moet uw datawarehouse zich kunnen aanpassen zonder dat uitgebreide herontwerpen nodig zijn. Het gebruik van een modulaire architectuur die schaalbaarheid en flexibiliteit mogelijk maakt, zorgt ervoor dat uw datawarehouse zonder grote investeringen kan worden geïntegreerd met nieuwere technologieën.

Implementeer een robuust ETL-proces

Ontwerp ETL-pijplijnen die robuust genoeg zijn om grote hoeveelheden gegevens vrijwel in realtime te verwerken. Automatiseer het ETL-proces zoveel mogelijk om handmatige tussenkomst te minimaliseren en te garanderen data-integriteit.

Bouw uw datawarehouse met Astera

Het bouwen van een datawarehouse kan gemakkelijk een resource-intensief en tijdrovend proces worden, gezien de complexiteit van het integreren en organiseren van grote hoeveelheden gegevens uit diverse bronnen; bronnen die blijven toenemen naarmate uw bedrijf groeit. Dit is de reden waarom moderne organisaties gebruik maken van automatisering oplossingen voor gegevensbeheer om de ontwikkeling van hun datawarehouses te versnellen.

Heeft u een strakke tijdlijn waardoor u binnen enkele dagen in plaats van maanden een datawarehouse moet bouwen? Neem contact op met een van onze oplossingsexperts via + 1-888-ASTERA. Als alternatief kunt u een downloaden Gratis proefperiode van 14-dag or bekijk demo.