Datavirtualisatie: architectuur, tools en functies uitgelegd

Vanwege hun wijdverbreide activiteiten nemen ondernemingen hun toevlucht tot verschillende soorten systemen die heterogene gegevens beheren. Deze systemen zijn verbonden via een ingewikkelde data-infrastructuur, bestaande uit databases, datawarehouses, marts en meren, waarin belangrijke stukjes begrijpelijke inzichten worden opgeslagen. Voor het faciliteren van gegevensverplaatsing en het verkrijgen van zakelijke inzichten is echter het gebruik van een groot aantal gegevensbeheertechnologieën nodig, die complex kunnen zijn om te leren en te beheren. Dit is waar datavirtualisatietools een rol gaan spelen.

Laten we eens kijken naar de datavirtualisatietechnologie en hoe deze bedrijven in staat stelt de operationele mogelijkheden van hun uitgebreide data-infrastructuur te maximaliseren.

Wat is datavirtualisatie?

Het datavirtualisatiesysteem creëert een abstractielaag die gegevens uit verschillende bronnen binnenhaalt zonder het geheel uit te voeren Extract-Transform-Load (ETL)-proces of het creëren van een apart, geïntegreerd platform voor het bekijken van gegevens. In plaats daarvan maakt het virtueel verbinding met verschillende databases, integreert alle informatie om virtuele weergaven te bieden en publiceert deze als een dataservice, zoals REST. Dit verbetert de toegankelijkheid van gegevens, waardoor specifieke stukjes informatie direct beschikbaar zijn voor rapportage, analyse en besluitvorming.

Door een abstractielaag te creëren, kunnen data virtualisatie tools alleen de vereiste gegevens aan gebruikers blootstellen zonder dat er technische details nodig zijn over de locatie of structuur van de gegevensbron. Als gevolg hiervan kunnen organisaties de toegang tot gegevens alleen beperken tot geautoriseerde gebruikers om de veiligheid te garanderen en te voldoen aan de vereisten voor gegevensbeheer.

De datavirtualisatietechnologie vereenvoudigt belangrijke processen, zoals data-integratie, federatie en transformatie, waardoor gegevens toegankelijk worden voor dashboards, portalen, applicaties en andere front-endoplossingen. Bovendien kunnen bedrijven, door gegevens over opslagsystemen te comprimeren of te dedupliceren, efficiënter aan hun infrastructuurbehoeften voldoen, wat resulteert in aanzienlijke kostenbesparingen.

Architectuur voor datavirtualisatie

Datavirtualisatie wordt gebruikt om grote hoeveelheden gegevens uit diverse bronnen te verwerken, waaronder traditionele en moderne databases, datameren, cloudbronnen en andere bedrijfsgegevensopslagplaatsen. De datavirtualisatiearchitectuur laat echter zien dat het integreren van databronnen met behulp van een logische laag veel effectiever is dan het verzamelen van ruwe data op één datameer.

Datavirtualisatie-architectuur uitgelegd

In plaats van gegevens rechtstreeks te extraheren en te laden op één enkel platform zoals Enterprise Service Bus (ESB) en Extract-Transform-Load (ETL), integreert datavirtualisatie gegevens uit verschillende bronnen, waardoor het een krachtig dataplatform wordt. Bij correct gebruik kan een datavirtualisatietool dienen als een integraal onderdeel van de strategie voor data-integratie. Het kan meer flexibiliteit bieden bij de toegang tot gegevens, gegevenssilo's beperken en de uitvoering van query's automatiseren voor een snellere time-to-inzicht. 

Wat is datavirtualisatielaag? Hoe werkt het?

Een belangrijk onderdeel van de datavirtualisatie-architectuur is de datavirtualisatielaag, dus wat is een datavirtualisatielaag?

Datavirtualisatie is een logische datalaag om bedrijfsdata te integreren die beschikbaar zijn uit verschillende databronnen. De datavirtualisatielaag consolideert gegevens in één enkele gecentraliseerde laag door een gerepliceerd beeld te creëren. Hierdoor kan de gebruiker de brongegevens wijzigen zonder deze te openen, waardoor realtime gegevenstoegang voor bedrijfsactiviteiten mogelijk is, terwijl de brongegevens veilig blijven.

Bedrijven maken datavirtualisatiesoftware tegenwoordig tot een integraal onderdeel van hun benadering van databeheer, omdat het aanvullende processen mogelijk maakt zoals datawarehousing, data voorbereiding, beheer van gegevenskwaliteiten data-integratie.

Ontdek best practices om datawarehouses met grote volumes effectief te beheren

Download Whitepaper

Datavirtualisatie versus datawarehouse

Met datavirtualisatie kunnen gebruikers dat doen gegevens integreren uit meerdere bronnen. Dit helpt gebruikers bij het maken van dashboards en rapporten voor bedrijfswaarde. Deze aanpak is een alternatief voor een datawarehouse, waarbij de gegevens uit verschillende bronnen worden verzameld en een duplicaat van de gegevens in een nieuw gegevensarchief wordt opgeslagen. Het belangrijkste voordeel van datavirtualisatie ten opzichte van datawarehousing is de snelheidsoptimalisatie en realtime toegang: het kost een fractie van de tijd om een ​​oplossing te bouwen en geeft gebruikers realtime toegang tot gegevens.

De top 3 datavirtualisatietools zijn als volgt:

• Azuur
• Microsoft-tool voor datavirtualisatie
• IBM SQL

Datavirtualisatie versus ETL

Hoewel data virtualisatie en ETL zijn twee verschillende oplossingen, ze worden beschouwd als complementaire technologieën. Omdat de ETL/EDW-implementatie kan worden verbeterd door gebruik te maken van datavirtualisatietechnologie. De twee belangrijkste verschillen tussen datavirtualisatie en ETL zijn echter:

1. ETL dupliceert de data uit het bronsysteem en slaat deze op in een ander gekopieerd dataarchief, daarentegen data virtualisatie houdt zich niet bezig met de brongegevens en delegeert het verzoek eenvoudigweg naar de bronsystemen. 
2. Een typisch ETL/EDW-project vereist enkele maanden toegewijde planning en datamodellering voordat er enige dataconsolidatie in een datawarehouse plaatsvindt. Eenmaal geïmplementeerd is het moeilijk om wijzigingen aan te brengen. Terwijl data virtualisatie is een agile aanpak als het gaat om het omgaan met veranderingen in het logische datamodel. Het vergemakkelijkt ook snelle ontwikkelingsiteraties. 

Datavirtualisatietoepassingen voor bedrijven

Bedrijven kunnen datavirtualisatietechnologie gebruiken om hun systemen en activiteiten op verschillende manieren te optimaliseren, zoals:

• Gegevenslevering: Hiermee kunt u datasets (opgevraagd door gebruikers of gegenereerd via een clientapplicatie) publiceren als dataservices of zakelijke dataweergaven.
• Gegevensfederatie: Het werkt samen met Data Federator-software om geïntegreerde weergaven van gegevensbronnen uit ongelijksoortige databases te bieden.
• Datatransformatie: Het stelt gebruikers in staat transformatielogica toe te passen op de presentatielaag, waardoor de algehele kwaliteit van de gegevens wordt verbeterd.
• Gegevensbeweging en replicatie: Datavirtualisatietools kopiëren of verplaatsen geen gegevens van het primaire systeem of de opslaglocatie, waardoor gebruikers geen extractieprocessen hoeven uit te voeren en meerdere kopieën van inconsistente, verouderde gegevens moeten bewaren.
• Gevirtualiseerde gegevenstoegang: Hiermee kunt u gegevensopslag opsplitsen door een logisch gegevenstoegangspunt tot uiteenlopende bronnen op te zetten.
• Abstractie: Het creëert een abstractielaag die de technische aspecten, zoals opslagtechnologie, systeemtaal, API's, opslagstructuur en locatie, van de gegevens verbergt.

Omdat datavirtualisatiesoftware een uitgebreide reeks mogelijkheden biedt, is het nuttig gebleken voor beheer-, operationele en ontwikkelingsdoeleinden.

Begin vandaag nog met het bouwen van uw gepersonaliseerde datawarehouse

Demo bekijken

Voordelen van datavirtualisatie

Think GartnerTegen 2020 zal ongeveer 35 procent van de bedrijven datavirtualisatie onderdeel maken van hun data-integratiestrategie. Dit is de reden waarom bedrijven steeds vaker kiezen voor datavirtualisatietools die de volgende voordelen bieden:

• Gegevenstoegang in meerdere modi en meerdere bronnen, waardoor het voor zakelijke gebruikers op verschillende niveaus gemakkelijk wordt om gegevens te gebruiken volgens hun vereisten.
• Verbeterde beveiliging en gegevensbeheer voor het beschermen van kritieke gegevens tegen ongeautoriseerde gebruikers
• Het verbergen van de complexiteit van onderliggende gegevensbronnen, terwijl de gegevens worden gepresenteerd alsof deze uit één database of systeem komen
• Informatieflexibiliteit, wat een integraal onderdeel is van zakelijke omgevingen, omdat gegevens direct beschikbaar zijn voor snelle besluitvorming
• Infrastructuur-agnostisch platform, omdat gegevens uit verschillende databases en systemen eenvoudig kunnen worden geïntegreerd, wat leidt tot lagere operationele kosten en gegevensredundantie
• Vereenvoudigde tabelstructuur, waarmee de ontwikkeling van applicaties kan worden gestroomlijnd en de noodzaak voor applicatieonderhoud kan worden verminderd
• Eenvoudige integratie van nieuwe cloudbronnen in bestaande IT-systemen, waardoor gebruikers een volledig beeld krijgen van externe en interne informatie
• Hybride query-optimalisatie, waardoor u zoekopdrachten voor geplande push-, demand-pull- en andere soorten gegevensverzoeken kunt stroomlijnen
• Verhoogde snelheid om op de markt te komen, omdat het de tijd verkort die nodig is om gegevens te verkrijgen voor het verbeteren van nieuwe of bestaande producten of diensten om aan de eisen van de consument te voldoen

Andere voordelen van datavirtualisatietools zijn onder meer kostenbesparingen als gevolg van minder hardwarevereisten en lagere operationele en onderhoudskosten die gepaard gaan met prestaties ETL-processen voor het vullen en onderhouden van databases.

Bovendien slaan datavirtualisatietools metadata-informatie op en creëren ze herbruikbare virtuele datalagen, waardoor u een verbeterde datakwaliteit en verminderde datalatentie kunt ervaren.

Voorbeelden en gebruiksvoorbeelden van datavirtualisatie

Think Forresteris datavirtualisatiesoftware een cruciale aanwinst geworden voor elk bedrijf dat de groeiende data-uitdagingen wil overwinnen. Met innovaties zoals query-pushdown, query-optimalisatie, caching, procesautomatisering, data catalogus, en anderen, boekt datavirtualisatietechnologie vooruitgang bij het aanpakken van een verscheidenheid aan pijnpunten op het gebied van data-integratie met meerdere bronnen.

Hier zijn enkele gebruiksscenario's en toepassingen voor databasevirtualisatie die laten zien hoe het bedrijven helpt bij het aanpakken van uitdagingen op het gebied van masterdatabeheer:

1. Verbetert de functionaliteit van logische datawarehouses

Datavirtualisatie fungeert als brandstof voor logische datawarehouse-architectuur. De technologie maakt het mogelijk om zoekopdrachten te bundelen in traditionele en moderne bedrijfsdatarepository's en softwarehulpprogramma's, zoals datawarehouses, datalakes, webservices, Hadoop, NoSQL, enz., waardoor het voor gebruikers lijkt alsof ze afkomstig zijn uit één enkele database/opslaglocatie .

In een logische datawarehouse-architectuur kunt u met datavirtualisatie één logische plek creëren waar gebruikers analytische gegevens kunnen verkrijgen, ongeacht de applicatie of bron. Het maakt snelle gegevensoverdracht mogelijk via verschillende veelgebruikte protocollen en API's, zoals REST, JDBC, ODBC en andere. Het stelt u ook in staat om werklasten automatisch toe te wijzen om naleving van de Service Level Agreement (SLA)-vereisten te garanderen.

2. Pakt de complexiteit van Big Data-analyse aan

Big data-virtualisatie helpt bedrijven voorspellende, cognitieve, realtime en historische vormen van big data-analyse te gebruiken om een ​​voorsprong op de concurrentie te verwerven. Vanwege het toenemende volume en de toenemende complexiteit van data moeten bedrijven echter een breed scala aan technologieën adopteren, zoals Hadoop-systemen, datawarehouses, realtime analyseplatforms en andere, om te kunnen profiteren van de nieuwe kansen.

Via datafederatie en abstractie kunt u logische weergaven creëren van gegevens die zich in verschillende bronnen bevinden, waardoor u de afgeleide gegevens sneller kunt gebruiken voor geavanceerde analyses. Bovendien maken big data-virtualisatietools een eenvoudige integratie mogelijk met uw datawarehouse, business intelligence-tools en andere analyseplatforms binnen uw bedrijfsdata-infrastructuur voor informatieflexibiliteit.

 3. Vergemakkelijkt toegang tot applicatiegegevens

Systemen en toepassingen hebben gegevens nodig om inzichten te verkrijgen die nodig zijn voor de besluitvorming. Een grote uitdaging bij het werken met applicaties is echter het verkrijgen van toegang tot gedistribueerde gegevenstypen en -bronnen. Bovendien moet u mogelijk uitgebreide coderegels schrijven om het delen van gegevens tussen systemen en applicaties te vergemakkelijken. Voor sommige operaties zijn mogelijk ook complexe transformaties nodig, die alleen kunnen worden bereikt met gespecialiseerde technieken of hulpmiddelen.

Als u bijvoorbeeld twee datasets hebt die zich in IBM DB2 en PostgreSQL bevinden, zal de tool deze toewijzen aan de doeldatabases, automatisch afzonderlijke queries uitvoeren (voor elke database) om de vereiste gegevens op te halen, en deze samenbrengen in één enkel geïntegreerd platform, waardoor de virtuele weergaven via een semantische presentatielaag. Het zal ook joins, filters of andere transformaties uitvoeren op de canonieke laag om de gegevens in het gewenste formaat te presenteren.

 4. Optimaliseert het Enterprise Data Warehouse (EDW)

Datawarehouses spelen een cruciale rol bij het helpen van bedrijven bij het verwerken van enorme hoeveelheden binnenkomende gegevens uit meerdere bronnen en bij het voorbereiden ervan voor bevraging en analyse. Terwijl ETL en andere traditionele methoden voor data-integratie zijn goed voor het verplaatsen van bulkgegevens, gebruikers moeten werken met verouderde gegevens van de laatste ETL-bewerking. Bovendien wordt het verplaatsen van grote hoeveelheden gegevens (in petabytes en zettabytes) tijdrovend en vereist geavanceerde, krachtigere hardware en software.

Datavirtualisatie stroomlijnt het data-integratieproces. Het maakt gebruik van een federatiemechanisme om gegevens uit verschillende databases te homogeniseren en één enkel geïntegreerd platform te creëren dat één enkel toegangspunt voor gebruikers wordt. Het biedt on-demand integratie en levert realtime gegevens voor rapportage en analyses.

Omarm datavirtualisatie met no-code warehousing

14-dag gratis proefperiode

Koop een datawarehousingtool voor uw bedrijf

Of u nu een datawarehouse op locatie of in de cloud wilt creëren, ontwerpen of implementeren, Astera DW-bouwer kan het voor u doen in een codeloze omgeving Vertrouwd door meer dan 300 klanten in meer dan 30 sectoren, Astera biedt een codevrije datavirtualisatie-oplossing voor het integreren, opschonen en transformeren van gegevens uit verschillende bronnen en maakt deze beschikbaar voor nauwkeurige gegevensrapportage en -analyses.