Den automatiserede, Ingen kode Datastak
Lær hvordan Astera Data Stack kan forenkle og strømline din virksomheds datahåndtering.
Alt du behøver at vide om omkostningerne ved at bygge et datavarehus
Antag, at din organisation har nået et punkt, hvor den bedste tilgang til at analysere dine data og træffe informerede beslutninger er gennem et datavarehus. Mange organisationer designer og bygger et datavarehus til business intelligence og datastyring for at opnå en konkurrencefordel på markedet.
Med alle dine forretningsdata samlet i et centraliseret lager, der fungerer som den eneste kilde til sandhed, bliver rapportering meget mere kraftfuld, hvilket i sidste ende fører til bedre og mere rentable beslutninger for din organisation.
Ved lancering af en datalager initiativ i din organisation, skal du besvare flere spørgsmål. Hvilke værktøjer skal du bruge? Skulle du bygge eller købe en data warehouse løsning? Eller skal du gå efter data warehouse outsourcing? Hvad ville være passende data warehouse arkitektur til din organisations behov?
Blandt disse er et af de vigtigste spørgsmål: Hvor meget vil det koste at bygge et datavarehus for din organisation? Det kan være udfordrende at beregne den gennemsnitlige pris for at bygge et lager, især når mange faktorer og bevægelige dele er involveret i DW's livscyklus.
I dette blogindlæg har vi opdelt de sande omkostninger ved at bygge et datavarehus, og hvordan du kan bestemme ROI af dit lagerinitiativ.
Sådan estimerer du omkostningerne ved at bygge et datavarehus
Ligesom ethvert andet projekt er der typer omkostninger forbundet med at bygge et datavarehus: variable og faste udgifter. Inden du starter dit projekt, skal du have en god idé om, hvad dine faste og variable udgifter. Hvis du vil vælge et traditionelt on-prem datavarehus, vil der være en stor del af faste omkostninger, inklusive den indledende investering i servere, lagerenheder. Det vil også inkludere engangsomkostningerne ved at opsætte denne infrastruktur, inklusive netværkskonfiguration, opsætning af datacenter (hvis relevant) osv.
Men hvis du vælger et cloud-datavarehus såsom Snowflake, Amazon Redshift fra Google BigQuery, så vil det meste af dine omkostninger være variable. Det vil typisk omfatte cloud computing-omkostninger, der er baseret på mængden af brugt lagerplads, forbrugte computerressourcer og dataoverførsel, plus datalagringsomkostninger og dataoverførselsomkostninger, hvis du flytter data mellem forskellige systemer eller på tværs af netværk.
Så er der de typiske omkostninger involveret såsom forretnings- og efterretningsomkostninger og lønomkostninger. Dine lønomkostninger ville være højere, hvis du vælger en lokal løsning og den type ETL-software, du bruger. Cloud-platforme er nemmere at konfigurere, og hvis du vælger et kodefrit ETL-værktøj som f.eks Astera Datavarehusbygger, så vil dine omkostninger falde markant.
Model centreret tilgang
Omkostningskomponenter i opbygning af et datavarehus
Lad os først diskutere de nøglekomponenter, der påvirker omkostningerne ved et datavarehus. Da hvert datavarehusprojekt er forskelligt, vil prisen på hver komponent variere.
Her er en opdeling af omkostningskomponenterne i en datalager:
1. Byg dit datavarehus i skyen eller på stedet
Den første beslutning er at være vært for dit datavarehus på stedet eller på cloud. Opbevaring på stedet kræver, at du selv køber og vedligeholder al hardware og software. Med en cloud-baseret løsning har du cloud-tjenesteudbyderen til at håndtere alt.
Med en on-premise løsning er fordelene:
1) større sikkerhed.
2) forbedret kontrol over, hvordan og hvor dine data opbevares.
3) få adgang til og hente dine oplysninger uden at være afhængig af højhastighedsinternet og forbindelse.
Men på bagsiden involverer adskillige faste omkostninger høje forhåndsinvesteringer, øgede vedligeholdelsesomkostninger, højere risiko for datatab og begrænset skalerbarhed.
Skyen er på den anden side det foretrukne opbevaringsvalg for de fleste virksomheder. EN 2021 Flexera-rapport tyder på, at 87 % af virksomheder med et datavarehus enten eksperimenterer med, bruger i øjeblikket eller planlægger at bruge skyen til deres datavarehusprojekter.
Dette skyldes, at skybaserede datavarehuse er nemmere at konfigurere, nemmere at vedligeholde og ikke kræver lokal lagerplads. Du betaler kun for det, du bruger, og har luksusen til at skalere op eller ned på lager- og beregningsressourcerne. En lagerbygningsomkostningsberegner gør det nemmere at vurdere dine muligheder.
2. ETL: Manuel skrivning af kode vs. ETL-værktøj
Udtræk, transformer, indlæs (ETL) involverer flytning af data fra kildelokation(erne) til måldatavarehuset. Dette inkluderer integration, migrering, transformation og synkronisering af data til dit lager fra forskellige datakilder.
ETL er en kernekomponent i enhver DW-implementering, og prisen afhænger af, om du skriver din egen kode eller vælger et ETL-værktøj.
At skrive tilpasset SQL til dine ETL-processer gør det muligt at skræddersy databevægelsen til lageret efter din virksomheds behov. Men det kommer med enorme tids- og budgetovervejelser.
Du skal bruge et dedikeret team af ETL-udviklere til at håndkode ETL-flowene. De skal også koordinere med datamodellerne og DW-eksperterne for at konstruere ETL-rørledninger. Dette kan tage måneder eller år.
I modsætning til dette, at vælge en værktøj til automatisering af datavarehus med indbygget ETL funktionalitet, som f.eks Astera DW Builder, giver dig mulighed for at bygge ETL-pipelines hurtigt på et logisk niveau.
Du kan også udvikle ETL-rørledninger til en brøkdel af prisen. Sådanne værktøjer er alsidige og robuste. De understøtter forskellige datakilder og varehusmodeller, giver mange transformationsmuligheder og tilbyder procesorkestreringsfunktioner til at indlæse og synkronisere indgående data til varehuse.
3. Business Intelligence og rapportering
De fleste data warehousing-initiativer har til formål at forbedre beslutningstagning gennem business intelligence (BI) og dataanalyse. Det er derfor, datavarehuse ofte er parret med business intelligence-værktøjer til at visualisere data, finde indsigt og oprette rapporter til analyser. Disse BI- og visualiseringsværktøjer kommer dog også med et prisskilt.
Virksomheder skal vælge en enterprise BI-løsning og bruge et open source-bibliotek som f.eks D3.js eller Kibana til visualiseringer.
Mens open source-værktøjer giver mere frihed, er der en høj pris på menneskelige ressourcer knyttet til dem. Det er fordi du har brug for udviklere og dataanalytikere til at bygge visualiseringer. På den anden side er de fleste enterprise BI-værktøjer, som f.eks Tableau og Microsoft Power BI, er intuitive og nemme at bruge. Derfor er der kun lidt overhead udover prisen på selve værktøjet.
4. Menneskelige ressourcer
Uanset om du bruger en værktøj til data warehouse automation (DWA). eller en brugerdefineret kodningsmetode, skal du bruge et kvalificeret udviklingsteam. Et typisk datavarehusudviklingsteam involverer ETL-udviklere, dataingeniører, dataanalytikere, dataarkitekter, informationsteknologiadministratorer og databaseadministratorer.
Hver ressource spiller en forskellig rolle i projektet. Den type og antallet af personer, du har brug for, vil variere baseret på din valgte tilgang. Når du f.eks. vælger et standard DWA-værktøj, har du brug for færre ressourcer i dit udviklingsteam.
Antag alligevel, at du går efter en specialkodet løsning. I så fald skal du bruge et stort team bestående af flere ETL-udviklere, dataingeniører, datamodelbyggere og DBA'er til at arbejde på projektet.
5. Andre omkostninger: Vedligeholdelse, træning og support
Et datavarehuss sidste, men ofte glemte omkostningskomponent vedrører vedligeholdelse, træning, support (både teknisk og ikke-teknisk) og opgraderinger. I de fleste tilfælde har du tre muligheder for at administrere disse andre omkostninger:
- Hyr et internt team, der kan håndtere vedligeholdelse, support og træning til datavarehuset.
- Outsource sådanne tjenester og opgaver til en tredjepart eller leverandør.
- I tilfælde af et full-service cloud-baseret datavarehus kan du vælge at tilføje træning og support til det månedlige gebyr.
Din valgte tilgang afhænger af dine unikke krav og budget, men hver har fordele og ulemper i forskellige scenarier.
Datavarehus-omkostningsestimat for hver komponent
For at hjælpe dig med at estimere omkostningerne ved at bygge et datavarehus er her en oversigt over de gennemsnitlige omkostninger for hver komponent, der er anført ovenfor.
Bemærk, at disse kun er estimater for datavarehusomkostninger; de nøjagtige omkostninger vil afhænge af dit projekts størrelse og kompleksitet.
1. Data Warehouse Lageromkostninger
Opbevaring er måske den dyreste data warehouse-komponent, især når man arbejder med store mængder data. Baseret på om du går med en on-premise eller en cloud storage-tjeneste, vil du have forskellige omkostningsmuligheder.
Når du bruger cloud storage, betaler du per gigabyte eller terabyte data og kan skalere din storage efter behov. Da der ikke er nogen forudgående investering eller driftsomkostninger involveret i form af hardware, plads, infrastruktur eller ingeniører på stedet, er den eneste omkostning forbundet med skyen det beløb, du betaler hver måned (eller hvert år).
De mest populære cloud storage-løsninger (f.eks Amazon Redshift, Microsoft Azureog Google BigQuery) koster mellem $18.8 til $26.6 pr. terabyte (TB) om måneden ($ 225.6 til $ 319.2 om året).
På den anden side skal du foretage nogle forhåndsinvesteringer til on-premise datalagring. Dette inkluderer opsætnings- og konfigurationsomkostninger for den hardware og infrastruktur, du skal bruge for at gemme dine data. Dette vil omfatte servermaskiner, lagringsdiske, netværkstilbehør og ingeniører, der vil administrere og konfigurere alt.
De forudgående omkostninger kan begynde fra så lidt som $ 3500. Det kan stige baseret på mængden af data og redundans, du har brug for. Ud over de forudgående omkostninger kan driftsomkostningerne, såsom elektricitet og support og vedligeholdelse på stedet, være $ 1000 + pr. Måned ($ 12,000 pr).
2. ETL & Data Integration Omkostninger til Data Warehousing
Til ETL kan du bruge open source-værktøjer som SSIS til at håndkode din egen dataintegrationsløsning. Selvom dette ikke vil involvere licensomkostninger, skal du hyre udviklere og dataarkitekter til at udvikle denne løsning. Afhængigt af antallet af ressourcer, du har brug for, kan specialkodede ETL-pipelines koste mere end $100,000+ og måneder eller års udvikling.
Omkostningerne vil afhænge af, om du vælger at gå med et dedikeret ETL-værktøj, som f.eks Astera Centerprise, eller en DWA løsning med indbygget ETL funktionalitet, som f.eks Astera DW Builder, eller om du køber en licens til fast pris eller en model med variabel pris, der betales pr. brug. I begge tilfælde er omkostningerne gennemsnittet mellem $100 til $4,000+ pr. måned, afhængigt af værktøjet og dine krav.
3. BI & Data Analyse omkostninger
Den gennemsnitlige business intelligence-løsning koster hvor som helst imellem $ 600 til $ 6,000 om året. Du kan finde flere BI-værktøjer på markedet, såsom Microsoft PowerBI, Tableau, Domo, Qlik osv. Ligesom med DWA-værktøjer kan du enten betale en fast licenspris for disse værktøjer eller betale efter brug.
Hvis du ønsker en budgetmulighed, kan du bruge open source-værktøjer såsom ELK (Elasticsearch, Logstash og Kibana) stak eller D3.js. Som med de fleste open source-løsninger har du dog brug for tekniske ressourcer til at tilpasse og vedligeholde dine visualiseringer og rapporter.
4. Lønomkostninger for Data Warehousing-projektet
Tidligere i dette blogindlæg listede vi de vigtigste typer af menneskelige ressourcer, du har brug for i et datavarehusprojekt. Her er en oversigt over lønningerne til sådanne ressourcer:
- Informationsteknologichefer: $ 88,767 pr
- Udviklere: $ 72,048 pr
- Databasearkitekter: $ 114,515 pr
- Dataarkitekter: $ 120,248 pr
- Dataingeniører: $ 92,352 pr
- Dataanalytikere: $ 61,212 pr
Det er værd at nævne her, at dette kun er gennemsnitstal for sådanne roller, og de faktiske satser vil afhænge af markedsrenten i den region/land, du ansætter ressourcerne. Du skal også medregne omkostninger såsom rekruttering og uddannelse.
5. Andre omkostninger relateret til datavarehuset
Omkostningerne til vedligeholdelse og support er normalt vanskelige at estimere på forhånd. Dette kan omfatte reparation af brudte ETL-flows, når kilderne ændres, opdatering af datavarehuset for at integrere nye systemer, ændring af konfigurationer for enheder sammen med almindelig test og andet.
Men i gennemsnit allokerer virksomheder mellem 56 % og 72 % af deres årlige datavarehusbudget til vedligeholdelse og support. Så lad os antage, at du har et budget på $100,000 om året for dit datavarehus-initiativ, efter at det er blevet implementeret og konfigureret. I så fald ville $56,000 til $72,000 om året blive brugt på vedligeholdelse, træning og datavarehussupport.
I de fleste tilfælde involverer dette omkostningerne til det interne tekniske team, der administrerer og vedligeholder dit datavarehus. Ligesom med de andre omkostningskomponenter har den tilgang, du bruger til at bygge dit datavarehus, stor indflydelse på (sky vs. lokale, tilpassede ETL-pipelines vs. træk-og-slip-grænseflade osv.), hvor meget disse andre omkostninger vil være .
fra starten
Hvad er de gennemsnitlige omkostninger ved implementering af datavarehus?
Ved at bruge den opdeling, vi har angivet ovenfor, er her de estimerede (gennemsnitlige) tal for de årlige omkostninger ved implementering af data warehousing:
Opbevaring (sky): $273 pr. TB årligt (ved $22.7 pr. TB om måneden).
Opbevaring (på stedet): $12,000 årligt (ved $1,000 om måneden).
Business Intelligence/Visualiseringssoftware: $3,000 årligt (ved $250 om måneden).
ETL værktøj: $24,600 årligt (ved $2,050 om måneden).
Menneskelige ressourcer: $268,079 om året (forudsat at du som minimum har brug for en databasearkitekt, en dataanalytiker og en dataingeniør).
Andre omkostninger og vedligeholdelse: $ 64,000 årligt.
Sammenfattende disse tal er de gennemsnitlige omkostninger ved at bygge et datavarehus med cloud storage omkring $359,951 årligt. Med on-premise opbevaring handler det om $ 372,279 pr. De sande omkostninger vil dog afhænge af forskellige faktorer diskuteret i de tidligere afsnit. Derfor er de spørgsmål, du skal stille, når du bygger et datavarehus:
- Hvor meget lagerplads har vi brug for?
- Ønsker vi at gemme mine data i skyen eller på stedet?
- Skal vi bygge et datavarehus fra bunden eller købe en Data Warehouse as a Service (DWaaS) løsning?
- Skal vi bruge et betal-per-brug ETL-værktøj eller skrive vores egne tilpassede løsninger? Er der nogen overvejelser i forhold til at bygge et datavarehus i realtid?
- Hvor mange ressourcer skal vi bruge for at administrere, vedligeholde og understøtte vores data warehouse-projekt?
Baseret på dine svar kan de faktiske omkostninger for at bygge et datavarehus være mellem $1,000 til $200 millioner årligt.
Er Data Warehouse en rentabel investering?
Lad os gå videre til ROI-overvejelserne for at bygge et datavarehus. Før du foretager en sådan investering, er det vigtigt at kende fordelene ved at bygge et datavarehus og de mulige afkast.
For et årti eller deromkring siden var cost-benefit-analysen af et data warehousing-projekt ikke særlig høj. Dengang var der to centrale udfordringer. For det første blev datavarehuse bygget fra bunden, og implementering på stedet var organisationernes eneste valg. Dette førte til at bruge mange penge på hardware og menneskelige ressourcer.
For det andet var fejlraten for data warehousing-projekter ret høj. Det ville tage udviklingsteams år efter år at få implementeringen rigtigt, hvilket vil føre til, at organisationer bruger millioner med lavt ROI.
I dag er scenariet anderledes. Omkostningerne ved at bygge et datavarehus er meget mindre end hvad det plejede at være for ti år siden. Til opbevaring kan du vælge skyen for at reducere omkostningerne markant. På samme måde kan du i stedet for at have et dedikeret team til at skrive kode og SQL-forespørgsler til datamodeller, ETL-pipelines og business intelligence-suiter vælge brancheførende værktøjer til en brøkdel af prisen.
Ved brug af moderne data warehouse værktøjerSom Astera DW Builder, du kan reducere omkostningerne for at komme i gang med en data warehousing løsning. Du bruger mindre på infrastruktur, menneskelige ressourcer og vedligeholdelsesomkostninger og mere på det, der betyder noget, det vil sige at udtrække skjulte indsigter fra dine virksomhedsdata. Dette kan betyde forskellen mellem succes og fiasko.
Mens et datavarehus er en betydelig investering, lover det også høje afkast, hvis det gøres rigtigt. Business intelligence, analyser og rapporter, du henter fra et datavarehus, er af stor værdi. De giver dig mulighed for at træffe smartere, mere informerede beslutninger for at drive din virksomheds succes.
Astera DW Builder reducerer omkostningerne til datalager på en storslået måde
Efter at have set på de forskellige omkostningsfaktorer giver det mening at anvende et kraftfuldt værktøj med agile data warehousing-funktioner. Det kan betyde forskellen mellem succes og fiasko for dit moderne data warehouse-initiativ. Ønsker du at skære ned på projektets omkostninger og samtidig sikre en højere kvalitet i implementeringen? Derefter Astera DW Builder er det rigtige valg til din teknologistak.
Astera DW Builder er en samlet platform til data warehouse automation og management. Softwaren giver en alt-i-én løsning til skabe dimensionelle datamodeller, udvikling af ETL-pipelines, strømlining af udrulning til cloud datavarehuse (såsom Amazon RDS og Snowflake), og intelligent styring og vedligeholdelse af dit datavarehus.
Da DW Builder bruger metadata-drevet arkitektur til at automatisere flere EDW-processer for dig, skal dit team fokusere på hvad du har brug for fra datavarehuset snarere end hvordan du vil bygge det omkostningseffektivt.
Da platformen tilbyder et kodeløst miljø til udvikling, gør det det muligt at opsætte, konfigurere og implementere dit datavarehus med et lille team, hvilket sparer dig for at ansætte en stor arbejdsstyrke. Ud over, Astera DW Builder tilbyder en gennemsigtig, årlig abonnementsprismodel, der hjælper dig med bedre at administrere og kontrollere dine datavarehusomkostninger.
Klar til at skære ned på dine datavarehustjenesters omkostninger og prøve Astera DW Builder? Kontakt os i dag for at planlæg en demo eller snak med vores team.
[/ Fusion_text] [/ fusion_builder_column] [/ fusion_builder_row] [/ fusion_builder_container]
Forfattere:
Astera Marketingteam
