Tout ce que vous devez savoir sur le coût de la construction d'un entrepôt de données

By |2021-10-06T11:22:50+00:0031er mars, 2021|
Combien coûte la construction d'un entrepôt de données ?

Coût de construction d'un entrepôt de données

Supposons que votre organisation ait atteint un point où la meilleure approche pour analyser vos données et prendre des décisions éclairées consiste à utiliser un entrepôt de données. De nombreuses organisations conçoivent et construisent un entrepôt de données pour l'intelligence d'affaires et l'analyse de données afin d'acquérir un avantage concurrentiel sur le marché. Avec toutes vos données d'entreprise agrégées dans un référentiel centralisé servant de source unique de vérité, le reporting devient beaucoup plus puissant, menant éventuellement à de meilleures décisions plus rentables pour votre organisation.

Lors du lancement d'un entreposage de données initiative au sein de votre organisation, vous devez répondre à plusieurs questions. Quels outils utiliser ? Devrais-tu construire ou acheter une solution d'entrepôt de données? Quelle serait l'architecture d'entrepôt de données appropriée aux besoins de votre organisation ?

Parmi celles-ci, l'une des questions les plus importantes est la suivante : combien cela coûtera-t-il de créer un entrepôt de données pour votre organisation ? Le calcul du coût moyen de construction d'un entrepôt peut être difficile, en particulier lorsque tant de facteurs et de pièces mobiles sont impliqués dans le cycle de vie du DW.

Dans cet article de blog, nous avons décomposé le coût réel de la construction d'un entrepôt de données et comment vous pouvez déterminer le retour sur investissement de votre initiative d'entreposage.

Composantes de coût dans la construction d'un entrepôt de données

Avant de vous fournir des chiffres précis sur l'estimation du coût d'un entrepôt de données, discutons des composants clés qui affectent le coût d'un entrepôt de données. Étant donné que chaque projet d'entrepôt de données est différent et basé sur les exigences commerciales uniques et les besoins d'analyse avancée, le coût de chaque composant variera.

Voici une ventilation des éléments de coût d'un entrepôt de données:

1. Construisez votre entrepôt de données dans le cloud ou sur site

La première décision que vous devez prendre est de savoir si vous allez stocker toutes vos données sur site ou sur le nuage, c'est-à-dire où votre entrepôt de données sera réellement hébergé. Le stockage sur site nécessite que vous achetiez et mainteniez tout le matériel et les logiciels vous-même, tandis qu'avec une solution basée sur le cloud, vous avez le fournisseur de services cloud pour tout gérer pour vous.

Avec une solution sur site, les avantages sont une plus grande sécurité, un contrôle amélioré sur la manière et le lieu de stockage de vos données, et la possibilité d'accéder et de récupérer vos informations sans compter sur Internet et la connectivité haut débit. Cependant, d'un autre côté, il existe plusieurs frais généraux impliquant un investissement initial élevé, des coûts de maintenance accrus, un risque plus élevé de perte de données et une évolutivité limitée.

Le cloud, en revanche, est le choix de stockage de choix pour la plupart des entreprises. UNE Rapport Flexera 2021 suggère que 87% des entreprises disposant d'un entrepôt de données expérimentent, utilisent actuellement ou prévoient d'utiliser le cloud pour leurs projets d'entrepôt de données. Cela va de pair avec le fait que les entrepôts de données basés sur le cloud sont plus simples à configurer, plus faciles à entretenir et ne nécessitent aucun espace de stockage sur site ni investissement initial. Vous ne payez que ce que vous utilisez et vous avez le luxe d'augmenter ou de réduire les ressources de stockage et de calcul en fonction des besoins de votre entreprise.

2. ETL : écriture manuelle de code par rapport à l'outil ETL

Extraire, Transformer, Charger (ETL) est le processus de déplacement des données du (des) emplacement (s) source vers l'entrepôt de données cible. Cela comprend l'intégration, la migration, la transformation et la synchronisation des données vers votre entrepôt à partir de diverses sources de données.

ETL est un composant essentiel de toute implémentation DW, et le coût dépend de si vous choisissez d'écrire votre propre code et scripts pour ETL en interne ou d'opter pour un outil ETL prêt à l'emploi pour alimenter votre entrepôt de données.

L'écriture de SQL personnalisé pour vos processus ETL permet d'adapter le mouvement des données à l'entrepôt en fonction des besoins de votre entreprise, mais cela implique d'énormes considérations de temps et de budget. Pour coder manuellement les flux ETL, vous aurez besoin d'une équipe dédiée de développeurs ETL qui se coordonnera avec les modélisateurs de données et les experts DW pour construire des pipelines ETL, ce qui peut facilement prendre des mois ou des années.

Contrairement à cela, choisir un outil d'automatisation d'entrepôt de données avec des fonctionnalités ETL intégrées, telles que Astera DW Builder vous permet de créer rapidement des pipelines ETL à un niveau logique. Non seulement cela, sur la base des ressources qui entrent dans le processus manuel, vous pouvez développer des pipelines ETL à une fraction du coût. Ces outils sont polyvalents et robustes. Ils prennent en charge diverses sources de données, différents types de modèles d'entrepôt de données, offrent de nombreuses options de transformation et offrent des capacités d'orchestration de processus pour charger et synchroniser les données entrantes vers les entrepôts.

3. Intelligence d'affaires et rapports

L'objectif principal de la plupart des initiatives d'entreposage de données est d'améliorer la prise de décision grâce à l'intelligence d'affaires (BI) et à l'analyse de données. C'est pourquoi les entrepôts de données sont souvent associés à de puissants outils de reporting et de business intelligence pour visualiser les données, découvrir des informations intelligibles et créer des rapports pour les analyses. Cependant, ces outils de BI et de visualisation ont également un prix.

Les entreprises devront choisir d'acheter une solution BI d'entreprise ou d'utiliser une bibliothèque open source telle que D3.js ou Kibana pour répondre à leurs besoins de visualisation.

Alors que les outils open source offrent plus de liberté, le coût des ressources humaines qui leur sont associées est élevé, car vous avez besoin à la fois de développeurs et d'analystes de données pour créer des visualisations. D'un autre côté, la plupart des outils de BI d'entreprise, tels que Tableau et Microsoft Power BI, sont intuitifs et simples à utiliser, il y a donc peu de frais généraux autres que le coût de l'outil lui-même.

4. Ressources humaines

Que vous utilisiez un outil d'automatisation d'entrepôt de données (DWA) pour créer votre entrepôt de données ou que vous optiez pour une méthode de codage personnalisée, vous aurez besoin d'une équipe de développement qualifiée pour travailler sur le projet. Une équipe de développement d'entrepôt de données typique comprend des développeurs ETL, des ingénieurs de données, des analystes de données, des architectes de données, des responsables des technologies de l'information et des administrateurs de bases de données.

Chaque ressource joue un rôle différent dans le projet, et en fonction de l'approche que vous choisissez, le type et le nombre de personnes dont vous avez besoin varient. Par exemple, lorsque vous optez pour un outil DWA prêt à l'emploi, vous aurez besoin de moins de ressources dans votre équipe de développement, mais si vous optez pour une solution codée sur mesure, vous aurez besoin d'une grande équipe comprenant plusieurs développeurs ETL, des données ingénieurs, modélisateurs de données, DBA et autres pour travailler sur le projet.

5. Autres coûts : maintenance, formation et assistance

Le dernier élément de coût mais souvent oublié d'un entrepôt de données est lié à la maintenance, à la formation, au support (à la fois technique et non technique) et aux mises à niveau. Dans la plupart des cas, vous avez trois options pour gérer ces autres coûts:

  • Embauchez une équipe interne capable de gérer la maintenance, le support et la formation de l'entrepôt de données.
  • Externalisez ces services et tâches à un tiers ou à un fournisseur.
  • Dans le cas d'un entrepôt de données basé sur le cloud à service complet, vous pouvez choisir d'ajouter une formation et une assistance aux frais mensuels.

L'approche choisie dépend de vos exigences et de votre budget uniques, mais en général, chacune a ses propres avantages et inconvénients dans différents scénarios.

Estimation des coûts de l'entrepôt de données pour chaque composant

Pour vous aider à estimer le coût de construction d'un entrepôt de données, voici une ventilation des coûts moyens pour chaque composant répertorié ci-dessus.

Notez que ce ne sont que des estimations de coûts d'entrepôt de données; les coûts exacts dépendront de la taille et de la complexité de votre projet d'entrepôt de données.

1. Coûts de stockage de l'entrepôt de données

Le stockage est peut-être le composant d'entrepôt de données le plus cher, surtout si vous travaillez avec de grandes quantités de données. Selon que vous optez pour un stockage sur site et dans le cloud, vous aurez différentes options de coûts.

Lorsque vous utilisez le stockage dans le cloud, vous payez par gigaoctet ou téraoctet de données et pouvez faire évoluer votre stockage en cas de besoin. Comme il n'y a pas d'investissement initial ou de coûts opérationnels sous forme de matériel, d'espace, d'infrastructure ou d'ingénieurs sur site, le seul coût associé au cloud est le montant que vous payez chaque mois (ou chaque année). Les solutions de stockage cloud les plus populaires (telles qu'Amazon S3, Microsoft Azure et Google Cloud Storage) coûtent entre 18.8 $ à 26.6 $ par téraoctet (To) par mois (225.6 $ à 319.2 $ par année).

D'un autre côté, vous devez faire un investissement initial pour le stockage sur site afin d'installer et de configurer le matériel et l'infrastructure dont vous aurez besoin pour stocker vos données. Cela comprendra des machines serveurs, des disques de stockage, des accessoires réseau et des ingénieurs qui géreront et configureront tout. Les coûts initiaux peuvent commencer à partir de 3500 $ et augmentez en fonction du volume de données et de la redondance dont vous avez besoin. Outre le coût initial, les coûts opérationnels tels que l'électricité et les coûts de soutien et de maintenance sur site peuvent être de 1000 12,000 $ + mois (XNUMX XNUMX $ par an).

2. ETL et coûts d'intégration de données pour l'entreposage de données

Pour ETL, vous pouvez choisir d'utiliser des outils open source tels que SSIS pour coder manuellement votre propre solution d'intégration de données. Bien que cela n'implique pas de frais de licence, vous devrez engager des développeurs et des architectes de données pour développer cette solution. En fonction du nombre de ressources dont vous avez besoin, les pipelines ETL codés sur mesure peuvent coûter plus de 100,000 XNUMX $ et plus et prendre des mois ou des années de développement.

Contrairement à cela, si vous choisissez d'utiliser un outil ETL dédié, comme Astera Centerprise, ou une solution DWA avec une fonctionnalité ETL intégrée, telle que Astera DW Builder, les coûts varient selon que vous achetez une licence à prix fixe ou un modèle de paiement à l'utilisation à prix variable. Dans les deux cas, les coûts moyens entre 100 $ et 4,000 $ et plus par mois, en fonction de l'outil et de vos besoins.

3. Coûts de la BI et de l'analyse des données

La solution moyenne de Business Intelligence coûte n'importe où entre $ 600 à 6,000 $ par année. Vous pouvez trouver plusieurs outils BI sur le marché, tels que Microsoft PowerBI, Tableau, Domo, Qlik et autres. Comme avec les outils DWA, vous pouvez soit payer un prix de licence fixe pour ces outils, soit payer selon l'utilisation.

D'autre part, si vous recherchez une option budgétaire, vous pouvez opter pour des outils open-source et gratuits tels que la pile ELK (Elasticsearch, Logstash et Kibana) ou D3.js. Cependant, tout comme avec la plupart des solutions open source, vous aurez besoin de ressources techniques disponibles pour personnaliser et maintenir vos visualisations et rapports pour vous.

4. Coûts de main-d'œuvre pour le projet d'entreposage de données

Nous avons répertorié les principaux types de ressources humaines dont vous aurez besoin dans un projet d'entrepôt de données plus tôt dans cet article de blog. Voici une ventilation des salaires de ces ressources:

Il convient de mentionner ici que ce ne sont que des chiffres moyens pour de tels rôles, et les taux réels dépendront du taux du marché dans la région / le pays où vous embauchez les ressources. Vous devrez également prendre en compte les coûts tels que le recrutement et la formation.

5. Autres coûts liés à l'entrepôt de données

Le coût de la maintenance et de l'assistance est généralement difficile à estimer à l'avance. Cela peut inclure la correction des flux ETL interrompus lorsque les sources changent, la mise à jour de l'entrepôt de données pour intégrer de nouveaux systèmes, la modification des configurations des entités parallèlement aux tests réguliers, etc. Cependant, en moyenne, les entreprises allouent n'importe où entre 56% et 72% de leur budget annuel d'entrepôt de données à la maintenance et au support. Supposons donc que vous disposiez d'un budget de 100,000 USD par an pour votre initiative d'entrepôt de données après son déploiement et sa configuration.Dans ce cas, 56,000 USD à 72,000 USD par an seraient dépensés pour la maintenance, la formation et le support de l'entrepôt de données.

Dans la plupart des cas, cela implique le coût de l'équipe technique interne qui gérera et maintiendra votre entrepôt de données. Comme pour les autres composants de coût, l'approche que vous utilisez pour créer votre entrepôt de données a un impact considérable (cloud vs sur site, pipelines ETL de code personnalisé vs interface glisser-déposer, etc.) sur le montant de ces autres coûts. .

Quel est le coût moyen de la mise en œuvre de l'entrepôt de données?

Pour résumer tous les coûts d'entrepôt de données en une seule section concise, en utilisant la ventilation que nous avons fournie ci-dessus pour tous les composants d'un entrepôt de données, voici quelques chiffres estimés (moyens) sur le coût annuel d'une mise en œuvre d'un entrepôt de données :

Stockage (Cloud): 273 $ par To et par an (à 22.7 $ par To et par mois).

Stockage (sur site): 12,000 1,000 $ par an (à XNUMX XNUMX $ par mois).

Logiciel de Business Intelligence / Visualisation: 3,000 250 $ par an (à XNUMX XNUMX $ par mois).

Outil ETL: 24,600 2,050 $ par an (à XNUMX XNUMX $ par mois).

Ressources Humaines: 268,079 XNUMX $ par an (en supposant que vous ayez besoin, au minimum, d'un architecte de base de données, d'un analyste de données et d'un ingénieur de données).

Autres coûts et entretien: 64,000 $ par an.

Pour résumer ces chiffres, le coût moyen de construction d'un entrepôt de données avec stockage en nuage est d'environ 359,951 $ par an, et avec le stockage sur site, c'est environ 372,279 $ par année. Cependant, le coût réel dépendra de divers facteurs discutés dans les sections précédentes. Par conséquent, les questions à se poser lors de la création d'un entrepôt de données sont les suivantes:

  • De combien de stockage avons-nous besoin?
  • Souhaitons-nous stocker mes données sur le cloud ou sur site?
  • Devrions-nous créer un entrepôt de données à partir de zéro ou acheter une solution d'entrepôt de données en tant que service (DWaaS)?
  • Devrions-nous utiliser un outil ETL payant à l'utilisation ou écrire nos propres solutions personnalisées? Existe-t-il des considérations pour la création d'un entrepôt de données en temps réel?
  • De combien de ressources aurons-nous besoin pour gérer, maintenir et soutenir notre projet d'entrepôt de données?

En fonction de vos réponses, les coûts réels de création d'un entrepôt de données pour votre organisation peuvent être compris entre 1,000 200 et XNUMX millions de dollars par an.

L'entrepôt de données est-il un investissement rentable?

Passons maintenant aux considérations de retour sur investissement pour la création d'un entrepôt de données. Car avant de faire un tel investissement, il est important de connaître les avantages de la construction d'un entrepôt de données et si une telle initiative vous donnera les retours rentables que vous attendez.

Il y a une dizaine d'années, l'analyse coûts-avantages d'un projet d'entreposage de données n'était pas très élevée. À l'époque, il y avait deux défis majeurs. Premièrement, les entrepôts de données ont été construits à partir de zéro, et la mise en œuvre sur site était le seul choix que les organisations avaient, ce qui a conduit à dépenser beaucoup d'argent en matériel et en ressources humaines. Deuxièmement, le taux d'échec des projets d'entreposage de données était assez élevé et parfois, il fallait des années et des années aux équipes de développement pour obtenir la bonne mise en œuvre, ce qui conduisait les organisations à dépenser des millions avec un faible retour sur investissement.

Aujourd'hui, le scénario est différent. Le coût de construction d'un entrepôt de données est bien inférieur à ce qu'il était il y a dix ans. Pour le stockage, vous pouvez opter pour le cloud pour réduire considérablement les coûts. De même, au lieu d'avoir une équipe dédiée pour écrire du code et des requêtes SQL pour les modèles de données, les pipelines ETL et la suite de Business Intelligence, vous pouvez opter pour des outils de pointe qui sont disponibles à une fraction du coût.

En utilisant outils modernes d'entrepôt de données, comme Astera DW Builder, vous pouvez réduire le facteur de coût et fournir une grande partie du passe-partout dont vous avez besoin pour démarrer un projet d'entreposage de données. Vous dépensez moins sur les frais généraux de l'infrastructure, des ressources humaines et de la maintenance et plus sur ce qui compte réellement, c'est-à-dire extraire des informations cachées de vos données d'entreprise qui peuvent faire la différence entre le succès et l'échec.

Dans l'ensemble, si un entrepôt de données est un investissement considérable, il promet également des rendements élevés s'il est bien fait. L'intelligence d'affaires, les analyses et les rapports que vous obtenez à partir d'un entrepôt de données sont d'une grande valeur, vous permettant de prendre des décisions plus intelligentes et plus éclairées pour stimuler le succès de votre entreprise.

Astera DW Builder réduit les coûts d'entreposage de données de manière significative

Après avoir examiné les différents facteurs de coûts, il est logique d'adopter un outil puissant doté de capacités d'entreposage de données agiles. Cela peut faire la différence entre le succès et l'échec de votre initiative d'entrepôt de données moderne. Si vous cherchez à réduire les coûts du projet tout en garantissant une meilleure qualité de mise en œuvre, alors Astera DW Builder est le bon choix pour votre pile technologique.

Astera Constructeur DW est une plateforme unifiée pour l'automatisation et la gestion des entrepôts de données. Le logiciel vous offre une solution tout-en-un pour création de modèles de données dimensionnelles, développement de pipelines ETL, rationalisation du déploiement pour entrepôts de données cloud (comme Amazon RDS et Snowflake), et gérer et maintenir intelligemment votre entrepôt de données. Étant donné que DW Builder utilise une architecture basée sur les métadonnées pour automatiser plusieurs processus EDW pour vous, tout ce dont votre équipe a besoin est de se concentrer sur ce dont vous avez besoin de l'entrepôt de données plutôt que comment vous allez le construire de manière rentable.

Étant donné que la plate-forme offre un environnement de développement sans code, elle permet d'installer, de configurer et de mettre en œuvre votre entrepôt de données avec une petite équipe, ce qui vous évite d'embaucher une main-d'œuvre importante. En plus, Astera DW Builder propose un modèle de tarification d'abonnement annuel transparent qui vous aide à mieux gérer et contrôler les coûts de votre entrepôt de données.

Prêt à réduire vos coûts d'entreposage de données et à donner Astera DW Builder un essai? Contactez-nous aujourd'hui pour planifier une démo ou parlez à notre équipe.