Автоматизированный, Без кода Стек данных
Научиться Astera Data Stack может упростить и оптимизировать управление данными вашего предприятия.
Все, что вам нужно знать о стоимости создания хранилища данных
Предположим, ваша организация достигла точки, когда лучший подход к анализу ваших данных и принятию обоснованных решений — это хранилище данных. Многие организации проектируют и создают хранилища данных для бизнес-аналитики и управления данными, чтобы получить конкурентное преимущество на рынке.
Поскольку все ваши бизнес-данные собраны в централизованном хранилище, которое служит единым источником достоверной информации, отчетность становится гораздо более эффективной, что в конечном итоге приводит к принятию более эффективных и прибыльных решений для вашей организации.
При запуске хранилище данных инициативу внутри вашей организации, вам необходимо ответить на несколько вопросов. Какие инструменты следует использовать? Вы должны построить или купить решение для хранилища данных? Или вам следует обратиться к аутсорсингу хранилищ данных? Что было бы уместно архитектура хранилища данных для нужд вашей организации?
Среди них один из наиболее важных вопросов: сколько будет стоить создание хранилища данных для вашей организации? Расчет средней стоимости строительства склада может оказаться сложной задачей, особенно если в жизненный цикл хранилища вовлечено множество факторов и движущихся частей.
В этом сообщении блога мы рассказали о реальной стоимости создания хранилища данных и о том, как вы можете определить рентабельность инвестиций в свою инициативу по созданию хранилища.
Как оценить стоимость создания хранилища данных
Как и в любом другом проекте, существуют виды затрат, связанных с созданием хранилища данных: переменные и постоянные затраты. Прежде чем начать свой проект, вам необходимо иметь хорошее представление о ваших постоянных и переменных расходах. Если вы выберете традиционное локальное хранилище данных, то вам придется столкнуться с большой частью постоянных затрат, включая первоначальные инвестиции в серверы и устройства хранения данных. Сюда также будут включены единовременные затраты на настройку этой инфраструктуры, включая настройку сети, настройку центра обработки данных (если применимо) и т. д.
Однако если вы выберете облачное хранилище данных, такое как Snowflake, Amazon Redshift или Google BigQuery, то большая часть ваших затрат будет переменной. Обычно они включают затраты на облачные вычисления, которые зависят от объема используемого хранилища, потребляемых вычислительных ресурсов и передачи данных, а также затраты на хранение данных и затраты на передачу данных, если вы перемещаете данные между различными системами или между сетями.
Кроме того, есть типичные затраты, такие как затраты на бизнес и разведку, а также затраты на рабочую силу. Ваши затраты на рабочую силу будут выше, если вы выберете локальное решение и тип используемого вами программного обеспечения ETL. Облачные платформы проще в настройке, и если вы выберете инструмент ETL без кода, такой как Astera Создатель хранилища данных, тогда ваши затраты значительно снизятся.
Модельно-ориентированный подход
Компоненты затрат на создание хранилища данных
Сначала давайте обсудим ключевые компоненты, влияющие на стоимость хранилища данных. Поскольку каждый проект хранилища данных индивидуален, стоимость каждого компонента будет разной.
Вот разбивка составляющих затрат информационное хранилище:
1. Создайте свое хранилище данных в облаке или локально.
Первое решение — разместить хранилище данных локально или на облако. Локальное хранилище требует приобретения и обслуживания всего оборудования и программного обеспечения самостоятельно. Благодаря облачному решению у вас есть поставщик облачных услуг, который сделает все необходимое.
Преимущества локального решения:
1) большая безопасность.
2) улучшенный контроль над тем, как и где хранятся ваши данные.
3) доступ и извлечение вашей информации, не полагаясь на высокоскоростной Интернет и возможность подключения.
Однако, с другой стороны, некоторые накладные расходы связаны с высокими первоначальными инвестициями, увеличением затрат на обслуживание, более высоким риском потери данных и ограниченной масштабируемостью.
Облако, с другой стороны, является лучшим выбором для большинства предприятий. А Отчет Flexera за 2021 год предполагает, что 87% предприятий, имеющих хранилища данных, либо экспериментируют, либо в настоящее время используют, либо планируют использовать облако для своих проектов хранилищ данных.
Это связано с тем, что облачные хранилища данных проще настроить, легче обслуживать и не требуют локального пространства для хранения. Вы платите только за то, что используете, и можете позволить себе увеличивать или уменьшать объем хранилища и вычислительных ресурсов. Калькулятор стоимости строительства склада упрощает оценку ваших вариантов.
2. ETL: написание кода вручную или инструмент ETL
Извлечь, преобразовать, загрузить (ETL) включает в себя перемещение данных из исходного местоположения в целевое хранилище данных. Сюда входит интеграция, миграция, преобразование и синхронизация данных в ваше хранилище из различных источников данных.
ETL — это основной компонент любой реализации хранилища данных., а стоимость зависит от того, пишете ли вы собственный код или выбираете инструмент ETL.
Написание собственного SQL для ваших процессов ETL позволяет адаптировать перемещение данных в хранилище в соответствии с потребностями вашего бизнеса. Но это требует огромных затрат времени и бюджета.
Вам понадобится специальная команда разработчиков ETL для ручного кодирования потоков ETL. Они также должны координировать свои действия с разработчиками моделей данных и экспертами по DW для построения конвейеров ETL. Это может занять месяцы или годы.
В отличие от этого, выбирая инструмент автоматизации хранилища данных со встроенными функциями ETL, такими как Astera DW Builder позволяет быстро создавать конвейеры ETL на логическом уровне.
Кроме того, вы можете разработать конвейеры ETL за небольшую плату. Такие инструменты универсальны и надежны. Они поддерживают различные источники данных и модели хранилищ, предоставляют множество вариантов преобразования и предлагают возможности оркестрации процессов для загрузки и синхронизации входящих данных в хранилища.
3. Бизнес-аналитика и отчетность
Большинство инициатив по хранению данных направлены на улучшение процесса принятия решений с помощью бизнес-аналитики (BI) и анализа данных. Вот почему хранилища данных часто сочетаются с инструментами бизнес-аналитики для визуализации данных, получения ценной информации и создания отчетов для анализа. Однако эти инструменты бизнес-аналитики и визуализации также имеют свою цену.
Компании должны выбрать корпоративное решение BI и использовать библиотеку с открытым исходным кодом, например D3.js или Кибана для визуализаций.
Хотя инструменты с открытым исходным кодом предлагают больше свободы, они требуют высоких затрат человеческих ресурсов. Это потому, что для создания визуализаций вам нужны разработчики и аналитики данных. С другой стороны, большинство корпоративных инструментов бизнес-аналитики, таких как Живая картина и Microsoft Power BI, интуитивно понятны и просты в использовании. Следовательно, есть небольшие накладные расходы, кроме стоимости самого инструмента.
4. Отдел кадров
Независимо от того, используете ли вы инструмент автоматизации хранилища данных (DWA) или собственный метод кодирования, вам понадобится квалифицированная команда разработчиков. Типичная команда разработчиков хранилища данных включает в себя разработчиков ETL, инженеров данных, аналитиков данных, архитекторов данных, менеджеров по информационным технологиям и администраторов баз данных.
Каждый ресурс играет различную роль в проекте. Тип и количество необходимых вам людей будут варьироваться в зависимости от выбранного вами подхода. Например, если вы выберете готовый инструмент DWA, вам понадобится меньше ресурсов в вашей команде разработчиков.
Тем не менее, предположим, что вы собираетесь использовать решение с индивидуальным кодом. В этом случае для работы над проектом вам понадобится большая команда, состоящая из нескольких разработчиков ETL, инженеров данных, разработчиков моделей данных и администраторов баз данных.
5. Прочие затраты: обслуживание, обучение и поддержка.
Последний, но часто забываемый компонент затрат на хранилище данных связан с обслуживанием, обучением, поддержкой (как технической, так и нетехнической) и обновлениями. В большинстве случаев у вас есть три варианта управления этими другими расходами:
- Наймите внутреннюю команду, которая сможет заниматься обслуживанием, поддержкой и обучением хранилища данных.
- Передайте такие услуги и задачи третьей стороне или поставщику.
- В случае облачного хранилища данных с полным спектром услуг вы можете добавить к ежемесячной плате обучение и поддержку.
Выбранный вами подход зависит от ваших уникальных требований и бюджета, но каждый из них имеет свои преимущества и недостатки в разных сценариях.
Оценка стоимости хранилища данных для каждого компонента
Чтобы помочь вам оценить стоимость создания хранилища данных, ниже приведена разбивка средних затрат для каждого компонента, перечисленного выше.
Обратите внимание, что это всего лишь оценки затрат на хранилище данных; точная стоимость будет зависеть от размера и сложности вашего проекта.
1. Затраты на хранение хранилища данных
Хранилище — пожалуй, самый дорогой компонент хранилища данных, особенно при работе с большими объемами данных. В зависимости от того, используете ли вы локальное или облачное хранилище, у вас будут разные варианты стоимости.
При использовании облачного хранилища вы платите за гигабайт или терабайт данных и можете масштабировать свое хранилище по мере необходимости. Поскольку не требуется никаких первоначальных инвестиций или эксплуатационных затрат на оборудование, пространство, инфраструктуру или инженеров на месте, единственные затраты, связанные с облаком, — это сумма, которую вы платите каждый месяц (или каждый год).
Самые популярные решения облачного хранения (например, Amazon Redshift, Microsoft Azureкачества Google Большой запрос) стоимость между От 18.8 до 26.6 долларов США за терабайт (ТБ) в месяц ($ 225.6 до $ 319.2 в год).
С другой стороны, вам необходимо сделать некоторые первоначальные инвестиции в локальное хранилище данных. Сюда входят затраты на установку и настройку оборудования и инфраструктуры, которые вам понадобятся для хранения ваших данных. Сюда войдут серверы, диски хранения, сетевые аксессуары и инженеры, которые будут всем управлять и настраивать.
Первоначальные затраты могут начаться от 3500 доллара. Она может увеличиваться в зависимости от объема данных и необходимой вам избыточности. Помимо первоначальных затрат, могут быть включены эксплуатационные расходы, такие как электроэнергия, поддержка и техническое обслуживание на месте. $ 1000 + в месяц ($ 12,000 в год).
2. Затраты на ETL и интеграцию данных для хранения данных
Для ETL вы можете использовать инструменты с открытым исходным кодом, такие как SSIS, чтобы вручную написать собственное решение для интеграции данных. Хотя это не потребует затрат на лицензирование, вам придется нанять разработчиков и архитекторов данных для разработки этого решения. В зависимости от количества необходимых вам ресурсов, конвейеры ETL с индивидуальным кодом могут стоить более 100,000 XNUMX долларов США и месяцев или лет разработки.
Затраты будут зависеть от того, решите ли вы использовать специальный инструмент ETL, например Astera Centerpriseили решение DWA со встроенными функциями ETL, например Astera DW Builder, либо приобретаете ли вы лицензию с фиксированной ценой или модель с оплатой по факту использования с переменной ценой. В любом случае средние затраты от 100 до 4,000 долларов США в месяц, в зависимости от инструмента и ваших требований.
3. Затраты на BI и анализ данных
Среднее решение для бизнес-аналитики стоит где-то между $ 600 до $ 6,000 в год. На рынке вы можете найти несколько инструментов BI, таких как Microsoft PowerBI, Tableau, Domo, Qlik и т. д. Как и в случае с инструментами DWA, вы можете либо заплатить фиксированную цену лицензии за эти инструменты, либо платить по факту использования.
Если вам нужен бюджетный вариант, вы можете использовать инструменты с открытым исходным кодом, такие как ELK (Elasticsearch, Logstash и Kibana) стек или D3.js. Однако, как и в случае с большинством решений с открытым исходным кодом, вам потребуются технические ресурсы для настройки и поддержки визуализаций и отчетов.
4. Затраты на рабочую силу для проекта хранилища данных
Ранее в этом сообщении блога мы перечислили ключевые типы человеческих ресурсов, которые вам понадобятся в проекте хранилища данных. Вот разбивка зарплат на таких ресурсах:
- Менеджеры по информационным технологиям: $ 88,767 в год
- Разработчики: $ 72,048 в год
- Архитекторы баз данных: $ 114,515 в год
- Архитекторы данных: $ 120,248 в год
- Инженеры данных: $ 92,352 в год
- Аналитики данных: $ 61,212 в год
Здесь стоит отметить, что это всего лишь средние цифры для таких должностей, а фактические ставки будут зависеть от рыночной ставки в регионе/стране, в которой вы нанимаете ресурсы. Вам также необходимо будет учитывать такие затраты, как набор и обучение.
5. Прочие расходы, связанные с хранилищем данных.
Стоимость обслуживания и поддержки обычно трудно оценить заранее. Это может включать в себя исправление нарушенных потоков ETL при изменении источников, обновление хранилища данных для интеграции новых систем, изменение конфигураций сущностей наряду с регулярным тестированием и другое.
Однако в среднем компании выделяют от 56% до 72% своего годового бюджета хранилища данных на обслуживание и поддержку. Итак, предположим, что у вас есть бюджет в размере 100,000 56,000 долларов США в год на реализацию инициативы по созданию хранилища данных после его развертывания и настройки. В этом случае от 72,000 XNUMX до XNUMX XNUMX долларов в год будут потрачены на обслуживание, обучение и поддержку хранилища данных.
В большинстве случаев это включает в себя расходы на внутреннюю техническую команду, управляющую и обслуживающую ваше хранилище данных. Как и в случае с другими компонентами затрат, подход, который вы используете для создания хранилища данных, сильно влияет (облако или локально, ETL-конвейеры с пользовательским кодом или интерфейс перетаскивания и т. д.) на то, насколько велики будут эти другие затраты. .
с нуля
Какова средняя стоимость внедрения хранилища данных?
Используя приведенную выше разбивку, вот примерные (средние) цифры годовой стоимости внедрения хранилища данных:
Хранилище (облако): 273 доллара США за ТБ в год (22.7 доллара США за ТБ в месяц).
Хранилище (локальное): 12,000 1,000 долларов в год (XNUMX XNUMX долларов в месяц).
Программное обеспечение для бизнес-аналитики/визуализации: 3,000 250 долларов в год (XNUMX XNUMX долларов в месяц).
Инструмент ETL: 24,600 2,050 долларов в год (XNUMX XNUMX долларов в месяц).
Отдел кадров: 268,079 XNUMX долларов в год (при условии, что вам нужен как минимум архитектор базы данных, аналитик данных и инженер данных).
Прочие расходы и обслуживание: $ 64,000 в год.
Суммируя эти цифры, средняя стоимость создания хранилища данных с облачным хранилищем составляет около $359,951 XNUMX в год.. При использовании локального хранилища речь идет о $ 372,279 в год. Однако истинная стоимость будет зависеть от различных факторов, обсуждавшихся в предыдущих разделах. Таким образом, вопросы, которые следует задать при создании хранилища данных:
- Сколько места нам нужно?
- Хотим ли мы хранить мои данные в облаке или локально?
- Стоит ли нам создавать хранилище данных с нуля или покупать решение «Хранилище данных как услуга» (DWaaS)?
- Должны ли мы использовать ETL-инструмент с оплатой по факту использования или написать собственные решения? Есть ли какие-либо соображения по поводу создания хранилища данных в реальном времени?
- Сколько ресурсов нам понадобится для управления, обслуживания и поддержки нашего проекта хранилища данных?
Судя по вашим ответам, фактические затраты на создание хранилища данных могут составлять от 1,000 до 200 миллионов долларов в год.
Является ли хранилище данных выгодной инвестицией?
Перейдем к рассмотрению рентабельности инвестиций в создание хранилища данных. Прежде чем делать такие инвестиции, важно знать преимущества создания хранилища данных и возможную прибыль.
Примерно десять лет назад анализ затрат и выгод проекта по хранению данных был не очень высоким. Тогда существовало две ключевые проблемы. Во-первых, хранилища данных создавались с нуля, и единственным выбором организаций была локальная реализация. Это привело к трате больших денег на оборудование и человеческие ресурсы.
Во-вторых, процент неудач проектов по хранению данных был довольно высоким. Командам разработчиков потребуются годы и годы, чтобы добиться правильной реализации, в результате чего организации будут тратить миллионы при низкой рентабельности инвестиций.
Сегодня сценарий иной. Стоимость создания хранилища данных намного ниже, чем десять лет назад. В качестве хранилища вы можете выбрать облако, чтобы значительно сократить расходы. Аналогичным образом, вместо того, чтобы иметь специальную команду для написания кода и SQL-запросов для моделей данных, конвейеров ETL и пакетов бизнес-аналитики, вы можете выбрать ведущие в отрасли инструменты, доступные за небольшую часть стоимости.
. современные инструменты хранилища данных, Как Astera DW Builder, вы можете сократить расходы, приступив к работе с решением для хранения данных. Вы тратите меньше на инфраструктуру, человеческие ресурсы и накладные расходы на обслуживание и больше на то, что действительно важно, то есть на извлечение скрытой информации из ваших бизнес-данных. Это может означать разницу между успехом и неудачей.
Хотя хранилище данных — это значительная инвестиция, оно также обещает высокую прибыль, если все сделано правильно. Бизнес-аналитика, аналитика и отчеты, которые вы получаете из хранилища данных, имеют огромную ценность. Они позволяют вам принимать более разумные и обоснованные решения для достижения успеха вашего бизнеса.
Astera DW Builder существенно снижает затраты на хранение данных
Учитывая различные факторы затрат, имеет смысл выбрать мощный инструмент с гибкими возможностями хранения данных. Это может означать разницу между успехом и провалом вашей современной инициативы по хранению данных. Вы хотите сократить расходы на проект, обеспечив при этом более высокое качество реализации? Затем Astera DW Builder — правильный выбор для вашего технологического стека.
Astera Построитель хранилища данных — единая платформа для автоматизации и управления хранилищем данных. Программное обеспечение представляет собой комплексное решение для создание многомерных моделей данных, разработка конвейеров ETL, оптимизация развертывания облачные хранилища данных (например, Amazon RDS и Snowflake), а также интеллектуальное управление и обслуживание вашего хранилища данных.
Поскольку DW Builder использует архитектуру на основе метаданных для автоматизации некоторых процессов EDW, вашей команде необходимо сосредоточиться на что вам нужно от хранилища данных , а не как вы построите его экономически эффективно.
Поскольку платформа предлагает среду разработки без программирования, она позволяет установить, настроить и внедрить хранилище данных небольшой командой, избавляя вас от найма большого количества сотрудников. Кроме того, Astera DW Builder предлагает прозрачную модель ценообразования на годовую подписку, которая помогает вам лучше управлять расходами на хранилище данных и контролировать их.
Готовы сократить расходы на услуги хранения данных и попробовать Astera Строитель ДВ? Свяжитесь с нами сегодня, чтобы запланировать демонстрацию или поговорите с нашей командой.
[/ fusion_text] [/ fusion_builder_column] [/ fusion_builder_row] [/ fusion_builder_container]
