Миграция хранилища данных в облако: полное руководство

Миграция хранилища данных в облако имеет решающее значение.

По мере того, как организации начинают осознавать необходимость и важность анализа данных, все больше и больше из них рассматривают возможность внедрения корпоративного хранилища данных, чтобы использовать данные, которые в противном случае были бы заперты в хранилищах. Помимо помощи организациям в консолидации своих данных, информационное хранилище может использоваться для ведения истории данных и упрощения запроса данных.

Хотя как локальные, так и облачные хранилища данных предлагают огромные преимущества, большинство организаций сегодня предпочитают миграцию хранилищ данных в облако современным облачным хранилищам данных по сравнению с устаревшими хранилищами данных из-за повышенной гибкости, масштабируемости и безопасности, которые они предлагают. .

Облачные хранилища данных также предлагают большую гибкость и могут быть менее затратными для организаций, которые только начинают понимать, какие функции им понадобятся и сколько места для хранения будет достаточно для их проектов.

Хотя как локальные, так и облачные хранилища данных предлагают огромные преимущества, большинство организаций сегодня предпочитают использовать современные облачные хранилища данных по сравнению с устаревшими хранилищами данных из-за повышенной гибкости, масштабируемости и безопасности, которые они предлагают.

Облачные хранилища данных также предлагают большую гибкость и могут быть менее затратными для организаций, которые только начинают понимать, какие функции им понадобятся и сколько места для хранения будет достаточно для их проектов.

Подумываете о переносе своей архитектуры анализа данных в облако? Здесь вы найдете все, что вам нужно знать о миграции хранилищ данных в облако и о том, как сделать миграцию хранилища данных гладкой и легкой.

Что такое локальные и облачные хранилища данных?

Организациям, использующим локальное хранилище данных, необходимо приобрести все оборудование для хранения, в котором будут храниться их данные. Они также будут нести ответственность за создание необходимой инфраструктуры в выбранном ими физическом месте и все последующие действия по техническому обслуживанию этого оборудования.

Обратное верно для облачные хранилища данных.

Поставщик облачного хранилища данных заботится обо всем оборудовании и обслуживании конвейеров данных и хранилища данных. Более того, большинство поставщиков облачных хранилищ данных также позволяют пользователям платить только за те услуги, которыми они воспользовались, что позволяет организациям масштабировать свою архитектуру в зависимости от требований к хранению и обработке.

Важность перехода в облако при модернизации хранилищ данных

Облачное хранилище данных предлагает несколько уникальных преимуществ, которые недоступны при использовании локальных хранилищ данных. Вот несколько причин, по которым вашей организации следует перенести свое хранилище данных в облако:

Использование стратегии модернизации хранилища данных, ориентированной на автоматизацию

В рамках этой стратегии упор делается на автоматизацию хранилищ данных. Автоматизация ускоряет весь процесс, будь то проект миграции облачного хранилища данных с нуля или модернизация существующих устаревших систем.

Проект модернизации по существу начинается с инструментов, которые облегчают модернизацию путем автоматизации определенных процессов на протяжении всего процесса миграции. В этом случае предприятия используют комплексные платформы для ускорения каждого аспекта модернизации своего хранилища данных, от приема данных до миграции в облако.

Снижение затрат и расширение возможностей пользователей данных

Облачное хранилище данных может стоить намного дешевле, чем локальное хранилище данных, по нескольким причинам. Имея облачное хранилище данных, вам не нужно беспокоиться о покупке оборудования для хранения, безопасности или чего-либо еще. Такая первоначальная стоимость локальных хранилищ данных может стать сдерживающим фактором для организаций с ограниченным бюджетом.

Кроме того, облако решение для хранилища данных Поставщики предлагают ряд функций и возможностей с оплатой по мере использования, что упрощает организациям экспериментирование и выяснение того, что им нужно и что лучше всего подходит для их аналитических решений.

Кроме того, современные инструменты автоматизации хранилищ данных избавляют от необходимости писать код и предоставляют интуитивно понятный интерфейс «укажи и щелкни», позволяющий конечному пользователю взять на себя ответственность за свои инициативы по бизнес-аналитике. Это обеспечивает гарантированную экономию средств, поскольку унифицированная платформа миграции позволяет конечным пользователям создавать индивидуальный путь миграции на основе их текущей архитектуры данных и будущих требований, не полагаясь на технические группы и консультантов.

Предотвращение привязки к поставщику

Современные инструменты автоматизации не зависят от платформы, а это означает, что они одинаково хорошо работают в различных облачных средах. Эта возможность защищает предприятия от проблем с привязкой к поставщику, поскольку эти современные инструменты позволяют им модернизировать свои хранилища данных, развертывая их на выбранной ими платформе, не беспокоясь о перекодировании конвейеров данных или потере важных данных.

Поддержка различных подходов к миграции в облако

Инструменты автоматической миграции в облако играют важную роль в различных подходах к миграции. Например, автоматизация позволяет вам либо поднять и переместить (посредством модели «инфраструктура как услуга»), «скопировать и заменить» (переплатформирование), либо использовать гибридную облачную архитектуру с некоторыми системами локально, а некоторые — внутри. облако.

Более того, процесс миграции, основанный на автоматизации, невосприимчив к человеческим ошибкам и защищает от потери данных и простоев. Все это приводит к значительному сокращению времени миграции, снижению общих затрат на миграцию и, что наиболее важно, к минимальным перебоям в бизнес-операциях.

Масштабирование аналитики

Облачные хранилища данных предлагают огромную масштабируемость и гибкость для организаций, стремящихся улучшить свои аналитические усилия. Эластичность, предлагаемая поставщиками решений для облачных хранилищ данных, также дает организациям свободу увеличивать или уменьшать масштаб по мере необходимости.

Ускорение интеграции и обработки данных

В облачных хранилищах данных обычно используется метод ELT для интеграции и обработки данных гораздо быстрее, чем в локальных хранилищах данных. Пользователи могут использовать возможности массовой параллельной обработки (MPP) облачных платформ, таких как Amazon Redshift и Microsoft Azure, для построения конвейеров ELT в свое хранилище данных и из него.

Доступно ELT, пользователям больше не нужно использовать свое собственное оборудование выполнять дорогостоящие преобразования. Вместо этого они могут использовать возможности целевой платформы для выполнения этих операций гораздо быстрее без ненужного перемещения данных.

Предпосылки оптимальной стратегии миграции в облако

Инсайты McKinsey показало, что компании из списка Fortune 500 могут получить прибыль в размере 1 триллиона долларов за счет внедрения облачных технологий. Хотя большинство организаций теперь осознают огромную ценность миграции в облако, реальная реализация этих инициатив – это совсем другой вопрос.

Сроки миграции в облако существенно сократились. Такие компании, как Netflix потребовалось семь лет для перехода в облако. При такой большой конкуренции предприятиям теперь приходится совершать этот подвиг за год.

Для реализации перехода от массового копирования и замены к гибридным центрам обработки данных можно использовать различные стратегии. Легче сказать, чем сделать, выбрать подход и архитектуру, которые лучше всего подходят для вашего бизнеса, найти опыт и технологии для поддержки облачных вычислений и, наконец, разработать план внедрения, отвечающий потребностям всех заинтересованных сторон.

Давайте посмотрим на элементы, которые должны определять эффективную стратегию миграции в облако.

Факторы успешной миграции хранилища данных в облако

Хотя миграция хранилищ данных в облако имеет важное значение, миграция в облако сопряжена с рядом проблем. проблемы. По этой причине при планировании стратегии миграции облачного хранилища данных важно учитывать несколько внутренних и внешних факторов, чтобы обеспечить плавный и беспроблемный переход.

Оцените существующее хранилище данных

Оценка существующего хранилища данных — один из наиболее важных шагов при подготовке к миграции в облако. Тщательная оценка не только позволит вам точно определить, как ваши системы, приложения, модели данных и другие зависимости взаимодействуют друг с другом, но вы также сможете определить, чего не хватает в вашей текущей системе, что позволит вам устранить любые возникающие проблемы. этими недостатками вашего нового хранилища данных.

Выполнение тщательной оценки без какой-либо предвзятости также поможет вам определить, какой подход к миграции хранилища данных будет работать лучше всего, учитывая состояние вашего текущего хранилища данных. Обязательно держите под рукой контрольный список оценки миграции из облака, чтобы убедиться, что в процессе миграции из локальной среды в облако все в порядке.

Создайте стратегию миграции в облако

Первое, что вам нужно сделать, задумываясь о переносе хранилища данных в облако, — это разработать стратегию.

Стратегия миграции облачного хранилища данных гарантирует, что ваши системы и команды не будут перегружены попытками сделать слишком много слишком быстро. В то время как некоторые организации предпочитают модернизировать и мигрировать свое хранилище данных за один раз, другие склонны замедлять темпы достижения результатов. Тем не менее, важно убедиться, что ваш проект миграции хранилища данных не охватывает очень большие периоды времени, поскольку это может оказаться контрпродуктивным и вызвать ненужные задержки в ваших усилиях по бизнес-аналитике.

Определите свой вариант использования

Определение экономического обоснования, требующего модернизации вашего хранилища данных, станет одним из первых шагов, которые следует учитывать в рамках вашей стратегии миграции в облако. После того как вы определите цели миграции, согласование ресурсов и сроков станет намного проще.

Будет ли он использоваться для облачной аналитики в реальном времени или аварийного восстановления? Будет ли он использоваться для унификации финансового программного обеспечения в нескольких системах или для передачи архивных данных в облако?

Независимо от варианта использования, важно понимать, как выглядит наиболее эффективный путь к облаку. Сюда входит выявление некритических данных, например архивов электронной почты, которые можно перенести на первом этапе. Требования также включают в себя:

• Определение уровня зависимости организации от ее данных, например, есть ли данные, которые необходимо будет повторно синхронизировать.
• Определение необходимости соблюдения конкретных требований соответствия, например, соблюдения HIPAA при перемещении истории болезни пациента.
• Определение необходимости очистки данных в первую очередь

Узнайте, как миграция из локальной среды в облако повлияет на вашу команду

Также важно привлечь ключевой персонал, который будет использовать ваше облачное хранилище данных в процессе миграции, и определить, как они вписываются в общее планирование. Поддержание ключевого персонала в курсе всего процесса обеспечит максимальное использование облачного хранилища данных с минимальными сбоями или вообще без них.

На этом этапе также важно иметь хорошее представление о том, как различные важные инструменты и приложения (например, платформы визуализации и инструменты бизнес-аналитики) будут использоваться с новой архитектурой.

Определите лучшую платформу

Ваша стратегия миграции в облако должна быть способна решить проблему привязки к поставщику. Возможность свободно переносить и перемещать данные и ИТ-нагрузки неоценима для бизнеса. Однако жесткая конкуренция, нормативные ограничения, а также запатентованные технологии и программное обеспечение означают, что распространение некоторых услуг, предлагаемых существующим поставщиком облачных услуг, на другую облачную платформу невозможно. Таким образом, большинство предприятий привязаны к одному поставщику услуг в течение длительного периода времени.

Следовательно, перед использованием облачной платформы крайне важно провести тщательное исследование. Ниже приведены некоторые рекомендации по защите вашей организации от проблемы привязки к поставщику.

• Определите все требования вашего бизнеса и технологий
• Выявить общие черты и сложные зависимости
• Тщательно оцените рынок поставщиков облачных платформ.
• Затраты, связанные с переходом на конкурирующую платформу, могут быстро оказаться самым большим препятствием; убедитесь, что вы сделали домашнее задание в этом направлении
• Рассмотрите возможность обновления перед миграцией
• Убедитесь, что ваш выбор платформы не приводит к проблемам совместимости между системами.

Оцените требования к сопутствующим затратам

Хотя модернизация хранилища данных снижает затраты в долгосрочной перспективе, этот процесс может потребовать значительных первоначальных инвестиций. Поэтому ваша стратегия миграции в облако должна указывать на потенциальные возможности оптимизации затрат на протяжении всего процесса модернизации. Однажды модернизация хранилища данных План существует и вы определили все требования, вы сможете сделать надежный прогноз затрат на миграцию в облако.

Структура затрат устаревшего хранилища данных отличается от структуры затрат облачного хранилища данных. Наиболее важным показателем, который следует учитывать при сравнении затрат, связанных с локальным хранилищем данных, с затратами, связанными с облачным хранилищем данных, является совокупная стоимость владения (общая стоимость владения).

Учтите следующие прямые и косвенные затраты, связанные с миграцией хранилища данных в облако:

• Стоимость, связанная с объемом данных/затратами на хранение

Например, Snowflake взимает отдельную плату за виртуальные склады, хранилища данных и облачные сервисы. Обычно минимальная ежемесячная плата составляет 25 долларов США, а плата за хранение — 40 долларов США за ТБ.

• Первоначальные инвестиции при переходе с устаревшего хранилища данных

В зависимости от текущей архитектуры и желаемого конечного состояния первоначальные инвестиции могут включать затраты, связанные с созданием новых стандартов безопасности, сторонними платформами миграции, а также наймом и обучением дополнительного персонала. Согласно исследование Форрестера, затраты на рабочую силу могут составлять до 50% этих инвестиций.

• Консультационные услуги

Хотя правильный набор технологий может смягчить препятствия, необходимо иметь в своем распоряжении правильный опыт, чтобы руководить процессом миграции. Консультанты нанимаются для оценки общей готовности организации к миграции в облако и играют важную роль в разработке стратегии и создании надежной дорожной карты.

Еще одна важная стоимость, связанная с модернизацией хранилища данных, — это альтернативные издержки, возникающие всякий раз, когда бизнес-операции прерываются в процессе миграции.

Что касается рынка облачной миграции, существуют различные калькуляторы облачной миграции, позволяющие оценить затраты на основе реалистичных предположений. Более того, рекомендуется координировать свои действия с поставщиками облачных платформ, чтобы определить возможности снижения затрат как во время процесса миграции, так и после настройки облачного хранилища данных.

Обеспечьте надлежащую практику управления данными

Одной из самых больших проблем бизнеса, связанных с миграцией облачных хранилищ данных, является безопасность и соответствие требованиям. Обычно облачные платформы работают по общей операционной модели с точки зрения ответственности, что означает, что поставщик несет ответственность за безопасность инфраструктуры. В то же время организация или клиент должны самостоятельно защищать свои данные и рабочие нагрузки.

Более того, сам процесс модернизации хранилища данных рискован, когда речь идет о конфиденциальных данных. Хотя некоторые поставщики облачных платформ предоставляют самые современные средства управления безопасностью, подкрепленные сертификатами, такими как SOC 2, организация по-прежнему несет ответственность за обеспечение их настройки в соответствии с требованиями.

Стоит подчеркнуть, что завершение процесса модернизации не означает, что предприятиям следует легкомысленно относиться к безопасности данных и соблюдению нормативных требований. Вместо этого предприятия обязаны следить за тем, чтобы они продолжали соблюдать нормативные законы, такие как GDPR и HIPAA.

GDPR имеет несколько принципов, которые держат каждого поставщика облачных услуг в напряжении. Например, если процесс миграции приведет к потере данных, что приведет к раскрытию чьей-либо личной информации, организация окажется в затруднительном положении. Это не означает, что инструменты и/или поставщики инструментов миграции облачных хранилищ данных не подходят для поддержки управления и соответствия требованиям. Фактически, это делается для того, чтобы подчеркнуть, что соблюдение нормативных законов является ключевой частью вашей стратегии миграции в облако.

Имейте план на случай непредвиденных обстоятельств

При переходе в облако важно помнить, что реальность может отличаться от того, что вы ожидали. Фактически, в некоторых случаях вам может даже потребоваться пересмотреть свою стратегию миграции хранилища данных, чтобы гарантировать, что важные данные не будут потеряны и производительность вашего бизнеса не пострадает во время перехода.

Независимо от того, какой подход к миграции хранилища данных вы выберете, вам также необходимо сохранить унаследованные системы работать хотя бы некоторое время на случай, если вы обнаружите, что что-то не так. Невыполнение этого требования может оказаться пагубным, если вам придется выполнить откат и у вас не будет ничего для поддержки хранилища данных.

Подходы к миграции хранилищ данных

После обсуждения важности и преимуществ перехода в облако давайте обсудим, как перейти в облако. Существует несколько различных подходов к миграции в облако. Как упоминалось ранее, вам важно получить полное представление о том, где в настоящее время находится ваше хранилище данных, чтобы убедиться, что вы выбираете подход, который подходит именно вам.

1. Подъем и сдвиг

Подход «подъем и сдвиг» к миграции хранилища данных предполагает перенос ваших данных и приложений в облако без какого-либо изменения дизайна или реструктуризации. Подход «подъем и смена» лучше всего работает для организаций, которые уверены, что их архитектура хранилища данных работает отлично и просто хочет перейти в облако, чтобы получить дополнительные преимущества, такие как повышенная безопасность, соответствие требованиям или даже аварийное восстановление.

Подход «подъем и смена», также известный как перехостинг, также может помочь сэкономить затраты, связанные с покупкой и обслуживанием оборудования для хранения данных и места для размещения ваших данных и приложений, а также повысить доступность вашего хранилища данных.

2. Упрощение и миграция

Второй вариант миграции хранилища данных в облако — упростить архитектуру перед миграцией. Этот подход, более известный как рефакторинг, предполагает изменение архитектуры вашего хранилища данных, чтобы она соответствовала облачной среде и вы могли воспользоваться преимуществами облака. Подготовка хранилища данных к облаку может означать множество вещей: от повышения его гибкости до улучшения масштабируемости.

3. Полностью перепроектировать и перенести

В некоторых случаях оценка вашей текущей архитектуры хранилища данных покажет, что она вообще не подходит для облака. В подобных ситуациях организациям необходимо создать новое хранилище данных с нуля, чтобы его можно было использовать в облаке. Тем не менее, вы, возможно, сможете почерпнуть вдохновение из существующего локального хранилища данных, чтобы увидеть, как можно более эффективно решить конкретную проблему или справиться с определенной ситуацией с помощью нового хранилища данных.

Проблемы миграции хранилищ данных

Миграция хранилища данных в облако может вызвать несколько различных проблем. Вот несколько проблем, связанных с миграцией хранилища данных из локального хранилища данных в облако, о которых вам необходимо знать, прежде чем мигрировать хранилище данных в облако:

1. Перепланирование вашей модели данных

При миграции хранилища данных в облако часто рекомендуется использовать подход денормализации для повышения производительности. Тем не менее, процесс денормализации может быть сложным, особенно потому, что вам может потребоваться обеспечить гармоничную работу старой и новой моделей данных во время процесса миграции.

2. Управление хранимыми процедурами

Хранимые процедуры — это, по сути, инструкции, которые помогают вам сохранять данные и информацию, специфичную для внутренней работы вашего хранилища данных. К сожалению, большинство облачных хранилищ данных не имеют механизма для использования существующих хранимых процедур или создания новых, что создает проблемы для пользователей хранилища данных. По этой причине организациям, перемещающим свои хранилища данных в облако, возможно, придется использовать дополнительную платформу для оркестрации процессов и других подобных задач.

Важно помнить об этом и провести исследование облачных хранилищ данных, чтобы убедиться, что эффективность вашей организации не пострадает, если ваше облачное хранилище данных не поддерживает хранимые процедуры.

3. Установление связи между вашим новым хранилищем данных и пользовательскими приложениями.

Подключение ваших пользовательских приложений к облачному хранилищу данных может оказаться не таким простым, как хотелось бы. Хотя некоторые пользовательские приложения можно легко подключить и интегрировать с вашим облачным хранилищем данных, просто изменив здесь и там несколько операторов SQL, вам, возможно, придется углубиться, чтобы обнаружить другие проблемы с подключением. Часто эти проблемы могут проявляться в виде ошибочных или противоречивых данных, которые могут вызвать проблемы, если их не обнаружить своевременно.

Что Astera Предложения DW Builder

Построен на вершине Asteraизвестная платформа интеграции корпоративных данных, Astera DW Builder имеет интуитивно понятный интерфейс, надежный модуль службы данных для упрощения запросов и полную интеграцию как с файловыми системами, так и с облачными платформами, что позволяет легко переместить локальное хранилище данных в облако. Наш мощный инструмент автоматизации хранилища данных также позволяет выполнять развертывание на популярных облачных провайдерах и создавать операторы SQL, встроенные в целевую платформу, что экономит вам и вашей команде недели понимания и кодирования запросов на новой платформе.

Доступно Astera DW Builder ваша организация сможет использовать все преимущества облака и выполнять более быструю аналитику с гибкостью, доступностью и масштабируемостью, как никогда раньше. Свяжитесь с нами сегодня, чтобы увидеть Astera DW Builder в действии или узнать, как Astera DW Builder может помочь в вашем конкретном случае использования.