Автоматизированный, Без кода Стек данных
Научиться Astera Data Stack может упростить и оптимизировать управление данными вашего предприятия.
Режим оптимизации с раскрывающимся списком в Astera Centerprise
Процесс ELT, дополняющий традиционный подход ETL для повышения производительности и гибкости результатов
Введение
ETL (извлечение, преобразование, загрузка) и ELT (извлечение, загрузка и преобразование) — это два подхода к манипулированию данными, которые часто ошибочно принимают за заменители. Ситуация, в которой используется тот или иной подход, зависит от множества факторов, таких как тип исходной и целевой баз данных, вычислительная мощность сервера базы данных, объем данных и сложность преобразований. В конечном итоге цель состоит в том, чтобы дать пользователям возможность эффективно перемещать данные в больших объемах.
ELT отличается от ETL в зависимости от места обработки преобразования. В процессе ETL данные преобразуются в промежуточной области, которая обычно располагается между исходной и целевой системами (хранилище данных). Напротив, в процессе ELT преобразования происходят внутри целевой базы данных. Ядро базы данных, лежащее в основе системы управления базами данных (СУБД), выполняет преобразования в процессе ELT, в то время как преобразования происходят на третьей машине в процессе ETL. Преобразования в ETL обычно выполняются на сервере реляционной базы данных, который физически и логически отделен от исходной и целевой систем. Это сделано для минимизации влияния периодической активности ETL на исходную и целевую системы.
ETL – метод извлечения, преобразования и загрузки
Предприятия собирают и объединяют данные из нескольких источников, что приводит к неоднородности платформ и форматов данных. Программное обеспечение ETL передает исходные данные на сервер для преобразования и записывает преобразованные данные в цель. Он также выполняет проверку целостности входящих данных.
Инструмент ETL — важная часть построения хранилища данных. Его можно использовать для извлечения только необходимой информации, ее анализа и проверки на соответствие стандартному формату бизнеса и, наконец, загрузки структурированных и очищенных данных в хранилище данных. Поскольку данные, загруженные в хранилище данных, уже очищены и преобразованы, бизнес-пользователям становится проще их анализировать.
ELT – подход «Извлечение, загрузка и преобразование»
В определенных ситуациях вместо перемещения объемов данных в программную систему ETL пользователи могут максимизировать производительность, разместив промежуточные таблицы в целевой базе данных. Основное преимущество подхода ELT заключается в том, что он экономит время, поскольку загружает данные непосредственно в пункт назначения и делегирует обработку СУБД. Это сокращает время между процессом извлечения и загрузки, и в результате данные становятся легко доступными для конечного пользователя. Однако, поскольку в целевые системы загружаются непреобразованные данные, аккуратный визуальный интерфейс — это альтернативная цена сокращения времени доставки данных. Аналитик Gartner Мэй Ян Селвадж говорит: «ELT в первую очередь подходит для рабочих нагрузок с ограниченным преобразованием и очисткой.".
Режим оптимизации с раскрытием вниз
Что такое режим оптимизации с понижением?
Режим Pushdown в Astera Centerprise позволяет пользователям выбирать, где будет происходить обработка данных, передавая логику преобразования исходной или целевой базе данных, когда они находятся на одном сервере. Это исключает ненужное перемещение данных, снижает задержку в сети за счет предоставления гибких результатов и повышает общую производительность.
Как работает оптимизация с понижением?
Необходимость извлекать и переносить большие объемы данных из исходных систем на сторонний сервер для преобразований заставляет пользователей терять драгоценное время. Когда исходная база данных и целевая база данных находятся на одном сервере, пользователи могут сэкономить время, избегая ненужного перемещения данных. Запуск задания в режиме pushdown передает логику преобразования в исходную или целевую базу данных. Вместо запуска
Логика преобразования по частям путем извлечения информации из источника, применения преобразований и последующей загрузки ее в пункт назначения, команды выдаются и выполняются посредством автоматически генерируемых консолидированных SQL-запросов. Когда предприятиям требуется обработка больших объемов данных, этот подход дает значительный выигрыш в производительности за счет исключения перемещения данных между базой данных и сервером ETL.
Типы режима оптимизации с понижением
Существует два типа режимов оптимизации с понижением:
- Режим полной оптимизации с понижением
- Режим частичной оптимизации с понижением
Astera Centerpriseинтеллектуальный алгоритм решает, будет ли оптимизирована производительность задания, выполняя его в режиме частичной оптимизации с понижением уровня.
режим или режим полной оптимизации. На рис. 3-4 показаны SQL-запросы для заданий, которые выполняются в режимах частичной и полной оптимизации.
Выделенная часть на рисунке 3 — это часть задания, которая выполняется в режиме pushdown. Этот пример лишь частично переносит логику преобразования (агрегированное преобразование) в исходную базу данных, поэтому он называется частичное опускание.
Полная передача, напротив, означает выполнение задания в режиме передачи вниз от начала до конца. На рис. 4 показан пример задания, выполненного в полное нажатие Режим.
Здесь важно отметить, что соответствующие SQL-запросы (в обоих режимах) генерируются автоматически без необходимости написания сценариев или кодирования вручную.
Проверьте функцию задания с выталкиванием в Astera Centerprise
Не каждое задание можно запустить в режиме pushdown. Например, если исходный и целевой пункты назначения не находятся в одной и той же реляционной базе данных, этап извлечения и передачи данных нельзя исключить. Более того, некоторые логики преобразования, такие как «поиск», анализ имени и адреса или сложная обработка строк, не могут быть отключены.
Проверьте функцию задания с выталкиванием в Astera Centerprise определяет логику преобразования и операторы SQL, которые можно передать в исходную или целевую базу данных.
Поставщики баз данных, поддерживаемые в Astera Режим оптимизации с раскрытием вниз
In Astera Centerprise, Режим оптимизации Pushdown поддерживается для следующих поставщиков:
1. MSSQL
2. Постгрес
3. оракул
4.SQL
5. MySQL (версия 7.3)
Заключение
Вместо того, чтобы сравнивать ETL и ELT (оптимизацию с понижением) как разные подходы для достижения одних и тех же результатов, рассматривайте их как разные инструменты, предназначенные для удовлетворения разных потребностей бизнеса. Оба подхода имеют свои преимущества и ограничения, поэтому их использование в качестве дополняющих инструментов, а не заменителей, принесет наилучшие результаты для вашего бизнеса. Astera Centerprise предлагает обе возможности. Пользователи могут выбрать подход, учитывая факторы, влияющие на общую обработку данных.
Хотите попробовать функцию оптимизации pushdown в Astera Centerprise? Скачать бесплатную пробную версию для интеграции огромных объемов данных с невероятной скоростью.
