проверка данных  

etrailer.com — ведущий в мире интернет-магазин аксессуаров для буксировки, изготовленных по индивидуальному заказу. У них есть тысячи автомобильных аксессуаров, таких как сцепные устройства для прицепов, изготовленные по индивидуальному заказу для более чем 3,100 различных транспортных средств, чипы производительности, принадлежности для буксировки тяжелых грузов, детали прицепов, крепления для велосипедов и многое другое. Цель etrailer.com – помочь клиентам сделать свои автомобили полезными и интересными.  

Кейсы 

etrailer.com хотел найти эффективный способ управления растущими объемами данных из различных источников. Учитывая, что данные разбросаны по нескольким базам данных (включая MySQL, SQL Server, Splunk, Google Analytics), а также стремясь к интеграции в реальном времени и подключению API, компания искала надежное решение для оптимизации процессов интеграции данных и ETL. 

etrailer.com начал изучать создание и поддержку архитектуры хранилища данных с нуля. Они выбрали размерную модель потенциальной архитектуры хранилища данных. Однако для загрузки и обслуживания этого типа хранилища данных требовалось, чтобы ИТ-ресурсы были всегда доступны. Кроме того, etrailer.com также хотел эффективно преобразовать данные для решения различных сценариев, включая сложные сопоставления, нечеткое сопоставление текста, дополнительные обновления, изменения измерений и оптимизацию хранимых процедур. etrailer.com будет сложно создать все это с нуля.  

Enter Astera Строитель хранилищ данных 

etrailer.com обратился Asteraкоманды, потому что они хотели использовать Astera Data Warehouse Builder (ADWB) для создания индивидуального решения. ADWB эффективно удовлетворил уникальные потребности etrailer.com, подключаясь к различным источникам, таким как MySQL, SQL Server, Splunk и многочисленным плоским файлам, оптимизируя интеграцию данных.  

Доступно AsteraС помощью компании компания обеспечила централизованное администрирование данных, включая обработку в реальном времени и простую интеграцию с внешними API для поиска данных и автоматизации задач. Кроме того, платформа обеспечила плавное преобразование данных, что обеспечило качество и удобство использования данных компании. Мощная архитектура платформы позволила плавно обрабатывать большие объемы данных, обеспечивая масштабируемость для удовлетворения растущих требований etrailer.com к данным. 

Процесс внедрения начался с обширного учебного модуля с участием Astera экспертов, которые научат команду etrailer.com тому, как максимально эффективно использовать ADWB. Имея под рукой простой в использовании инструмент, команда etrailer.com взяла под контроль свою среду данных.  

Благодаря успешному внедрению ADWB компания etrailer.com добилась значительных улучшений в своих процессах обработки данных, в том числе:  

• Интеграция данных и ETL: С AsteraБлагодаря интуитивно понятному визуальному интерфейсу решения команда etrailer.com легко разработала рабочие процессы интеграции данных и эффективно управляла процессами ETL. 
• Пользовательские соединители: Гибкость ADWB позволила etrailer.com разработать специальные соединители, помогая полностью интегрировать API в конвейеры данных компании и расширяя возможности доступа к данным.  
• Максимальный контроль времени выполнения: AsteraПлатформа компании etrailer.com позволяла устанавливать максимальное время выполнения заданий конвейера, автоматически вызывая оповещения о чрезмерно длительных задачах, что повышало их общую эффективность.
• Управления источником: ADWB предоставил надежную функциональность контроля версий через GIT, что позволило etrailer.com беспрепятственно управлять артефактами и просматривать их, гарантируя целостность и безопасность данных.  
• Размерное моделирование: Мощный компонент моделирования данных ADWB позволил etrailer.com создавать и развертывать витрины данных для создания самоподдерживающейся архитектуры хранилища данных. Они смогли использовать ключевую функцию даты транзакции, чтобы загрузить на свой склад информацию о транзакциях за последние несколько лет.  
• Сложные преобразования: ADWB предоставил etrailer.com возможность плавного преобразования данных, включая картографирование, сопоставление текста, сложные связи и поэтапные обновления. 
• Время окупить: Отказ от ручных процессов позволил etrailer.com сократить время окупаемости своих данных на 50%.