Базовая книга по инженерии данных. Рассмотрены все аспекты проектирования и эксплуатации различных архитектур данных, а также полный жизненный цикл работы с данными: подготовка, поглощение, преобразование, очистка, сочетание, оркестрация, конвейеризация. Особое внимание уделено облачным технологиям, распределению нагрузки и безопасному хранению данных. Разобраны приёмы формирования запросов, работы с базами данных и отслеживания потоков данных. Книга даёт исчерпывающее представление о проектировании систем для обработки разнородных данных, поддержании
этих систем в упорядоченном и доступном виде и о тенденциях развития современной индустрии данных.
Последнее десятилетие инженерия данных бурно развивается, поэтому среди программистов, исследователей и аналитиков данных растёт запрос на комплексное рассмотрение инженерии данных как цельной парадигмы.
Из книги вы узнаете, как проектировать и создавать enterprise-системы для обработкпи данных. Книга помогает оценить разнообразные технологии, доступные в рамках инженерии данных, понять жизненный цикл данных как продукта.
Авторы демонстрируют все тонкости инженерии данных в динамике, рассказывают, как объединять и сочетать различные облачные технологии обработки данных для максимального удовлетворения интересов пользователя. Показано, как организовать генерацию, поглощение, оркестрацию, преобразование, хранение и конвейеризацию данных и управление ими в любой среде, независимо от того, на основе какой базовой технологии она построена. В этой книге:
Краткий обзор технологического ландшафта современной инженерии данных
Решение задач по инженерии данных с применением наилучших практик
Подбор технологий, выстраивание архитектуры данных, налаживание бизнес-процессов
Внедрение практик управления данными и обеспечения безопасности процессов в рамках всего жизненного цикла инженерии данных