Data engineering has grown rapidly in the past decade, leaving many software engineers, data scientists, and analysts looking for a comprehensive view of this practice. With this practical book, you'll learn how to plan and build systems to serve the needs of your organization and customers by evaluating the best technologies available in the framework of the data engineering lifecycle. Authors Joe Reis and Matt Housley walk you through the data engineering lifecycle and show you how to stitch together a variety of cloud technologies to serve the needs of downstream data consumers. You'll understand how to apply the concepts of data generation, ingestion, orchestration, transformation, storage, governance, and deployment that are critical in any data environment regardless of the underlying technology. This book will help you: Assess data engineering problems using an end-to-end data framework of best practices Cut through marketing hype when choosing data technologies, architecture, and processes Use the data engineering lifecycle to design and build a robust architecture Incorporate data governance and security across the data engineering lifecycle
Joe Reis Livres


Handbuch Data Engineering
Robuste Datensysteme planen und erstellen
Der praxisnahe Überblick über die gesamte Data-Engineering-Landschaft vermittelt grundlegende Konzepte und Best Practices für jede Phase des Datenlebenszyklus. Mit dem Data-Engineering-Lifecycle wird ein konzeptioneller Rahmen bereitgestellt, der langfristig Gültigkeit hat und über den Hype hinaus bei der Auswahl der richtigen Datentechnologien, Architekturen und Prozesse unterstützt. In den letzten zehn Jahren hat sich Data Engineering rasant entwickelt, wodurch viele Software Engineers, Datenanalystinnen und Data Scientists nach einer zusammenfassenden Darstellung der grundlegenden Techniken suchen. Dieses praxisorientierte Buch bietet ein Framework, das die Evaluierung und Auswahl der besten Technologien für reale Geschäftsprobleme erleichtert. Sie lernen, Systeme zu planen und zu entwickeln, die den Anforderungen Ihres Unternehmens und Ihrer Kunden gerecht werden. Joe Reis und Matt Housley führen Sie durch den Data Engineering Lifecycle und zeigen, wie Sie Cloud-Technologien kombinieren, um die Bedürfnisse von Datenkonsumenten zu erfüllen. Sie erfahren, wie Sie die Konzepte der Generierung, Ingestion, Orchestrierung, Transformation, Speicherung und Bereitstellung von Daten anwenden, die in jeder Datenumgebung entscheidend sind. Erhalten Sie einen kompakten Überblick über die Praxis des Data Engineering und nutzen Sie den Lifecycle zur Gestaltung einer robusten Infrastruktur, während Sie Data Governance und Sicherheit in de