Die Weiterbildung „Data Engineer“ richtet sich an Personen, die Dateninfrastrukturen aufbauen, optimieren und verwalten möchten. Ziel der Maßnahme ist es, den Teilnehmenden zu vermitteln, wie sie Datenpipelines entwickeln, Datenbanken integrieren und Datenverarbeitungsprozesse effizient gestalten können.

Modul 1: Einführung in Data Engineering

• Grundlagen und Bedeutung von Data Engineering in modernen Unternehmen

• Überblick über die Werkzeuge und Technologien im Data Engineering

• Einführung in Datenbank- und Cloud-Management

Modul 2: Datenpipelines und ETL-Prozesse

• Erstellung und Verwaltung von ETL-Prozessen (Extract, Transform, Load)

• Nutzung von Apache Spark und Apache Kafka zur Datenverarbeitung

• Optimierung von Datenpipelines für große Datensätze

Modul 3: Datenbanken und Speichertechnologien

• Verwendung von SQL und NoSQL-Datenbanken für Datenmanagement

• Verwaltung und Skalierung von Datenbanken

• Nutzung von Cloud-Datenbanken und Data Warehousing

Modul 4: Big Data und Data Lakes

• Einsatz von Big Data-Technologien wie Hadoop und Hive

• Erstellung und Verwaltung von Data Lakes für unstrukturierte Daten

• Datenaggregation und Analyse von Big Data

Modul 5: Automatisierung und Monitoring von Datenprozessen

• Automatisierung von Datenpipelines und -prozessen

• Überwachung von Datenflüssen und -qualitäten in Echtzeit

• Fehlerbehebung und Optimierung von Datenprozessen

Nach Abschluss der Weiterbildung sind die Teilnehmenden in der Lage, Datenpipelines zu entwickeln, Big Data zu verwalten und Datenverarbeitungsprozesse in Unternehmen zu optimieren und zu automatisieren.