Die Schulung gibt einen ersten Ein- und Überblick über die Komponenten, Methoden und Begrifflichkeiten zu den Themen: Data Engineering / Data Science und Cloud. Dieser beschränkt sich nicht auf reine Theorie, sondern ermöglicht Ihnen erste praktische Erfahrungen anhand eines fiktiven Projekts zu sammeln.

Nach einer Einführung in die Paradigmen von Big Data lernen Sie anhand eines realen Twitter Datensets, wie einfach Sie Daten in den Hadoop Cluster streamen können. Danach nehmen Sie eigenhändig Daten-Transformationen vor und orientieren sich dabei immer am besprochenen Data Lake Konzept. Am Ende des Data Engineering Parts haben Sie die Daten soweit verdichtet und aufbereitet, dass Sie im nächsten Schritt mit Data Science Methoden Analysen darauf ausführen.

Optional: Auf Wunsch können wir Ihnen das Thema auch speziell auf das Ökosystem in der Amazon AWS Cloud aufbereiten.

Voraussetzungen

• IT-Grundlagen (u.a. SQL)
• Grundkenntnisse der Programmierung

In diesem praktisch ausgerichteten Apache Kafka-Seminar lernen die Teilnehmer die Konzepte und Features kennen. Nach einer Einführung in die Anwendungsbereiche und die Architektur werden folgende Themen behandelt: die Konfiguration und Administration, die Partitionierung, das Clustering, Publish/Subscribe, die Komprimierung, die Replikation sowie die Sicherheit und das Performance Tuning.

Voraussetzungen

• IT-Grundlagen
• Grundkenntnisse der Java Programmierung
• Es wird auf dem Kenntnisstand des Kurses „Big Data Engineering – Grundlagen“ aufgesetzt

Apache Nifi ist ein mächtiges Werkzeug zur Aufbereitung von Daten für Hadoop. Die Software kann als Applikation oder Dienst in verschiedenen Betriebssystem-Umgebungen aktiviert oder als Cluster installiert werden.

Dieser Kurs behandelt die Installation und die Nutzung von Nifi und wendet sich schwerpunktmäßig an Data Engineers oder Personen mit einem vergleichbaren Tätigkeitsspektrum.

Die Teilnehmer installieren während des Kurses Nifi auf einem singulären Knoten, welches als Basis für die weiteren praktischen Übungen dient.

Voraussetzungen

• IT-Grundlagen
• Es wird auf dem Kenntnisstand des Kurses „Big Data Engineering – Grundlagen“ aufgesetzt