AI Data Engineer (m/w/d)

Im KI-Kompetenzzentrum dreht sich alles um die Erschaffung von KI-Lösungen für Union Investment und den Aufbau einer Databricks Data Intelligence Platform. In unseren Projekten entwickeln wir skalierbare Datenprodukte gemeinsam mit den Fachbereichen und Technologie-Teams. Damit unterstützen wir die gesamte Organisation dabei, Geschäftsentscheidungen auf Basis verlässlicher Daten und modernster Analytics-Methoden zu treffen.  

Folgende Aufgaben wirst du schwerpunktmäßig ausfüllen: 

• Wir suchen einen Data / Machine Learning Engineer (m/w/d) mit Interesse an Data Science Themen für unser Team, der*die sowohl neue Pipelines und Ingestions für unser Databricks Lakehouse baut, Analytics-Komponenten entwickelt und auch bestehende KI-Produkte für Use Cases skalierbar macht.
• Pipeline-Entwicklung: Konzeption, Aufbau und Wartung robuster ETL/ELT-Datenpipelines unter Nutzung von PySpark, SQL und Delta Lake
• Konfiguration und Tuning von Spark-Clustern und Orchestrierung von Workflows und Jobs mittels Databricks Workflows/Lakeflows
• Verwendung von Microsoft Azure Cloud Technologien (wie z.B. Azure Machine Learning, Azure SQL, Azure CosmosDB) und GitLab, um Datenprodukte mittels vollautomatisierter CI/CD Pipelines auszurollen
• Unterstützung bei der Entwicklung zentraler Python Bibliotheken und Komponenten mit Fokus und Weiterentwicklung der MLOps Prozesse
• Enge Zusammenarbeit mit Data Scientisten und Analysten, um Daten für KI-Anwendungen und Business Intelligence bereitzustellen

• Fundierte praktische Erfahrung mit der Databricks-Platform, insbesondere PySpark, Delta Lake und Spark SQL sowie exzellente Kenntnisse in Python
• Du verstehst, warum es eine schlechte Idee ist, den Docker Socket in einen Container zu mounten
• Du weißt, wie du Python code so refactorn kannst, dass er testbar und wartbar ist
• Du verstehst, welche Worte hier fehl am Platz sind: decorators, generators, simulators; composition over inheritance, golden ratio, dependency injection; bash, drive letters, linux file system; kubernetes, bare metal, Docker; outlier detection, CI/CD, linting; flask, fastapi, spring boot; Turtok, uv, ruff
• Du hast mehrjährige Berufserfahrung im Bereich Softwareentwicklung und/oder Data Engineering
• Deine Arbeitsweise ist geprägt von Partnerschaftlichkeit, Wertschätzung sowie Begeisterung und Teamgeist

Auch vielfältige Bildungshintergründe und Arbeitserfahrungen sind bei uns willkommen. Wir sind aufgeschlossen gegenüber Talenten, deren Lebenslauf auf den ersten Blick nicht hundertprozentig zu den Anforderungen in unserer Stellenanzeige passt. Wir bieten die passenden Rahmenbedingungen, ihre individuellen Potenziale vollumfänglich zu entfalten.