Databricks Platform Engineer (m/w/d)
Im KI-Kompetenzzentrum dreht sich alles um die Erschaffung von KI-Lösungen für Union Investment und den Aufbau einer Databricks Data Intelligence Platform. In unseren Projekten entwickeln wir skalierbare Datenprodukte gemeinsam mit den Fachbereichen und Technologie-Teams. Damit unterstützen wir die gesamte Organisation dabei, Geschäftsentscheidungen auf Basis verlässlicher Daten und modernster Analytics-Methoden zu treffen.
Wir suchen einen Databricks Platform Engineer (m/w/d) mit Interesse an der Zusammenarbeit mit Data Scientisten und Machine Learning Engineers. Diese Rolle ist zentral für die Konzeption, den Aufbau und die Optimierung unserer unternehmensweiten Datenplattform auf Databricks, die die skalierbare Entwicklung von Datenprodukten entlang der gesamten Wertschöpfungskette von BI bis KI ermöglicht.
Folgende Aufgaben wirst du schwerpunktmäßig ausfüllen:
- Applikationsverantwortung für die Databricks Platform und Sicherstellung der Verfügbarkeit, Sicherheit und Skalierbarkeit der Plattform
- Bereitstellung und Konfiguration von Databricks-Arbeitsbereichen mittels DAB, Terraform CLI, und SDK
- Verwaltung von arbeitsbereichsbezogenen Einstellungen wie Clustern, Bibliotheken, Compute-Richtlinien und Zugriffssteuerungen
- Definition und Pflege von Katalogen, Schemata und Tabellen über Arbeitsbereiche hinweg mit Unity Catalog
- Nutzung von Infrastructure-as-Code (IaC)-Tools wie Terraform und Terragrunt für Infrastrukturbereitstellung und -konfiguration
- Implementierung, Betrieb und Verbesserung von CI/CD-Pipelines mithilfe von GitLab CI/CD zur effizienten und automatisierten Softwarebereitstellung
- Abgeschlossenes Informatik-Studium oder in einer vergleichbaren Fachrichtung mit IT-Bezug oder eine vergleichbare Qualifikation
- Mehrjährige Erfahrung in der Softwareentwicklung und im Systembetrieb mit modernen Tech-Stacks, CI/CD Pipelines sowie dem stabilen, sicheren und kosteneffizienten Betrieb auf Microsoft Azure
- Nachgewiesene ausgeprägte Kenntnisse im Aufbau und der Wartung von wiederverwendbaren Infrastructure-as-Code (IaC) Templates und Bausteinen (z. B. Terraform)
- Starke Skripting-Fähigkeiten (z. B. Python, Bash) sind von Vorteil
- Praktische Erfahrung mit Databricks, Delta Lake und Spark
Deine Arbeitsweise ist geprägt von Partnerschaftlichkeit, Wertschätzung sowie Begeisterung und Teamgeist Auch vielfältige Bildungshintergründe und Arbeitserfahrungen sind bei uns willkommen. Wir sind aufgeschlossen gegenüber Talenten, deren Lebenslauf auf den ersten Blick nicht hundertprozentig zu den Anforderungen in unserer Stellenanzeige passt. Wir bieten die passenden Rahmenbedingungen, ihre individuellen Potenziale vollumfänglich zu entfalten.
Empfohlene Jobs
Empfangs- und Rezeptionsmitarbeiter für Zahnarztpraxis (m/w/d)
Das sind wir: Wir sind eine familiäre Praxis mit vier behandelnden Zahnärztinnen und einem Zahnarzt in der ein kollegiales Miteinander und Teamarbeit großgeschrieben werden. Bei uns wird das gesam…
KI / Machine Learning Engineer (m/w/d)
Als unabhängiges Beratungsunternehmen bieten wir intelligente IT-Lösungen und Fachberatung rund um die Digitalisierung und Transformation der Versicherungs-, Banken- und Medienbranche – von Cloud-Arc…
Schulbegleitung für Diabetes Betreuung in Teilzeit (m/w/d) in Frankfurt am Main
Werden Sie ein Teil von uns – damit Inklusion gelingt! Sie suchen nach einer sinnhaften Tätigkeit?Kindern ein Lachen ins Gesicht zu zaubern und sie in ihrer Entwicklung zu stärken, macht Ihnen beso…
SAP SuccessFactors Berater (m/w/d) in Frankfurt/Main bei führendem Systemhaus
Ein führendes Systemhaus mit rund 4000 Mitarbeitern und dem erklärten Ziel die digitale Transformation voranzutreiben, mit angenehmer Arbeitsatmosphäre erwartet Sie bei unserem Kunden. Für den Einsatz…
Hardware Engineer- Automotive (m/w)
Hardware Engineer- Automotive (m/w) Referenz ID: 1152030 Finden Sie mit der AllatNet Recruiting Ihren Traum-Job. Durch unseren einzigartigen Kontakt zu Groß- und mittelständischen …
IT-Administrator Kubernetes (all genders)
DEINE ROLLE Cloud-Umgebungen betreiben: Du konzipierst Kubernetes-basierte Plattformen, betreibst sie stabil und entwickelst sie gemeinsam mit dem Team weiter. Container-Plattformen administrie…
Werkstudent Business Development (m/w/d)
Deine Aufgaben Du bringst Dich in unserem Sales-Team ein und übernimmst Verantwortung für verschiedene Projekte sowie im Daily Business. Durch ausführliche Recherchen qualifizierst Du Leads…
Customer Services (m/w/d) im Versicherungsbereich - Remote möglich
Gehen Sie mit uns den nächsten Step! Wir, der Geschäftsbereich Financial Services der DIS AG in Frankfurt am Main, besetzen alle Positionen gezielt im Banken- und Versicherungssektor. Eine Besetzun…
Software Architect / Lead Engineer - Smarte Maschinen- und Produktionssoftware (all genders)
Standorte Aachen, Augsburg, Berlin, Bonn, Bremen, Dortmund, Dresden, Düsseldorf, Essen, Frankfurt, Hamburg, Hannover, Jena, Karlsruhe, Kiel, Koblenz, Köln, Leipzig, München, Münster, Neumünster, N…
Python Developer
GMS is an operational consultancy with expertise in data and digital systems. Whether digitalisation, data & analytics or compliance - our consultants are the missing piece of our customer’s digital …