remotefruitRemote nach Länderfreigabe
Ingenieur für Modellbereitstellung
- Arbeitszeit
- Vollzeit
- Erfahrung
- Gefordert sind mindestens 5 Jahre Erfahrung in Model Serving, ML-Infrastruktur oder eng verwandtem Backend Engineering. Gleichwertige Praxis kann den Studienabschluss ersetzen.
- Vergütung
- Gehalt nicht angegeben
Die Rolle in Kürze
Die Rolle überführt tabellarische Foundation-Modelle gemeinsam mit Forschung und Infrastrukturteams in zuverlässige, skalierbare Produktionssysteme. Sie verantwortet den Inferenzstack über verschiedene Bereitstellungsumgebungen hinweg und verbessert Leistung, Ressourceneffizienz und Betriebsverhalten.
Deine Aufgaben
- Sie optimiert Python-Inferenzcode für konkurrierende und lang laufende Produktionslasten unter Berücksichtigung von GIL-Konflikten, Multithreading, Multiprocessing und asynchroner Ausführung.
- Sie analysiert mit der Forschung Modellinterna und komplexes, nicht offensichtliches Rechenverhalten unter Produktionslast und unterstützt die kontinuierliche Weiterentwicklung der Modellarchitektur.
- Sie bewertet gemeinsam mit Forschungs- und Infrastrukturteams Hardwareauslastung und Serving-Zielkonflikte zwischen GPU, CPU, Speicher, Netzwerk, Batching und Nebenläufigkeit.
- Sie entwickelt die Architektur für verteilte Inferenz und asynchrone Ausführung einschließlich Orchestrierung, Worker-Koordination und durchgängiger Nebenläufigkeitsmuster weiter.
- Sie verantwortet die Triton-Serving-Schicht einschließlich Verpackung, Konfiguration und Ausführung der Modelle innerhalb der produktiven Inferenzpipeline.
- Sie entwickelt Observability- und Leistungswerkzeuge und nutzt Produktionsmetriken zur Optimierung von Latenz, Durchsatz und Ressourceneffizienz.
- Sie löst übergreifende Serving-Probleme bei der Bereitstellung desselben Modells in Umgebungen mit unterschiedlichen Anforderungen an Skalierung, Isolation und Zuverlässigkeit.
- Sie bewertet und integriert neue Inferenzlaufzeiten, Serving-Strategien und Infrastrukturansätze entsprechend der Weiterentwicklung des Modellökosystems.
Das solltest du mitbringen
Erforderlich
- Erforderlich ist ein Bachelor- oder Masterabschluss in Informatik, Ingenieurwissenschaften oder einem verwandten Fach oder gleichwertige praktische Erfahrung.
- Erforderlich sind mindestens 5 Jahre Erfahrung im Model Serving, in ML-Infrastruktur oder in einer eng verwandten Backend-Engineering-Rolle.
- Erforderlich sind fundierte Kenntnisse der Nebenläufigkeit in Python einschließlich GIL-Verhalten, Multithreading, Threadsicherheit und Multiprocessing.
- Erforderlich ist Erfahrung im Aufbau asynchroner und nachrichtengesteuerter Systeme.
- Erforderlich sind Kenntnisse leistungsfähiger verteilter Systeme im großen Maßstab.
- Erforderlich ist die Fähigkeit, Implementierungen von ML-Modellen hinsichtlich Rechenverhalten, Batching, Speichernutzung und Inferenzeigenschaften zu lesen und zu analysieren.
- Erforderlich ist Erfahrung mit Profiling und Leistungsoptimierung für CPU-, Speicher- und I/O-Workloads sowie mit der Umsetzung der Ergebnisse in Architekturverbesserungen; GPU-Workloads sind dabei idealerweise ebenfalls abgedeckt.
Von Vorteil
- Wünschenswert ist Verständnis von GPU-Architektur, Leistungsmerkmalen und Ressourcenauslastung bei Hochleistungsrechenlasten.
- Wünschenswert ist Erfahrung mit ML-Systemen für tabellarische und strukturierte Daten.
- Wünschenswert ist Verständnis neuronaler Netze und moderner Deep-Learning-Architekturen.
- Wünschenswert ist Erfahrung mit Kubernetes und Cloud-Infrastruktur.
- Wünschenswert ist Vertrautheit mit DevOps und Werkzeugen für Produktionsinfrastruktur einschließlich Containern, Helm, Observability und CI/CD-Systemen.
Das wird angeboten
- Die Vergütung umfasst Gehalt und Unternehmensbeteiligung.
- Ein umfassender Krankenversicherungsschutz wird für Beschäftigte und ihre Angehörigen angeboten.
- Alle neuen Eltern erhalten bezahlte Elternzeit, einschließlich bei Adoption und Leihmutterschaft.
- Beschäftigte erhalten Umzugsunterstützung, wenn sie für den Einstieg an einen der Bürostandorte ziehen.
- Die Arbeitskultur legt Wert auf gemeinsame Ziele, geringe Egoorientierung, unterschiedliche Denkweisen, Eigenverantwortung und Handlungsorientierung.
Veröffentlicht: 09.04.2026 · Quelle geprüft: 19.10.2026.
Die Angaben sind für RemoteFruit einheitlich aufbereitet. Maßgeblich bleibt die Originalanzeige. RemoteFruit steht in keiner Partnerschaft mit dem ausschreibenden Unternehmen.