remotefruitFilter
Remote-RegionAlle
ErfahrungAlle
VeröffentlichungAlle
Machine-Learning-Engineer für Inferenzoptimierung
Die Rolle verantwortet die Inferenzleistung skalierter ML-Systeme und überführt Forschungsergebnisse in schnelle, zuverlässige und kosteneffiziente Anwendungen für reale Nutzer. Dazu gehören die Analyse von GPU- und CPU-Pipelines bis auf Kernel-Ebene, die Umsetzung von Inferenzoptimierungen sowie Aufbau und Pflege von Serving-Systemen. Leistungsbenchmarks über unterschiedliche Hardware und Cloud-Konfigurationen sowie Verbesserungen an Zuverlässigkeit, Beobachtbarkeit und Wirtschaftlichkeit ergänzen die Arbeit. Die Zusammenarbeit erfolgt eng mit Forschung, Infrastruktur und Produkt; neue Modellarchitekturen werden gemeinsam mit Forschungsingenieuren produktionsreif gemacht.
Deep Learning
Deep Learning · erforderlichErforderlich ist ein solides Verständnis der internen Funktionsweise von Deep Learning, einschließlich Attention, Speicherlayout und Berechnungsgraphen.
+5
- GPU-Leistungsoptimierung · erforderlich
Erforderlich ist Vertrautheit mit GPU-Leistungsoptimierung mittels CUDA, ROCm, Triton oder Optimierungen auf Kernel-Ebene.
- Inferenzskalierung · erforderlich
Erforderlich ist Erfahrung in der Skalierung von Inferenz für reale Nutzer, nicht nur anhand von Forschungsbenchmarks.
- Quantisierung · Aufgabe
Zur Aufgabe gehört die Implementierung und Optimierung von Quantisierung mit fp16, bf16, int8 und fp8.
- KV-Cache · Aufgabe
Zur Aufgabe gehören Optimierung und Wiederverwendung des KV-Caches für die Modellinferenz.
- Speculative Decoding · Aufgabe
Die Rolle implementiert und optimiert spekulatives Decoding zur Verbesserung der Inferenzleistung.
- GPU-Leistungsoptimierung · erforderlich
- Gehalt
- Bedingter Berufsvergleich: 64.956 – 95.628 € brutto / Jahr Annahme: Vollzeit-Anstellung in Deutschland. Ob diese Bedingungen für die Stelle gelten, ist nicht vollständig belegt. Die Spanne zeigt das 25. bis 75. Perzentil der Bruttoentgelte sozialversicherungspflichtiger Vollzeitbeschäftigter in der zugeordneten Berufs- und Anforderungsgruppe in Deutschland, einschließlich Sonderzahlungen. Die Berufszuordnung erfolgt durch RemoteFruit. Datenquelle: BA/Entgeltatlas 2025. Monatswerte × 12. Keine Prognose des konkreten Stellengehalts und keine Gehaltszusage des Unternehmens. BA/Entgeltatlas 2025 · Annahme: Vollzeit-Anstellung in DE · mittlere 50 % · inkl. Sonderzahlungen Zuordnung berechnet am: 31.10.2026.
- Umfang
- Vollzeit
- Erfahrung
- Siehe Details
Deine Aufgaben
- Die Rolle optimiert Latenz, Durchsatz und Kosten großer ML-Modelle im Produktivbetrieb.
- Sie analysiert GPU- und CPU-Inferenzpipelines durch Profiling und untersucht Engpässe bei Speicher, Kernels, Batching und Ein-/Ausgabe.
- Sie implementiert und optimiert Verfahren wie Quantisierung mit fp16, bf16, int8 und fp8 sowie die Optimierung und Wiederverwendung des KV-Caches.
- Sie implementiert und optimiert spekulatives Decoding, Batching und Streaming sowie Modell-Pruning oder Architekturvereinfachungen für die Inferenz.
- Sie überführt neue Modellarchitekturen gemeinsam mit Forschungsingenieuren in den Produktivbetrieb und entwickelt und pflegt Inferenz-Serving-Systeme, etwa mit Triton, eigenen Laufzeitumgebungen oder individuellen Stacks.
- Sie vergleicht die Leistung auf NVIDIA- und AMD-GPUs, CPUs sowie unterschiedlichen Cloud-Konfigurationen.
- Sie verbessert Zuverlässigkeit, Beobachtbarkeit und Kosteneffizienz der Systeme unter realen Arbeitslasten.
Das solltest du mitbringen
Gefordert sind fundierte Erfahrung mit ML-Inferenzoptimierung oder hochperformanten ML-Systemen sowie Praxis in Modellbereitstellung und Inferenzskalierung für reale Nutzer, nicht nur Forschungsbenchmarks.
Erforderlich6 Punkte
- Erforderlich ist fundierte Erfahrung in der ML-Inferenzoptimierung oder mit hochperformanten ML-Systemen.
- Erforderlich ist ein solides Verständnis der internen Funktionsweise von Deep Learning, einschließlich Attention, Speicherlayout und Berechnungsgraphen.
- Erforderlich sind praktische Erfahrung mit PyTorch oder einem vergleichbaren Framework sowie Erfahrung mit der Bereitstellung von Modellen.
- Erforderlich ist Vertrautheit mit GPU-Leistungsoptimierung mittels CUDA, ROCm, Triton oder Optimierungen auf Kernel-Ebene.
- Erforderlich ist Erfahrung in der Skalierung von Inferenz für reale Nutzer, nicht nur anhand von Forschungsbenchmarks.
- Erwartet wird Sicherheit im Umgang mit einem schnelllebigen Startup-Umfeld, Eigenverantwortung und Unklarheit.
Von Vorteil5 Punkte
- Wünschenswert ist Erfahrung mit der Inferenz von LLMs oder Modellen mit langem Kontext.
- Wünschenswert sind Kenntnisse von Inferenz-Frameworks wie TensorRT, ONNX Runtime, vLLM und Triton.
- Wünschenswert ist Erfahrung mit Optimierungen über Hardware unterschiedlicher Hersteller hinweg.
- Wünschenswert sind Open-Source-Beiträge zu ML-Systemen oder Inferenzwerkzeugen.
- Wünschenswert ist ein Hintergrund in verteilten Systemen oder Diensten mit niedriger Latenz.
Außerdem genannt1 Punkt
- Die Rolle passt zu Personen mit Freude an technischer Detailarbeit, Systemprofiling bis auf Kernel-/GPU-Ebene und der Überführung von Forschungsideen in produktionsreife Leistungsverbesserungen.
Das wird angeboten
- Die Position bietet Verantwortung für leistungskritische Systeme und direkten Einfluss auf Produktzuverlässigkeit und Wirtschaftlichkeit pro Einheit.
- Geboten werden enge Zusammenarbeit mit Forschung, Infrastruktur und Produkt sowie ein Team mit Fokus auf technische Qualität statt Hype.
- Angeboten werden eine wettbewerbsfähige Vergütung und eine substanzielle Unternehmensbeteiligung in der Series-A-Phase.
Passt die Stelle? Öffne mit Premium den Bewerbungsweg.
Bewerbungslink freischaltenVeröffentlicht: 22.01.2026 · Quelle geprüft: 03.11.2026.
Die Angaben sind für RemoteFruit einheitlich aufbereitet. Maßgeblich bleibt die Originalanzeige. RemoteFruit steht in keiner Partnerschaft mit dem ausschreibenden Unternehmen.