Senior Machine-Learning-Engineer für die Optimierung der LLM-Inferenz

Arbeitszeit: Nicht angegeben
Erfahrung: Erforderlich ist praktische Erfahrung mit der Bereitstellung oder Optimierung von LLM-, VLM- oder Hochdurchsatz-Transformer-Inferenz sowie dem Entwurf oder der Optimierung verteilter Inferenzarchitekturen.
Vergütung: Gehalt nicht angegeben

Die Rolle in Kürze

Die Rolle verantwortet die Optimierung von Modellen, Inferenz-Engines und verteilten Serving-Architekturen bei gewahrter Qualität und Zuverlässigkeit. Gemeinsam mit Kernel- und Plattformingenieuren untersucht sie Engpässe und Regressionen und validiert Verbesserungen durch reproduzierbare Benchmarks sowie sichere produktive Rollouts unter realen Lasten.

Deine Aufgaben

Die Rolle verantwortet Optimierungsprojekte für bestimmte Modellfamilien, Kunden-Endpunkte oder Serving-Backends und verbessert Latenz, Durchsatz, Speichereffizienz, GPU-Auslastung, Qualität und Kosten pro Token von LLM- und VLM-Endpunkten. Sie diagnostiziert Qualitäts- und Leistungsregressionen bei produktiven Rollouts.
Sie vergleicht Inferenz-Engines und empfiehlt lastgerechte Serving-Konfigurationen. Engines wie vLLM, SGLang, TensorRT-LLM, Triton Inference Server und NVIDIA Dynamo werden bereitgestellt, konfiguriert, durch Benchmarks geprüft und erweitert.
Sie entwickelt produktive Workflows zur Modellkompression mit Quantisierung, quantisierungsbewusstem Training, Destillation, Low-Bit-Serving und Wiederherstellung der Genauigkeit.
Sie implementiert oder integriert spekulatives Decoding, Draft-Model-Ansätze, KV-Cache-Optimierung, Prefix-Caching, Chunked Prefill, Continuous Batching und getrenntes Prefill-/Decode-Serving. Für Prefill-Decode-Disaggregation (PDD) bewertet sie KV-Cache-Transfers, Worker-Platzierung und Kapazitätsausgleich, um geeignete Workloads zu bestimmen.
Sie entwickelt und verbessert LLM-Request-Router und Scheduling-Regeln, die Worker-Auslastung, Warteschlangen, Anfrageeigenschaften und KV-Cache-Lokalität ausbalancieren und dabei Latenz- und Zuverlässigkeitsziele einhalten.
Sie skaliert dichte Modelle und Mixture-of-Experts-Inferenz über mehrere GPU-Knoten. Dabei wählt und optimiert sie Tensor-, Pipeline-, Daten- und Expertenparallelität einschließlich Wide Expert Parallelism (WideEP) unter Berücksichtigung von Hardwaretopologie, Expertenlastverteilung und Kommunikationsaufwand.
Sie erstellt reproduzierbare Benchmark-Systeme für TTFT, TPOT, Token pro Sekunde und GPU, p95-/p99-Latenz, GPU-Speicher, Zuverlässigkeit und Kosten pro Token. Architekturentscheidungen werden unter repräsentativem Datenverkehr und einheitlichen GPU-Budgets validiert.
Gemeinsam mit GPU-Kernel- und Plattformingenieuren verfolgt sie Engpässe über Modellcode, Kernel, Laufzeitumgebung, Scheduler, Gateway und Cluster hinweg. Sie erstellt Entwurfsdokumente, Leistungsberichte, Rollout-Pläne und technische Erläuterungen für Kunden.

Das solltest du mitbringen

Erforderlich

Erforderlich sind ausgeprägte Engineering-Kenntnisse in Python und PyTorch.
Erforderlich ist praktische Erfahrung mit der Bereitstellung oder Optimierung von LLM-, VLM- oder Transformer-Inferenz mit hohem Durchsatz.
Erforderlich sind praktische Kenntnisse mindestens eines modernen Inferenz-Stacks, beispielsweise vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe oder eines gleichwertigen internen Systems.
Erforderlich ist ein fundiertes Verständnis der Engpässe bei Transformer-Inferenz hinsichtlich KV-Cache, Attention, Speicherbandbreite, Batching, Parallelität und Serving mit langen Kontexten.
Erforderlich ist die Fähigkeit, Zielkonflikte zwischen Latenz, Durchsatz, Qualität, Auslastung und Kosten zu quantifizieren.
Erforderlich ist Erfahrung im Entwurf oder in der Optimierung verteilter Inferenzarchitekturen mit praktischer Arbeit in mindestens einem Bereich wie Request-Routing, verteiltem Scheduling, PDD, Inferenz über mehrere Knoten oder Expertenparallelität.
Erforderlich sind ausgeprägte Kommunikations- und Kooperationsfähigkeiten in der Zusammenarbeit mit Forschungs-, Kernel-, Infrastruktur-, Produkt- und Kundenteams.
Erforderlich ist eine Arbeitsberechtigung für das Land, in dem die Bewerbung erfolgt; deren Nachweis ist Voraussetzung für die Einstellung.

Von Vorteil

Wünschenswert ist Erfahrung mit quantisierungsbewusstem Training, Quantisierung nach dem Training, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ oder SmoothQuant.
Wünschenswert ist Erfahrung mit Destillation, spekulativem Decoding, EAGLE, Medusa, Multi-Token-Vorhersage oder verwandten Verfahren zur Inferenzbeschleunigung.
Wünschenswert ist Erfahrung in der Unterstützung agentischer Workloads mit Tool-Aufrufen, strukturierten Ausgaben, Streaming-APIs, hoher Nebenläufigkeit und mehrstufiger Orchestrierung.
Wünschenswert sind Kenntnisse in CUDA oder Triton; Kernel-Engineering muss dabei nicht die primäre Spezialisierung sein.
Wünschenswert sind Beiträge zu Open-Source-Projekten wie vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray oder KServe.
Wünschenswert ist Implementierungserfahrung mit cachebewusstem Request-Routing, PDD oder WideEP einschließlich der Diagnose von Kommunikationsengpässen und ungleichmäßiger Lastverteilung.
Wünschenswert sind Kenntnisse von GPU-Kommunikationsbibliotheken und Verbindungen wie NCCL, NVLink, InfiniBand oder RoCE.

Das wird angeboten

Geboten werden eine wettbewerbsfähige Vergütung sowie berufliche Entwicklungs- und Lernmöglichkeiten.
Die Tätigkeit bietet Flexibilität, Eigenverantwortung und die Möglichkeit, an wirkungsvollen KI-Projekten mitzuwirken.
Das Arbeitsumfeld ist international und bietet eine kooperative, innovationsorientierte Zusammenarbeit.

So läuft die Bewerbung

Als Einstellungsvoraussetzung ist ein Nachweis der Arbeitsberechtigung im jeweiligen Bewerbungsland erforderlich.
Bei Bedarf sind Anpassungen im Bewerbungsverfahren möglich.

Veröffentlicht: 24.09.2026 · Quelle geprüft: 17.10.2026.

Die Angaben sind für RemoteFruit einheitlich aufbereitet. Maßgeblich bleibt die Originalanzeige. RemoteFruit steht in keiner Partnerschaft mit dem ausschreibenden Unternehmen.