Softwareentwickler für Inferenz

Arbeitszeit: Vollzeit
Erfahrung: Erforderlich ist Erfahrung mit Modellbereitstellung sowie mit Warteschlangen, Scheduling, Verkehrssteuerung und Flottenmanagement in großem Maßstab und mit Orchestrierung.
Vergütung: Gehalt nicht angegeben

Die Rolle in Kürze

Die Rolle verantwortet die technische Bereitstellung von Modellen mit hoher Verfügbarkeit und effizienter GPU-Nutzung unter Einhaltung interner SLOs. Gemeinsam mit Forschung, Entwicklung und Infrastruktur verbessert sie Modellbetrieb, Scheduling und Bereitstellung über Cluster und Hardwareanbieter hinweg.

Deine Aufgaben

Neue Modellarchitekturen werden in die Inferenzengine integriert und bereitgestellt.
In Zusammenarbeit mit Forschung, Entwicklung und Infrastruktur werden Modelleffizienz und Bereitstellungen optimiert.
Interne Werkzeuge werden entwickelt, um Inferenzjobs und Workflows über ihren gesamten Lebenszyklus zu messen, zu profilieren und nachzuverfolgen.
Inferenzdienste werden automatisiert, getestet und gewartet, um maximale Verfügbarkeit und Zuverlässigkeit zu erreichen.
Inferenzworkloads werden über Cluster und Hardwareanbieter hinweg verwaltet und optimiert; Bereitstellungen werden auf Tausende Maschinen skaliert.
Scheduling-Systeme werden entwickelt, die kostspielige GPU-Ressourcen unter Einhaltung interner SLOs optimal auslasten.
CI/CD für Modellcheckpoints und SDKs wird gepflegt.
Ein möglicher Ablauf der ersten 90 Tage sieht vor, an Tagen 1–30 Inferenzstack, Flotten und Schwachstellen bei Zuverlässigkeit oder Auslastung kennenzulernen. An Tagen 30–60 könnte ein Modell integriert oder könnten Werkzeuge beziehungsweise Scheduling-Lösungen zur Verbesserung von Verfügbarkeit oder GPU-Auslastung bereitgestellt werden; an Tagen 60–90 könnten Bereitstellungspipelines und Scheduling über Cluster und Anbieter hinweg robuster gestaltet werden.

Das solltest du mitbringen

Erforderlich

Vorausgesetzt werden ausgeprägte Fähigkeiten in der Systementwicklung sowie Sicherheit im Umgang mit Model Serving und Kubernetes in großem Maßstab.
Erforderlich sind fundierte Kenntnisse in Python und Systemarchitektur.
Erforderlich ist Erfahrung mit der Bereitstellung von Modellen mit PyTorch, Hugging Face, vLLM, SGLang, TensorRT-LLM oder vergleichbaren Technologien.
Erforderlich ist Erfahrung mit Warteschlangen, Scheduling, Verkehrssteuerung und Flottenmanagement in großem Maßstab.
Erforderlich ist Erfahrung mit Linux, Docker und Kubernetes sowie mit Orchestrierung, Bereitstellung und Scheduling.
Vertrautheit mit Redis und S3-kompatiblem Speicher wird vorausgesetzt.

Von Vorteil

Wünschenswert sind Kenntnisse moderner Netzwerkstacks einschließlich RDMA (RoCE, InfiniBand, NVLink).
Wünschenswert sind Kenntnisse leistungsfähiger ML-Systeme in großem Maßstab mit 100 oder mehr GPUs.
Wünschenswert sind Kenntnisse in CUDA sowie in FFmpeg oder Multimediaverarbeitung.

Veröffentlicht: 08.10.2026 · Quelle geprüft: 18.10.2026.

Die Angaben sind für RemoteFruit einheitlich aufbereitet. Maßgeblich bleibt die Originalanzeige. RemoteFruit steht in keiner Partnerschaft mit dem ausschreibenden Unternehmen.