remotefruitRemote EU
Wissenschaftler/in oder Ingenieur/in für Trainingsinfrastruktur
- Arbeitszeit
- Vollzeit
- Erfahrung
- Erforderlich ist umfassende Erfahrung im verteilten Training von Foundation-Modellen mit FSDP und mehreren Knoten. Praxis mit Trainingsläufen auf 100+ GPUs ist erwünscht.
- Vergütung
- Gehalt nicht angegeben
Die Rolle in Kürze
Die Rolle entwickelt zuverlässige, effiziente und skalierbare Trainingsinfrastruktur, damit Forschende sich auf Innovationen konzentrieren können. Sie bearbeitet Parallelisierung, Trainingsstabilität und Clusterauslastung mit PyTorch und CUDA und entwickelt Werkzeuge zur Überwachung und Fehleranalyse.
Deine Aufgaben
- Die Rolle entwirft, implementiert und optimiert verteilte Trainingssysteme für Modelle auf Tausenden GPUs.
- Sie erforscht und implementiert fortgeschrittene Parallelisierung mit FSDP, Tensor Parallel, Pipeline Parallel und Expert Parallel.
- Sie entwickelt Werkzeuge zur Überwachung, Visualisierung und Fehleranalyse großer Trainingsläufe.
- Sie optimiert Trainingsstabilität, Konvergenz und Ressourcenauslastung in sehr großen Clustern.
- Ein möglicher Einstieg sieht für die Tage 1–30 vor, den bestehenden Trainingsstack kennenzulernen und Probleme mit Stabilität und Auslastung bei großer Skalierung zu analysieren.
- Für die Tage 30–60 könnte eine Verbesserung der Parallelisierung oder Stabilität umgesetzt werden, die einen realen Trainingslauf messbar verbessert.
- Für die Tage 60–90 könnte die Entwicklung von Monitoring und Werkzeugen folgen, die große Trainingsläufe zuverlässig und effizient halten.
Das solltest du mitbringen
Erforderlich
- Erforderlich sind umfassende Erfahrung mit verteiltem PyTorch-Training und Parallelisierung beim Training von Foundation-Modellen sowie praktische Erfahrung mit der Lösung von Trainingsproblemen im großen Maßstab, FSDP und Training über mehrere Knoten.
- Erforderlich ist ein tiefes Verständnis von GPU-Clustern, Netzwerken und Speichersystemen.
- Erforderlich sind Kenntnisse von Kommunikationsbibliotheken wie NCCL und MPI sowie der Optimierung verteilter Systeme.
Von Vorteil
- Wünschenswert sind fundierte Kenntnisse in Linux-Systemadministration und Scripting.
- Wünschenswert ist Erfahrung mit der Verwaltung von Trainingsläufen auf 100+ GPUs.
- Wünschenswert ist Erfahrung mit Containerisierung, Orchestrierung und Cloud-Infrastruktur.
Veröffentlicht: 08.10.2026 · Quelle geprüft: 18.10.2026.
Die Angaben sind für RemoteFruit einheitlich aufbereitet. Maßgeblich bleibt die Originalanzeige. RemoteFruit steht in keiner Partnerschaft mit dem ausschreibenden Unternehmen.