remotefruitFilter
Remote-RegionAlle
ErfahrungAlle
VeröffentlichungAlle
Senior ML Engineer für die Optimierung des Inferenz-Stacks
Die Rolle verantwortet die datenbasierte Optimierung der Inferenz-Infrastruktur, damit Kunden schnellere und günstigere Inferenz erhalten und die Wirtschaftlichkeit steigt. Dazu gehören SGLang- und vLLM-Engines, B300-Knoten, ein gemeinsames Cluster-Dateisystem mit einmaliger Speicherung jedes Checkpoints, KV-Caches und eine Benchmark-Umgebung, die jede ausgelieferte Änderung prüft. Die Checkpoints umfassen 0,3 bis 1,5 TB; Serving-Konfigurationen müssen an Verkehrsprofil, Sequenzlängen, Batch-Dynamik, GPU-Typ, Speicherbandbreite und Quantisierungstoleranz angepasst werden, die sich wöchentlich verändern. Bei einem 1,5-TB-Modell wurde die Zeit vom Kaltstart bis zum Serving bereits von über einer Stunde auf unter zwölf Minuten reduziert. Die Rolle entwickelt diese Optimierung weiter und vermittelt technische Entscheidungen durch fundierte Dokumentation und reproduzierbare Experimente im Team. Die Zusammenarbeit erfolgt mit einem globalen Team von Cloud-Fachleuten.
Python
Python · erforderlichErforderlich sind produktionsreife Python-Kenntnisse für Services, nicht lediglich für Skripte.
+5
- Visa-Unterstützung
Es werden weder Visa-Sponsoring noch Arbeitserlaubnisse bereitgestellt.
- Inferenz-Engines · erforderlich
Erforderlich sind praktische Betriebserfahrung mit vLLM, SGLang oder TensorRT-LLM und ein belastbares Verständnis der Leistungsursachen einer Engine auf einer bestimmten GPU.
- Quantisierung · erforderlich
Erforderlich ist Erfahrung mit der Messung von Qualitätsregressionen durch Quantisierung, nicht nur von Kompressionsraten.
- Verteilte GPU-Systeme · erforderlich
Erforderlich ist ein sicherer Umgang mit Multi-GPU- und Multi-Node-Systemen einschließlich Tensor- und Expertenparallelität, kollektiver Kommunikation und deren praktischer Fehlerbilder.
- LLM-Routing · von Vorteil
Wünschenswert ist Erfahrung speziell mit LLM-Routing, einschließlich Evaluationen der RouterBench-Klasse und Pareto-Fronten für Kosten, Qualität und Latenz.
- Visa-Unterstützung
- Gehalt
- Annahme: Anstellung als Arbeitnehmer in Deutschland. Ob diese Bedingungen für die Stelle gelten, ist nicht vollständig belegt. Rechnerischer Jahresvergleich: 40 Stunden/Woche × 52 Wochen = 2.080 Stunden/Jahr. 32,37 € je Stunde × 2.080 Stunden, auf volle 100 € gerundet: ≈ 67.300 €. Einheitliche Vollzeit-Vergleichsbasis, keine Angabe der tatsächlichen Arbeitszeit dieser Stelle. Keine Berechnung des tatsächlichen Jahres- oder Teilzeitgehalts; zusätzliche Sonderzahlungen werden nicht hinzugerechnet. Statistischer Mittelwert (kein Median) für die breite ISCO-08-Berufsgruppe 2: Professionals. Eurostat SES 2022, Deutschland, April 2022: 32,37 € brutto je bezahlter Stunde. Vergleichsgruppe: Arbeitnehmer in Voll- und Teilzeit einschließlich bezahlter Werkstudenten, Unternehmen mit mindestens 10 Beschäftigten, Wirtschaftsbereiche B–S ohne öffentliche Verwaltung (O). Kein studentenspezifischer Wert, kein Anforderungsniveau und kein konkretes Stellengehalt. Bei deutschen Bildungsberufen sind öffentliche Beschäftigtendaten teilweise geschätzt; auch die amtliche Berufszuordnung ist mit Unsicherheit behaftet. Quelle: https://doi.org/10.2908/EARN_SES22_14 (Abruf 28.10.2026). Auswahl und deutschsprachige Erläuterung: RemoteFruit; Eurostat trägt dafür keine Verantwortung.
- Umfang
- Siehe Details
- Erfahrung
- Senior
Deine Aufgaben
- Der Durchsatz der Engine-Flotte wird durch Continuous Batching, Chunked Prefill, spekulatives Decoding mit Draft-Modellen, CUDA-Graph-Capture und Scheduler-Tuning gesteigert. Für jeden GPU-Typ werden die Leistungsgrenzen ermittelt und angehoben.
- TTFT und Inter-Token-Latenz werden getrennt reduziert. Profiling identifiziert tatsächliche Engpässe bei Rechenleistung, Speicherbandbreite, Scheduling, Storage oder Netzwerk, die anschließend behoben werden.
- Die Rolle verantwortet die KV-Cache-Optimierung mit hierarchischer und Paged Attention, Prefix-Caching für Coding-Verkehr mit hoher Wiederverwendung, Verdrängungsstrategien und quantisierten KV-Caches.
- Kaltstarts werden durch optimierte Gewichtsloader mit O_DIRECT und Verfahren der fastsafetensors-Klasse, JIT- und Compile-Caches sowie Lesepfade gemeinsamer Dateisysteme verkürzt. Ein 1,5-TB-Checkpoint soll keine Stunde bis zum Serving benötigen.
- Gewichte, Aktivierungen und KV-Caches werden mit INT8, INT4, FP8 und FP4 ohne Qualitätsverschlechterung quantisiert. Die Bewertung erfolgt anhand realer Workloads und nicht allein anhand von Perplexitäts-Benchmarks.
- Die Inferenz wird über mehrere Knoten skaliert. Dazu werden verteilte Topologien, netzwerkbewusste Platzierung, getrennte Prefill- und Decode-Verarbeitung sowie Checkpointing-Strategien ohne Storage- oder Interconnect-Engpässe entwickelt.
- Die Rolle bestimmt die technische Richtung und entscheidet, was gemessen, übernommen oder selbst entwickelt wird. Fundierte schriftliche Ausarbeitungen und reproduzierbare Experimente vermitteln die Entscheidungen im Team.
Das solltest du mitbringen
Erforderlich sind mindestens fünf Jahre im Aufbau realer ML-Systeme und ein Portfolio mit Tiefe in Inferenz- oder Trainingsinfrastruktur, nicht nur Modelltraining-Notebooks.
Erforderlich8 Punkte
- Erforderlich sind mindestens fünf Jahre im Aufbau realer ML-Systeme. Das Portfolio muss vertiefte Erfahrung mit Inferenz- oder Trainingsinfrastruktur belegen und darf sich nicht auf Modelltraining-Notebooks beschränken.
- Erforderlich sind produktionsreife Python-Kenntnisse für Services und nicht lediglich für Skripte.
- Erforderlich sind praktische Betriebserfahrung mit vLLM, SGLang oder TensorRT-LLM sowie ein belastbares Verständnis dafür, warum eine Engine auf einer bestimmten GPU ihre jeweilige Leistung erreicht.
- Erforderlich ist Erfahrung mit der Messung von Qualitätsregressionen durch Quantisierung, nicht nur von Kompressionsraten.
- Erforderlich ist ein sicherer Umgang mit Multi-GPU- und Multi-Node-Systemen einschließlich Tensor- und Expertenparallelität, kollektiver Kommunikation und deren praktischer Fehlerbilder.
- Erforderlich sind Kenntnisse über Datenablage und Datendurchsatz bei Page-Caches, O_DIRECT und Netzwerkdateisystemen mit Lesezugriffen im Terabyte-Maßstab.
- Erwartet werden Instrumentierung vor der Optimierung und die Fähigkeit, reale Leistungsgewinne von Benchmark-Artefakten zu unterscheiden.
- Erwartet wird, dass ein breiter Verantwortungsbereich eher motiviert als verunsichert.
Von Vorteil3 Punkte
- Wünschenswert ist Erfahrung speziell mit LLM-Routing, einschließlich Evaluationen der RouterBench-Klasse und Pareto-Fronten für Kosten, Qualität und Latenz.
- Wünschenswert sind Kenntnisse oder Erfahrung mit Kalibrierung, Abstention oder konformen Methoden in produktiven Entscheidungssystemen.
- Wünschenswert ist Erfahrung mit Online-A/B-Schleifen und Drift-Monitoring bei einem Modell, das reales Geld beeinflusst.
So ist Remote hier geregelt
- Remote
Die Arbeit erfolgt in einem flexiblen, globalen Remote-first-Umfeld.
Es werden weder Visa-Sponsoring noch Arbeitserlaubnisse bereitgestellt.
- Arbeitszeit
10 % der Arbeitszeit stehen für persönliche Projekte oder die eigene Weiterentwicklung zur Verfügung.
Belegte Arbeits-/Kandidatenstandorte: Österreich oder Deutschland oder Spanien oder Frankreich oder Vereinigtes Königreich oder Italien oder Niederlande oder Polen.
Das wird angeboten
- Die Vergütung richtet sich nach dem Erfahrungsniveau; zusätzlich werden Beteiligungsoptionen angeboten.
- Das Arbeitsumfeld ist flexibel, global und Remote-first; die Zusammenarbeit erfolgt mit einem internationalen Team von Cloud-Fachleuten mit Kubernetes-Schwerpunkt.
- Ein schneller Arbeitsablauf ermöglicht zeitnahes Feedback. Die meisten Feature-Projekte werden innerhalb von 1 bis 4 Wochen abgeschlossen.
- 10 % der Arbeitszeit stehen für persönliche Projekte oder die eigene Weiterentwicklung zur Verfügung.
- Ein Lernbudget unterstützt die berufliche und persönliche Entwicklung einschließlich des Zugangs zu internationalen Konferenzen und Kursen.
- Ein jährlicher Hackathon, ein Teambuilding-Budget und Unternehmensveranstaltungen unterstützen neue Ideen und den Austausch im Team.
- Ein Ausstattungsbudget wird bereitgestellt.
- Zusätzliche freie Tage werden angeboten.
So läuft die Bewerbung
- Das Auswahlverfahren umfasst ein Screening-Gespräch mit dem Recruiting, ein Gespräch mit der einstellenden Führungskraft, ein technisches Interview zu Systemdesign, Live-Coding und ein Gespräch zur kulturellen Passung mit einem Mitglied der Unternehmensleitung.
- In der abschließenden Auswahlphase kann eine Hintergrundprüfung durch einen externen Dienstleister erfolgen.
Passt die Stelle? Öffne mit Premium den Bewerbungsweg.
Bewerbungslink freischaltenÄhnliche Remote-Stellen
Weitere aktuelle Angebote mit passenden beruflichen Schwerpunkten.
DE+
DE+Remote in mehreren Gebieten · Belegte Arbeits-/Kandidatenstandorte: Vereinigte Staaten oder Europa.
Machine-Learning-Engineer für den operativen Betrieb
Die Rolle verantwortet den produktiven Inferenzbetrieb für Sprachsynthese und Spracherkennung. Sie überführt Forschungsmodelle in latenzarme, kosteneffiziente GPU-Streamingdienste.
Bedingter Berufsvergleich: 64.956 – 95.628 € brutto / Jahr Annahme: Vollzeit-Anstellung in Deutschland. Ob diese Bedingungen für die Stelle gelten, ist nicht vollständig belegt. Die Spanne zeigt das 25. bis 75. Perzentil der Bruttoentgelte sozialversicherungspflichtiger Vollzeitbeschäftigter in der zugeordneten Berufs- und Anforderungsgruppe in Deutschland, einschließlich Sonderzahlungen. Die Berufszuordnung erfolgt durch RemoteFruit. Datenquelle: BA/Entgeltatlas 2025. Monatswerte × 12. Keine Prognose des konkreten Stellengehalts und keine Gehaltszusage des Unternehmens. BA/Entgeltatlas 2025 · Annahme: Vollzeit-Anstellung in DE · mittlere 50 % · inkl. Sonderzahlungen Zuordnung berechnet am: 31.10.2026.DE
DERemote aus Deutschland · Belegte Arbeits-/Kandidatenstandorte: Deutschland. · Das Team arbeitet vollständig remote; der Wohnort kann frei gewählt werden.
Senior Machine-Learning-Engineer für Suchqualität
Die Rolle verbessert die Suchqualität im E-Commerce durch LLM-basierte Relevanzbewertung, Echtzeitmodelle und automatisierte Qualitätsüberwachung.
80.000 – 120.000 USD · Brutto-/Nettobasis offen. Laut Originalanzeige Vollzeit-Anstellung in Deutschland · unabhängig von der Arbeitgebervergütung Dieser Berufsvergleich ergänzt die Angaben der Originalanzeige. Er klärt eine ungeklärte Arbeitgebervergütung nicht und ersetzt kein veröffentlichtes Angebot. Bedingter Berufsvergleich: 64.956 – 95.628 € brutto / Jahr Annahme: Vollzeit-Anstellung in Deutschland. Ob diese Bedingungen für die Stelle gelten, ist nicht vollständig belegt. Die Spanne zeigt das 25. bis 75. Perzentil der Bruttoentgelte sozialversicherungspflichtiger Vollzeitbeschäftigter in der zugeordneten Berufs- und Anforderungsgruppe in Deutschland, einschließlich Sonderzahlungen. Die Berufszuordnung erfolgt durch RemoteFruit. Datenquelle: BA/Entgeltatlas 2025. Monatswerte × 12. Keine Prognose des konkreten Stellengehalts und keine Gehaltszusage des Unternehmens. BA/Entgeltatlas 2025 · Annahme: Vollzeit-Anstellung in DE · mittlere 50 % · inkl. Sonderzahlungen Zuordnung berechnet am: 01.11.2026.DE
DERemote aus Deutschland · Belegte Arbeits-/Kandidatenstandorte (abschließend angegeben): Deutschland. Arbeitsbasis (abschließend angegeben): Deutschland. · Die Tätigkeit erfolgt remote. Bewerber müssen bereits in Deutschland ansässig sein, da die Einstellung gezielt für diesen Markt erfolgt.
Ingenieur für angewandte KI – KI-Finanzagent
Die Rolle entwickelt produktive KI-Agenten, Assistenten und Automatisierungen für Finanzdienstleistungen. Gemeinsam mit Produkt- und Entwicklungsteams werden manuelle Abläufe in skalierbare, sichere und zuverlässige Systeme überführt.
Annahme: Anstellung als Arbeitnehmer in Deutschland. Ob diese Bedingungen für die Stelle gelten, ist nicht vollständig belegt. Rechnerischer Jahresvergleich: 40 Stunden/Woche × 52 Wochen = 2.080 Stunden/Jahr. 32,37 € je Stunde × 2.080 Stunden, auf volle 100 € gerundet: ≈ 67.300 €. Einheitliche Vollzeit-Vergleichsbasis, keine Angabe der tatsächlichen Arbeitszeit dieser Stelle. Keine Berechnung des tatsächlichen Jahres- oder Teilzeitgehalts; zusätzliche Sonderzahlungen werden nicht hinzugerechnet. Statistischer Mittelwert (kein Median) für die breite ISCO-08-Berufsgruppe 2: Professionals. Eurostat SES 2022, Deutschland, April 2022: 32,37 € brutto je bezahlter Stunde. Vergleichsgruppe: Arbeitnehmer in Voll- und Teilzeit einschließlich bezahlter Werkstudenten, Unternehmen mit mindestens 10 Beschäftigten, Wirtschaftsbereiche B–S ohne öffentliche Verwaltung (O). Kein studentenspezifischer Wert, kein Anforderungsniveau und kein konkretes Stellengehalt. Bei deutschen Bildungsberufen sind öffentliche Beschäftigtendaten teilweise geschätzt; auch die amtliche Berufszuordnung ist mit Unsicherheit behaftet. Quelle: https://doi.org/10.2908/EARN_SES22_14 (Abruf 28.10.2026). Auswahl und deutschsprachige Erläuterung: RemoteFruit; Eurostat trägt dafür keine Verantwortung.DE+
DE+Remote in mehreren Gebieten · Belegte Arbeits-/Kandidatenstandorte: Israel oder Europa.
MLOps-Ingenieur:in
Die Rolle entwickelt und betreibt skalierbare ML-Pipelines, Modellbereitstellung und Inferenzinfrastruktur. Weitere Aufgaben sind Monitoring, effiziente GPU-Nutzung und Dateninfrastruktur.
Annahme: Anstellung als Arbeitnehmer in Deutschland. Ob diese Bedingungen für die Stelle gelten, ist nicht vollständig belegt. Rechnerischer Jahresvergleich: 40 Stunden/Woche × 52 Wochen = 2.080 Stunden/Jahr. 32,37 € je Stunde × 2.080 Stunden, auf volle 100 € gerundet: ≈ 67.300 €. Einheitliche Vollzeit-Vergleichsbasis, keine Angabe der tatsächlichen Arbeitszeit dieser Stelle. Keine Berechnung des tatsächlichen Jahres- oder Teilzeitgehalts; zusätzliche Sonderzahlungen werden nicht hinzugerechnet. Statistischer Mittelwert (kein Median) für die breite ISCO-08-Berufsgruppe 2: Professionals. Eurostat SES 2022, Deutschland, April 2022: 32,37 € brutto je bezahlter Stunde. Vergleichsgruppe: Arbeitnehmer in Voll- und Teilzeit einschließlich bezahlter Werkstudenten, Unternehmen mit mindestens 10 Beschäftigten, Wirtschaftsbereiche B–S ohne öffentliche Verwaltung (O). Kein studentenspezifischer Wert, kein Anforderungsniveau und kein konkretes Stellengehalt. Bei deutschen Bildungsberufen sind öffentliche Beschäftigtendaten teilweise geschätzt; auch die amtliche Berufszuordnung ist mit Unsicherheit behaftet. Quelle: https://doi.org/10.2908/EARN_SES22_14 (Abruf 28.10.2026). Auswahl und deutschsprachige Erläuterung: RemoteFruit; Eurostat trägt dafür keine Verantwortung.
Veröffentlicht: 15.10.2026 · Quelle geprüft: 03.11.2026.
Die Angaben sind für RemoteFruit einheitlich aufbereitet. Maßgeblich bleibt die Originalanzeige. RemoteFruit steht in keiner Partnerschaft mit dem ausschreibenden Unternehmen.