remotefruitFilter
Remote-RegionAlle
ErfahrungAlle
VeröffentlichungAlle
Senior Engineer für angewandtes Machine Learning und Modell-Routing
Die Verantwortung umfasst das Routing-Modell einschließlich Trainingsdaten, Zielfunktion, Evaluation und kontinuierlicher Verbesserung, nicht die Infrastruktur. Plattformingenieure betreuen Proxy, Streaming und Flotte; gemeinsam wird die Instrumentierung gestaltet. Für jede Anfrage werden Qualität, Kosten und Decodiergeschwindigkeit der möglichen Modelle vorhergesagt, damit Einsparungen entstehen, ohne das Qualitätsniveau führender Modelle zu unterschreiten. Das Umfeld umfasst acht quelloffene Modelle mit mehr als 20-fach unterschiedlichen Eingabepreisen, zwischengespeicherte Eingaben mit bis zu 50-fach niedrigeren Kosten, führende Modelle über kundeneigene Zugangsschlüssel und einen Coding-Agenten mit Hunderten Anfragen je Aufgabe. Bei zeitbegrenzten Agentenaufgaben kann dreimal langsameres Decodieren weniger erledigte Arbeit bedeuten. Änderungen werden erst nach produktionsnaher Evaluation mit Fehlerintervallen veröffentlicht und anschließend im Echtbetrieb überprüft. Der Stack umfasst Python, PyTorch, SQL für große Datenmengen mit ClickHouse, OpenAI- und Anthropic-kompatible LLM-APIs, Benchmark- und Rollout-Harnesses der RouterBench-Klasse sowie GitLab CI. Die Zusammenarbeit erfolgt mit einem globalen Cloud-Team; die meisten Feature-Projekte dauern 1 bis 4 Wochen und ermöglichen schnelles Feedback.
Python
Python · erforderlichStarke Python-Kenntnisse sind gemeinsam mit SQL für die selbstständige Abfrage, Bereinigung und Analyse von Millionen anfragebezogener Datensätze erforderlich.
+5
- SQL · erforderlich
Starke SQL-Kenntnisse für große Datenmengen sind gemeinsam mit Python erforderlich, um Millionen anfragebezogener Datensätze selbstständig abzurufen, zu bereinigen und zu analysieren.
- Modellevaluation · Aufgabe · erforderlich
Jede Änderung wird durch produktionsnahe Benchmarks, Router-Vergleiche, zurückgehaltene Testdaten nach Aufgabenfamilie und Fehlerintervalle für Erfolgsquoten geprüft und freigegeben.
- LLM-Serving · erforderlich
Erforderlich ist genügend Verständnis von TTFT, Decodiergeschwindigkeit, Batching, Prefix-Caching und Parallelität, um die Zielfunktion realitätsgetreu zu modellieren.
- LLM-Routing · von Vorteil
Spezifische Erfahrung mit LLM-Routing, Evaluationen der RouterBench-Klasse und Pareto-Fronten für Kosten, Qualität und Latenz ist wünschenswert.
- Online-A/B-Tests · von Vorteil
Wünschenswert ist Erfahrung mit Online-A/B-Zyklen einschließlich Driftüberwachung für ein Modell, dessen Entscheidungen reales Geld betreffen.
- SQL · erforderlich
- Gehalt
- Annahme: Anstellung als Arbeitnehmer in Deutschland. Ob diese Bedingungen für die Stelle gelten, ist nicht vollständig belegt. Rechnerischer Jahresvergleich: 40 Stunden/Woche × 52 Wochen = 2.080 Stunden/Jahr. 32,37 € je Stunde × 2.080 Stunden, auf volle 100 € gerundet: ≈ 67.300 €. Einheitliche Vollzeit-Vergleichsbasis, keine Angabe der tatsächlichen Arbeitszeit dieser Stelle. Keine Berechnung des tatsächlichen Jahres- oder Teilzeitgehalts; zusätzliche Sonderzahlungen werden nicht hinzugerechnet. Statistischer Mittelwert (kein Median) für die breite ISCO-08-Berufsgruppe 2: Professionals. Eurostat SES 2022, Deutschland, April 2022: 32,37 € brutto je bezahlter Stunde. Vergleichsgruppe: Arbeitnehmer in Voll- und Teilzeit einschließlich bezahlter Werkstudenten, Unternehmen mit mindestens 10 Beschäftigten, Wirtschaftsbereiche B–S ohne öffentliche Verwaltung (O). Kein studentenspezifischer Wert, kein Anforderungsniveau und kein konkretes Stellengehalt. Bei deutschen Bildungsberufen sind öffentliche Beschäftigtendaten teilweise geschätzt; auch die amtliche Berufszuordnung ist mit Unsicherheit behaftet. Quelle: https://doi.org/10.2908/EARN_SES22_14 (Abruf 28.10.2026). Auswahl und deutschsprachige Erläuterung: RemoteFruit; Eurostat trägt dafür keine Verantwortung.
- Umfang
- Siehe Details
- Erfahrung
- Senior
Deine Aufgaben
- Das Routing-Modell wird durchgängig verantwortet: Features, Zielfunktion, Training, Kalibrierung und Veröffentlichungsrhythmus werden kontinuierlich wie ein Produkt weiterentwickelt.
- Für jede Änderung wird eine Freigabe-Evaluation mit produktionsnahen Benchmarks, Router-Vergleichen, zurückgehaltenen Testdaten nach Aufgabenfamilie und Fehlerintervallen für Erfolgsquoten aufgebaut.
- Anfrageergebnisse aus dem Echtbetrieb, Benchmark-Rollouts und Override-Feedback werden in Trainingssignale überführt. Infrastruktur- und Aufgabenfehler werden getrennt kategorisiert, damit verfälschte Labels nicht in die Entscheidungsstrategie gelangen.
- Die Zielfunktion bildet Aufgabenerfolg × Tokenkosten × tatsächliche Ausführungsgeschwindigkeit unter realer Parallelität ab und berücksichtigt die Wirtschaftlichkeit zwischengespeicherter Eingaben.
- Shadow-Betrieb, A/B-Tests, vollständige Einführung, Driftüberwachung und erneutes Training werden durchgeführt. Abweichungen zwischen Produktion und Offline-Evaluation werden vor der nächsten Veröffentlichung geklärt.
- Kalibrierte Entscheidungen, Entscheidungsverzicht bei Unsicherheit und geschwindigkeitsbewusstes Routing werden experimentell weiterentwickelt, soweit sie einen Nutzen bringen.
- Gemeinsam mit Plattformingenieuren wird festgelegt, welche Features und Labels je Anfrage erfasst werden, insbesondere die Decodiergeschwindigkeit, und welche Experimente der Datenpfad unterstützen muss.
Das solltest du mitbringen
Erforderlich sind mindestens 5 Jahre in angewandtem ML oder ML-Forschung sowie belegbare Erfahrung im Training, Evaluieren und Ausliefern von Modellen für Echtzeitentscheidungen.
Erforderlich7 Punkte
- Erforderlich sind mindestens 5 Jahre in angewandtem ML oder ML-Forschung sowie nachweisbares Training, Evaluieren und Ausliefern von Modellen für Echtzeitentscheidungen, etwa Ranking, Empfehlungen, Bandit-Verfahren, Preisgestaltung oder LLM-Routing.
- Erforderlich sind starke Python- und SQL-Kenntnisse für große Datenmengen, um Millionen anfragebezogener Datensätze selbstständig abzurufen, zu bereinigen und zu analysieren.
- Erwartet wird die Fähigkeit, echte Modellverbesserungen von lediglich leichter gewordenen Evaluationen zu unterscheiden.
- Erwartet wird eine fundierte eigene Einschätzung dazu, was LLM-Benchmarks einschließlich agentischer Harnesses tatsächlich messen.
- Erforderlich ist ausreichendes Verständnis des Modellbetriebs mit TTFT, Decodiergeschwindigkeit, Batching, Prefix-Caching und Parallelität, um die Zielfunktion realitätsgetreu zu modellieren.
- Erwartet wird, vor der Optimierung eine Instrumentierung einschließlich Fehlerintervallen einzurichten.
- Ein breiter Verantwortungsbereich soll als motivierend und nicht überwiegend als verunsichernd empfunden werden.
Von Vorteil3 Punkte
- Wünschenswert ist spezifische Erfahrung im LLM-Routing mit Evaluationen der RouterBench-Klasse und Pareto-Fronten für Kosten, Qualität und Latenz.
- Wünschenswert sind Kenntnisse oder Erfahrung mit Kalibrierung, Entscheidungsverzicht oder konformen Methoden in produktiven Entscheidungssystemen.
- Wünschenswert ist Erfahrung mit Online-A/B-Zyklen samt Driftüberwachung für ein Modell, dessen Entscheidungen reales Geld betreffen.
So ist Remote hier geregelt
- Remote
Die Arbeit erfolgt in einem flexiblen, globalen Remote-first-Umfeld.
Der Arbeitgeber bietet weder Visa-Sponsoring noch die Bereitstellung einer Arbeitserlaubnis an.
- Arbeitszeit
10 % der Arbeitszeit können für persönliche Projekte oder die eigene Weiterentwicklung genutzt werden.
Belegte Arbeits-/Kandidatenstandorte: Österreich oder Deutschland oder Spanien oder Vereinigtes Königreich oder Italien oder Niederlande oder Polen.
Das wird angeboten
- Die Vergütung richtet sich nach dem Erfahrungsniveau; zusätzlich werden Beteiligungsoptionen angeboten.
- 10 % der Arbeitszeit stehen für persönliche Projekte oder die eigene Weiterentwicklung zur Verfügung.
- Ein Lernbudget unterstützt die berufliche und persönliche Entwicklung einschließlich des Zugangs zu internationalen Konferenzen und Kursen.
- Ein jährlicher Hackathon bietet Raum für neue Ideen und den Austausch im Team.
- Ein Teambuilding-Budget und Unternehmensveranstaltungen unterstützen den kollegialen Austausch.
- Für die Arbeitsausstattung steht ein Budget zur Verfügung.
- Zusätzliche freie Tage werden angeboten.
So läuft die Bewerbung
- Das Auswahlverfahren umfasst ein Screening-Gespräch mit dem Recruiting, ein Gespräch mit der einstellenden Führungskraft, ein technisches Interview zum Systemdesign, Live-Coding und ein Gespräch zur kulturellen Passung mit einer Führungsperson der Geschäftsleitung.
- In der letzten Auswahlphase kann eine Hintergrundüberprüfung durch einen externen Dienstleister stattfinden.
Passt die Stelle? Öffne mit Premium den Bewerbungsweg.
Bewerbungslink freischaltenVeröffentlicht: 15.10.2026 · Quelle geprüft: 03.11.2026.
Die Angaben sind für RemoteFruit einheitlich aufbereitet. Maßgeblich bleibt die Originalanzeige. RemoteFruit steht in keiner Partnerschaft mit dem ausschreibenden Unternehmen.