remotefruitRemote nach Länderfreigabe
Teamleitung für Evaluation
- Arbeitszeit
- Vollzeit
- Erfahrung
- Erforderlich sind Erfahrung mit der Evaluationsverantwortung für tabellarische ML-Systeme in Produktion oder bei folgenreichen Kundenentscheidungen sowie Personalführung.
- Vergütung
- Gehalt nicht angegeben
Die Rolle in Kürze
Die Rolle verantwortet die Evaluation eines produktiv eingesetzten tabellarischen KI-Modells und etabliert dafür eine gemeinsame Plattform für Engineering, Forschung und angewandte KI. Sie verbindet Personalführung mit eigener Entwicklungsarbeit und liefert belastbare Ergebnisse für Forschungsprioritäten, Produktionsfreigaben und Kundenbewertungen.
Deine Aufgaben
- Die Rolle baut eine gemeinsame Evaluationsplattform für Engineering, Forschung und angewandte KI auf und ergänzt und pflegt laufend Modelle und kuratierte Datensätze, damit Teams Benchmarks und Ergebnisanalysen selbstständig durchführen können.
- Sie definiert Evaluationsstandards für Metriken, Datenaufteilungen, Datenleckprävention, Kalibrierung, Unsicherheit und Benchmark-Kontamination.
- Sie entwickelt reproduzierbare Pipelines mit versionierten Eingaben und Artefakten und integriert Regressionsprüfungen in Forschungs- und Freigabeprozesse.
- Sie vergleicht das Modell mit konkurrierenden Ansätzen und stellt dabei faire Bedingungen für Optimierungsbudgets, Datenzugriff, Rechenressourcen und Latenzmessungen sicher.
- Sie unterstützt kundenseitige Machbarkeitsprüfungen des Teams für angewandte KI durch Werkzeuge, methodische Beratung und Analysen.
- Sie misst Vorhersagequalität, Latenz und Kosten über Bereitstellungskonfigurationen, Aufgabentypen und Datensatzeigenschaften hinweg und leitet daraus Forschungsprioritäten, Freigabeempfehlungen und evidenzbasierte Verbesserungspläne für Kunden ab.
- Sie stellt ein kleines Team ein, führt und entwickelt es, setzt Prioritäten und arbeitet selbst an Code, Versuchsplanung und Methodik mit.
Das solltest du mitbringen
Erforderlich
- Erfahrung mit der Verantwortung für die Evaluation tabellarischer ML-Systeme ist erforderlich, die produktiv eingesetzt werden oder folgenreichen Kundenentscheidungen dienen.
- Erforderlich ist ausgeprägtes statistisches Urteilsvermögen bei der Auswahl von Metriken und Validierungsverfahren, der Unsicherheitsschätzung, Modellvergleichen über Datensätze hinweg und der Berücksichtigung wiederholter Experimente.
- Praktische Erfahrung beim Erkennen von Datenlecks in Vorverarbeitung, Merkmalsbildung, Joins, zeitlichen Abhängigkeiten und verwandten Entitäten über Datenaufteilungen hinweg ist erforderlich.
- Erforderlich sind sehr gute Python- und SQL-Kenntnisse, Vertrautheit mit scikit-learn und gradientenverstärkten Entscheidungsbäumen sowie Erfahrung im Aufbau zuverlässiger ML-Werkzeuge oder Plattformen, die andere Teams nutzen.
- Erfahrung mit der Gestaltung fairer Modellvergleiche einschließlich Hyperparametersuche, Ressourcenbudgets und durchgängiger Latenzmessung ist erforderlich.
- Erforderlich ist bisherige Personalführungserfahrung einschließlich Einstellung, technischem Coaching und Leistungsfeedback bei fortgesetzter eigener technischer Mitarbeit.
- Erforderlich sind klare schriftliche und mündliche Kommunikation mit Forschenden, Engineering-Fachkräften und kundenseitigen Data Scientists sowie die Bereitschaft, nicht durch Evidenz gestützte Aussagen zu hinterfragen.
Von Vorteil
- Erfahrung mit der Evaluation tabellarischer Foundation-Modelle oder von AutoML-Systemen ist wünschenswert.
- Erfahrung mit der Messung der Auswirkungen von Modelloptimierungen auf Vorhersagequalität und Inferenzleistung ist wünschenswert.
- Wünschenswert ist Erfahrung mit relationalen Daten oder Daten aus mehreren Tabellen sowie mit Snowflake- oder Databricks-Umgebungen.
- Erfahrung mit der Evaluation automatisierter oder agentengesteuerter ML-Abläufe ist wünschenswert, einschließlich Fehlern, die aggregierte Metriken verbergen können.
Das wird angeboten
- Die Vergütung umfasst Gehalt und Unternehmensbeteiligung.
- Eine umfassende Gesundheitsabsicherung wird für Beschäftigte und ihre unterhaltsberechtigten Angehörigen angeboten.
- Alle neuen Eltern erhalten bezahlte Elternzeit, auch bei Adoption und Leihmutterschaft.
- Beschäftigte erhalten Umzugsunterstützung, wenn sie für den Einstieg an einen der Bürostandorte umziehen.
- Die Arbeitskultur legt Wert auf gemeinsame Ziele, geringes Ego, unterschiedliche Denkweisen, Eigenverantwortung und Handlungsorientierung.
Veröffentlicht: 09.10.2026 · Quelle geprüft: 19.10.2026.
Die Angaben sind für RemoteFruit einheitlich aufbereitet. Maßgeblich bleibt die Originalanzeige. RemoteFruit steht in keiner Partnerschaft mit dem ausschreibenden Unternehmen.