KI-Forscher für Modelldestillation

Im Mittelpunkt steht die Entwicklung effizienter, leistungsfähiger Modelle durch Modelldestillation. Untersucht werden Zielkonflikte zwischen Modellgröße, Latenz, Speicherbedarf und Genauigkeit sowie neue Ansätze für große Sprachmodelle, Langkontext- oder spezialisierte Architekturen und Umgebungen mit eingeschränkten Inferenzressourcen. Groß angelegte Experimente und Ablationsstudien liefern die Grundlage für belastbare Ergebnisse. Die Rolle arbeitet mit Engineering an deren Überführung in den Produktivbetrieb, verfasst wissenschaftliche Beiträge für führende Konferenzen und beteiligt sich gegebenenfalls an internen Forschungsnotizen, technischen Blogs und Open-Source-Projekten.

PyTorch
PyTorch · erforderlich
Erforderlich sind sicherer Umgang mit PyTorch oder einer gleichwertigen Alternative und Experimentieren auf Forschungsniveau.
+5
- Deep Learning · erforderlich
  Ein solides Verständnis der Deep-Learning-Grundlagen einschließlich Optimierung, Trainingsdynamik und Generalisierung ist erforderlich.
- Publikationserfahrung · erforderlich
  Veröffentlichungserfahrung mit Konferenz- oder Zeitschriftenartikeln, Workshop-Beiträgen oder arXiv-Preprints ist erforderlich.
- Modelldestillation · Aufgabe
  Die Rolle entwickelt und bewertet Destillationsverfahren, darunter Teacher-Student-Training, Selbstdestillation, schichtweise Destillation und Representation Matching.
- Ablationsstudien · Aufgabe
  Die Rolle führt groß angelegte Experimente und Ablationsstudien durch und analysiert deren Ergebnisse rigoros.
- LLM-Destillation · von Vorteil
  Erfahrung mit der Destillation großer Sprachmodelle ist erwünscht.
PyTorchPyTorchDeep LearningDeep LearningPublikationserfahrungPublikationserfahrungModelldestillationModelldestillationAblationsstudienAblationsstudienLLM-DestillationLLM-Destillation+5+4+3

Gehalt: Vergleichswert · pro Jahr
Umfang: Vollzeit
Erfahrung: Siehe Details

Deine Aufgaben

Die Rolle entwickelt und bewertet Destillationsverfahren, darunter Teacher-Student-Training, Selbstdestillation, schichtweise Destillation und Representation Matching.
Sie untersucht Zielkonflikte zwischen Modellgröße, Latenz, Speicherbedarf und Genauigkeit.
Sie entwickelt neue Destillationsansätze für große Sprachmodelle, Langkontext- oder spezialisierte Architekturen sowie Umgebungen mit eingeschränkten Inferenzressourcen.
Sie führt groß angelegte Experimente und Ablationsstudien durch und analysiert die Ergebnisse rigoros.
Sie arbeitet mit Engineering zusammen, um Forschungsergebnisse in den Produktivbetrieb zu überführen.
Sie verfasst wissenschaftliche Arbeiten und reicht sie bei führenden Konferenzen wie NeurIPS, ICML, ICLR und COLM ein.
Sie trägt gegebenenfalls zu internen Forschungsnotizen, technischen Blogs und Open-Source-Projekten bei.

Das solltest du mitbringen

Erforderlich sind ein fundierter Hintergrund in der ML-Forschung, praktische Erfahrung mit Modelldestillation oder eng verwandten Themen sowie Veröffentlichungserfahrung.

Erforderlich6 Punkte

Erforderlich ist ein fundierter Hintergrund in der Forschung zu maschinellem Lernen.
Erforderlich ist praktische Erfahrung mit Modelldestillation oder eng verwandten Themen wie Kompression, Pruning, Quantisierung und Repräsentationslernen.
Erforderlich ist Veröffentlichungserfahrung mit Konferenz- oder Zeitschriftenartikeln, Workshop-Beiträgen oder arXiv-Preprints.
Erforderlich ist ein solides Verständnis der Deep-Learning-Grundlagen, einschließlich Optimierung, Trainingsdynamik und Generalisierung.
Erforderlich sind sicherer Umgang mit PyTorch oder einer gleichwertigen Alternative und Experimentieren auf Forschungsniveau.
Erforderlich ist die Fähigkeit, Forschungsideen, Ergebnisse und Grenzen klar zu vermitteln.

Von Vorteil5 Punkte

Erfahrung mit der Destillation großer Sprachmodelle ist erwünscht.
Arbeit an effizienzorientierter Forschung zu Latenz, Speicherbedarf und Durchsatz ist erwünscht.
Erfahrung mit Langkontextmodellen oder Nicht-Transformer-Architekturen ist erwünscht.
Open-Source-Beiträge zu maschinellem Lernen oder Forschungswerkzeugen sind erwünscht.
Vorherige Erfahrung in einem Startup oder in angewandter Forschung ist erwünscht.

Außerdem genannt3 Punkte

Die Rolle eignet sich besonders für Personen, die gern Forschung veröffentlichen, nah an realen Systemen arbeiten und Ideen von wissenschaftlichen Arbeiten über Code bis in die Produktion begleiten.
Als beispielhafte Hintergründe werden ML-Forschende beim Wechsel von der Wissenschaft in die Industrie sowie Research Engineers mit veröffentlichten Arbeiten zur Modelleffizienz genannt.
Weitere beispielhafte Hintergründe sind eine abgeschlossene Promotion beziehungsweise Postdoc-Tätigkeit oder Industrieforschung mit dem Wunsch, weiterhin zu veröffentlichen.

Das wird angeboten

Die Rolle bietet eigenständige Verantwortung für die Forschungsrichtung in der Series-A-Phase.
Veröffentlichungen und offene Forschung werden ausdrücklich unterstützt; Forschung und praktischer Einsatz sind eng rückgekoppelt.
Es besteht Zugang zu umfangreichen Rechenressourcen und Problemstellungen im Produktionsmaßstab.
Die Zusammenarbeit erfolgt in einem kleinen, technisch spezialisierten Team mit fundierter Expertise in maschinellem Lernen und Systemen.

Passt die Stelle? Öffne mit Premium den Bewerbungsweg.

Bewerbungslink freischalten