Senior-Engineer für ML-Infrastruktur (Inferenz und Effizienz)

Die Rolle verantwortet den Aufbau einer effizienten Inferenzinfrastruktur für feinabgestimmte Modelle mit offenen Gewichten aus dem Post-Training. Die am stärksten genutzten Werkzeuge sollen damit auf eigene Modelle umgestellt werden. Dazu gehören selbst gehostetes GPU-Serving sowie Optimierungen durch Quantisierung, schrittdestillierte Varianten, Batching und Caching. Die Verlagerung der Generierung von externen Anbieter-APIs auf den eigenen Stack soll Produktgeschwindigkeit und Wirtschaftlichkeit verbessern. Als langfristige Entwicklungsperspektive ist die Arbeit an destillierten, für Apple silicon kompilierten Modellen vorgesehen, die direkt auf dem Gerät generieren und künftig auf dem iPhone laufen sollen.

• DE+

  DE+

  Remote in mehreren Ländern · Belegte Arbeits-/Kandidatenstandorte: Kanada oder Deutschland oder Vereinigtes Königreich oder Italien oder Türkei oder Ukraine oder Vereinigte Staaten.

• +6

  • GPU-Serving · Aufgabe

    Die Rolle baut selbst gehostetes GPU-Serving für feinabgestimmte Modelle mit offenen Gewichten aus dem Post-Training auf und beschleunigt deren Inferenz.

  • Quantisierung · Aufgabe

    Quantisierung gehört zu den Verfahren, mit denen die Rolle die Inferenz der feinabgestimmten Modelle mit offenen Gewichten beschleunigt.

  • Schrittdestillation · Aufgabe

    Die Rolle nutzt schrittdestillierte Modellvarianten zur Beschleunigung der Inferenz.

  • Batching · Aufgabe

    Batching gehört zu den Verfahren zur Beschleunigung der Inferenz im selbst gehosteten Serving-Stack.

  • Caching · Aufgabe

    Caching gehört zu den Verfahren zur Beschleunigung der Inferenz im selbst gehosteten Serving-Stack.

  • On-Device-Generierung · Aufgabe

    Langfristig soll die Rolle in die Arbeit an destillierten, für Apple silicon kompilierten Modellen hineinwachsen, die direkt auf dem Gerät generieren. Die Aufgabe ist eine langfristige Entwicklungsperspektive.

• DE+GPU-ServingQuantisierungSchrittdestillationBatchingCachingOn-Device-Generierung+6+5+4+3+2+1