Remote aus Deutschland · Belegte Arbeits-/Kandidatenstandorte: Deutschland. · Der Arbeitsort ist frei wählbar, sofern ein Wohnsitz in Deutschland besteht.

Veröffentlicht 29.09.2026

Senior KI-Engineer

Als zweite auf KI spezialisierte Engineering-Kraft im Team entwickelt die Rolle agentische Systeme weiter und übernimmt die durchgängige Evaluation mehrerer produktiver Agentenprodukte. Dazu gehören Werkzeuge, Unteragenten, Prompts, Routing, Referenzdatensätze und automatisierte Qualitätsprüfungen. Gemeinsam mit Forschung und Entwicklung werden Kundenerkenntnisse vertieft und neue Möglichkeiten zur Automatisierung von Engineering-Arbeit erarbeitet. Die Zusammenarbeit umfasst außerdem KI- und Softwareentwicklung, Qualitätssicherung und Produktmanagement. Innerhalb von sechs Monaten sollen das Evaluationsframework produktiv eingesetzt, Regressionen durch CI-Prüfungen blockiert und mehrere messbar bessere Änderungen an Agentengraphen ausgeliefert sein. Nach zwölf Monaten sollen Produktionsspuren kontinuierlich und ohne manuelle Eingriffe in Datensätze zurückfließen; außerdem ist die Mitverantwortung für mindestens einen Agentenbereich vorgesehen.

Agentengraphen
Agentengraphen · erforderlich
Erwartet wird Erfahrung im Entwurf und produktiven Einsatz von Agentengraphen mit LangGraph oder Gleichwertigem, einschließlich Supervisor-/Unteragentenmustern, Werkzeugdesign und Prompt-Iteration. Nicht alle Kriterien müssen exakt erfüllt sein.
+5
- LLM-Evaluation · erforderlich
  Erwartet wird der Aufbau oder ein wesentlicher Beitrag zu LLM-Evaluationspipelines: LLM-as-judge, Kalibrierung an menschlichen Bewertungen, Datensatzversionierung und Statistik zu Konfidenzintervallen, Stichproben und falsch positiven Ergebnissen. Nicht alle Kriterien müssen exakt erfüllt sein.
- Python · erforderlich
  Erwartet wird produktionsreifer Python-Code mit FastAPI und PostgreSQL. Nicht alle Kriterien müssen exakt erfüllt sein.
- PostgreSQL · erforderlich
  PostgreSQL wird zusammen mit FastAPI für produktionsreifen Python-Code vorausgesetzt. Nicht alle Kriterien müssen exakt erfüllt sein.
- KI-Plattformen · erforderlich
  Erwartet wird Erfahrung mit mindestens zwei dieser Plattformen: Anthropic, OpenAI, Azure Froundry, Bedrock oder Vertex AI. Nicht alle Kriterien müssen exakt erfüllt sein.
- Tracing · erforderlich
  Erwartet wird Vertrautheit mit Langfuse, LangSmith oder ähnlichen Tracing-Werkzeugen. Nicht alle Kriterien müssen exakt erfüllt sein.
AgentengraphenAgentengraphenLLM-EvaluationLLM-EvaluationPythonPythonPostgreSQLPostgreSQLKI-PlattformenKI-PlattformenTracingTracing+5+4+3

Gehalt: pro Jahr
Umfang: Vollzeit
Erfahrung: Senior

Deine Aufgaben

Die Rolle entwickelt und erweitert produktive Agentensysteme durch neue Werkzeuge, Unteragenten, Prompt-Iterationen und Routing-Verbesserungen.
Sie entwickelt ein Evaluationsframework mit Referenzdatensätzen, LLM-basierten Bewertungsverfahren, Regressionstests und der Auswertung von Produktionsspuren, das jede Änderung absichert.
Zum beispielhaften Arbeitsablauf gehören die Prüfung von Langfuse-Traces auf neue Fehlermuster sowie das Kuratieren und Versionieren von Beispielen für Supervisor-Routing und das Schreiben zugehöriger Evaluatoren.
Gemeinsam mit Qualitätssicherung und Produktmanagement stimmt sie die Testabdeckung neuer Agentenfunktionen ab und integriert Evaluationen in CI, damit Regressionen die nächste Codeänderung blockieren.
Sie arbeitet mit KI- und Softwareentwicklern an Systemerweiterungen und schreibt die Evaluationen, die deren Auslieferung absichern. Ergebnisse werden in Sprint-Reviews vorgestellt und weitere Arbeiten gemeinsam geplant.
Mit Forschung und Entwicklung vertieft sie die Auswertung von Kundenerkenntnissen und entwickelt neue Ansätze zur Automatisierung von Engineering-Arbeit.
Nach sechs Monaten sollen das Framework für mehrere Agenten produktiv laufen, CI-Prüfungen Regressionen blockieren und mehrere Änderungen an Agentengraphen messbare Verbesserungen im Produktivbetrieb erzielen.
Nach zwölf Monaten sollen Produktionsspuren ohne manuelle Eingriffe kontinuierlich in Datensätze zurückfließen. Die Rolle übernimmt mit dem Team mindestens einen Agentenbereich und dient als Ansprechperson für Evaluationsmethodik.

Das solltest du mitbringen

Erwartet werden Erfahrung im Entwurf und produktiven Einsatz von Agentengraphen sowie im Aufbau oder in wesentlichen Beiträgen zu LLM-Evaluationspipelines; nicht alle Kriterien müssen exakt erfüllt sein.

Erforderlich9 Punkte

Erwartet wird eine Identifikation mit den Unternehmenswerten, die im ersten Interview gemeinsam besprochen werden.
Erwartet wird Erfahrung im Entwurf und produktiven Einsatz von Agentengraphen mit LangGraph oder einer gleichwertigen Lösung, einschließlich Supervisor-/Unteragentenmustern, Werkzeugdesign und Prompt-Iteration.
Erwartet wird der Aufbau oder ein wesentlicher Beitrag zu einer LLM-Evaluationspipeline mit LLM-as-judge-Design, Kalibrierung anhand menschlicher Bewertungen, Datensatzversionierung und statistischer Beurteilung einschließlich Konfidenzintervallen, Stichprobengrößen und falsch positiven Ergebnissen.
Erwartet wird produktionsreifer Python-Code unter Verwendung von FastAPI und PostgreSQL.
Erwartet wird Erfahrung mit mindestens zwei dieser KI-Plattformen: Anthropic, OpenAI, Azure Froundry, Bedrock oder Vertex AI.
Erwartet wird Vertrautheit mit Langfuse, LangSmith oder ähnlichen Tracing-Werkzeugen.
Wenn Zuverlässigkeitsfragen in der Arbeit auftreten, werden Wiederholungsversuche, Fehlerbehandlung oder ein kontrollierter Funktionsabbau umgesetzt.
Erwartet werden klare Kommunikation und begründeter Widerspruch bei abweichender Meinung.
Die eigene Perspektive und ihr besonderer, wertvoller Beitrag zum Team sollen erläutert werden können.

Außerdem genannt1 Punkt

Die folgenden Qualifikationen werden erwartet; eine perfekte oder exakte Erfüllung sämtlicher Kriterien ist für die Berücksichtigung jedoch nicht erforderlich.

So ist Remote hier geregelt

Remote: Der Arbeitsort ist frei wählbar, sofern ein Wohnsitz in Deutschland besteht.
Präsenz: Ein Büro in Bremen steht zur Verfügung. Das gesamte Unternehmen trifft sich zweimal jährlich zu jeweils zwei- bis dreitägigen Offsites.
Arbeitszeit: Die Arbeitszeit ist frei wählbar, sofern ein Wohnsitz in Deutschland besteht.

Belegte Arbeits-/Kandidatenstandorte: Deutschland.

Das wird angeboten

Das geplante Jahresgehalt beträgt 77.000 bis 97.000 EUR. Die Einstufung berücksichtigt Erfahrung, Verantwortungsumfang und möglichen Beitrag; bei außergewöhnlichem Mehrwert besteht Spielraum außerhalb des üblichen Bands.
Arbeitszeit und Arbeitsort sind bei Wohnsitz in Deutschland flexibel wählbar. Feiertage lassen sich entsprechend persönlichen Werten und Überzeugungen tauschen.
Es gibt Unterstützung für die Homeoffice-Ausstattung, Zugang zu einem Büro in Bremen und ein persönliches Entwicklungsbudget von 2.000 Euro für Konferenzen, Schulungen oder Bücher in einem selbst gewählten Bereich.
Urlaubstage werden nicht gezählt; die Teammitglieder entscheiden unter Berücksichtigung ihrer eigenen Bedürfnisse und der Unternehmensinteressen.
Ein Dienstradangebot steht zur Verfügung.
Betriebliche Fitnessangebote und Zugang zu einer Plattform für mentale Gesundheit unterstützen das persönliche und berufliche Wohlbefinden.
Es gibt regelmäßige Teamevents, virtuelle Kaffeepausen und spontane gemeinsame Aktivitäten nach Feierabend.
Zweimal jährlich finden unternehmensweite Offsites von jeweils zwei bis drei Tagen statt.

So läuft die Bewerbung

Im ersten Interview werden die Unternehmenswerte gemeinsam besprochen. Eine exakte Erfüllung sämtlicher Kriterien ist für die Berücksichtigung nicht erforderlich.
Im Bewerbungsprozess soll erläutert werden, welchen eigenen, wertvollen Blickwinkel die Person in das Team einbringen kann.

Passt die Stelle? Öffne mit Premium den Bewerbungsweg.

Bewerbungslink freischalten