Blue Guardrails GmbH

Blue Guardrails ist ein Berliner Softwareunternehmen, das einen Reliability Layer für KI-Agenten im Produktivbetrieb entwickelt. Das Unternehmen unterstützt Produkt- und Engineering-Teams dabei, das Verhalten von Agenten zu überwachen, zu bewerten, zu steuern und fortlaufend zu verbessern. Gegründet wurde Blue Guardrails mit dem Ziel, Teams den verantwortungsvollen Einsatz von KI zu ermöglichen und technische Kernprobleme wie Halluzinationen, Robustheit, menschliche Aufsicht und Fairness anzugehen.

Die Plattform analysiert Produktions-Traces und erkennt Probleme in Ausgaben und Handlungsverläufen von Agenten, etwa Halluzinationen, fehlerhafte Tool-Aufrufe oder Abweichungen vom System-Prompt. Neben Qualität werden auch Kosten, Latenz und Tool-Nutzung beobachtet; einzelne Traces lassen sich mit Labeln und Erläuterungen im Detail prüfen, und die Entwicklung der Fehlerraten wird über die Zeit nachvollziehbar.

Zur Evaluation können Produktions-Traces erneut abgespielt werden, um verschiedene Modelle, Reasoning-Einstellungen, Prompts und Tools hinsichtlich Fehlerrate, Latenz, Token-Verbrauch und Kosten zu vergleichen, ohne den produktiven Agenten zu verändern. Mit der aktiven Prävention greift Blue Guardrails während eines laufenden Durchlaufs ein: Erkannte Probleme werden dem Agenten als kontextbezogenes Feedback zurückgegeben, sodass eine Antwort korrigiert oder der nächste Schritt gesteuert werden kann, bevor Nutzerinnen und Nutzer oder nachgelagerte Anwendungen betroffen sind. Ergänzend untersucht ein Optimierungs-Agent anhand der erfassten Produktionsgespräche Fehlerursachen, testet mögliche Korrekturen und gibt belegte Empfehlungen zu Prompts, Modellen, Tools und Agenten-Setup.

Das Angebot richtet sich an Engineering- und Produktteams, die Agenten- und RAG-Anwendungen betreiben. Eigene Fehlerkategorien und Domänenkontext lassen sich definieren, damit die Erkennung dem jeweiligen Anwendungsfall entspricht und sich auf die relevanten Fehlerbilder konzentriert. Die Lösung wird in Berlin entwickelt und ist mit EU-Datenresidenz, als Private-Cloud-Variante sowie als On-Premises-Bereitstellung verfügbar.

Geführt wird das Unternehmen von den Mitgründenden Miriam Kümmel und Mathis Lucka. Miriam Kümmel bringt Erfahrung mit Large Language Models und produktiven KI-Systemen unter anderem aus Legal Publishing, Nachrichtenmedien, Finanzwesen und öffentlicher Verwaltung mit und leitete zuvor bei deepset Forward-Deployed-Engineering-Teams.