Compound AI
Definition
Compound AI beschreibt KI-Systeme, die nicht aus einem einzelnen Modell bestehen, sondern aus mehreren zusammenwirkenden Bausteinen - Modelle, Suche, Werkzeuge, Regeln und Prüfschritte - zu einem verlässlichen Ganzen.
Die frühe Vorstellung „ein Modell löst alles“ weicht der Erkenntnis, dass produktive KI ein System ist. Ein Compound-AI-Aufbau kombiniert etwa ein Sprachmodell mit einem Retrieval-Schritt (RAG), einem Werkzeugaufruf, einer Guardrail und einem prüfenden zweiten Modell (LLM-as-a-Judge) - jeder Baustein tut, was er am besten kann.
Für Entscheider ist das eine befreiende Perspektive: Zuverlässigkeit entsteht durch gute Architektur, nicht durch das Warten auf das nächste, größere Modell. Compound-AI-Systeme lassen sich gezielt testen, absichern und verbessern - Baustein für Baustein. Genau dieses Ingenieurdenken unterscheidet eine tragfähige Lösung von einer beeindruckenden Demo.
In der Praxis
Eine Molkerei beantwortet Deklarationsfragen aus mehreren Quellen
Ein mittelständischer Lebensmittelverarbeiter erhält vom Handel laufend Fragen zu Zutaten, Allergenen und Nährwerten seiner rund 400 Artikel. Die Antworten stehen nicht an einer Stelle: Rezepturen liegen im ERP, Allergenangaben in der Qualitätssicherung, abweichende Kennzeichnungsvorgaben für Exportmärkte in einer gepflegten Tabelle.
Die Lösung ist kein Modell, sondern ein zusammengesetztes System. Ein Retrieval-Schritt holt die einschlägigen Datensätze, eine Regelkomponente entscheidet anhand des Ziellandes, welche Kennzeichnungsvorgabe gilt, ein Sprachmodell formuliert daraus die Auskunft, und eine Prüfstufe verwirft jede Antwort, in der eine Allergenangabe ohne Beleg aus der Qualitätssicherung auftaucht. Vier Bausteine, jeder für sich austauschbar.
Der Punkt dieser Bauweise ist die Verantwortungsteilung. Was rechtlich verbindlich ist - welches Allergen genannt werden muss -, entscheidet eine Regel, nicht das Modell. Das Modell macht nur das, was es gut kann: verständlich formulieren. Wer denselben Anwendungsfall allein über ein größeres Modell und einen längeren Prompt lösen will, verlagert eine Deklarationspflicht in eine Textvorhersage.
Abgrenzung
Nicht zu verwechseln mit
- Einzelnes Sprachmodell
- Ein einzelnes Modell beantwortet aus dem, was es gelernt hat und was im Fenster steht. Ein Compound-AI-System ergänzt Suche, Werkzeuge, Regeln und Prüfschritte - und wird dadurch nicht klüger, sondern überprüfbar und gezielt verbesserbar.
- Multi-Agent-Orchestrierung
- Ein Compound-AI-System folgt in der Regel einem fest verdrahteten Ablauf, den Menschen entworfen haben. Bei Multi-Agent-Aufbauten entscheiden die Komponenten selbst über Reihenfolge und Vorgehen. Das ist mächtiger und deutlich schwerer zu testen - der feste Ablauf ist fast immer der richtige erste Schritt.
- RAG
- RAG ist der häufigste und einfachste Sonderfall eines zusammengesetzten Systems: Suche plus Modell. Von Compound AI spricht man, sobald weitere Bausteine hinzukommen - Guardrails, Werkzeugaufrufe, Routing oder ein prüfendes zweites Modell.
Fehlerbilder
Worauf es ankommt
Jeden Baustein testen, das Ganze nie
Suche, Modell und Prüfschritt können einzeln gute Werte liefern, während das Gesamtergebnis schlecht ist - weil Fehler sich an den Übergängen aufschaukeln. Ein Testsatz, der von der echten Nutzerfrage bis zur ausgelieferten Antwort läuft, ist durch keine Einzelmessung zu ersetzen.
Latenz erst in der Produktion bemerken
Fünf Schritte zu je zwei Sekunden ergeben eine Wartezeit, die im Kundenkontakt nicht akzeptabel ist. Die Antwortzeit gehört von Anfang an als Anforderung in den Entwurf - sie entscheidet darüber, welche Schritte parallel laufen müssen und welche entfallen.
Keine durchgehende Ablaufverfolgung
Ohne Protokoll über alle Schritte hinweg beginnt jede Fehlersuche mit Raten. Man sieht eine falsche Antwort, aber nicht, ob die Suche nichts gefunden, das Modell den Beleg ignoriert oder die Guardrail zu viel weggeschnitten hat. Diese Nachvollziehbarkeit gehört in die erste Version, nicht in eine spätere Ausbaustufe.
Mit Komplexität starten
Ein fünfstufiger Aufbau für einen unbewiesenen Anwendungsfall bindet Monate. Beginnen Sie mit der kürzesten Kette, die den Nutzen belegen kann, messen Sie, und ergänzen Sie einen Baustein erst, wenn die Messung zeigt, wo es klemmt.
Häufige Fragen
Was zu Compound AI oft gefragt wird
Wann reicht ein einzelnes Modell und wann brauchen wir ein System?
Ein einzelnes Modell genügt, solange die Aufgabe aus allgemeinem Wissen und dem beigelegten Text lösbar ist und ein Fehler nur den Nutzer selbst betrifft - etwa beim Zusammenfassen oder Umformulieren. Sobald unternehmenseigene Daten, verbindliche Auskünfte oder nachweisbare Prüfschritte im Spiel sind, führt kein Weg an einem zusammengesetzten Aufbau vorbei.
Wie testet man ein zusammengesetztes KI-System?
Auf zwei Ebenen. Je Baustein mit eigenen Kennzahlen - findet die Suche den richtigen Abschnitt, hält sich die Antwort an die Belege, greift die Guardrail. Und Ende zu Ende mit einem festen Satz echter Anfragen und erwarteter Reaktion, der bei jeder Änderung durchläuft. Die zweite Ebene ist die wichtigere, weil die teuren Fehler an den Übergängen entstehen.
Erhöht ein Compound-AI-Aufbau die Ausfallwahrscheinlichkeit?
Mehr Bausteine bedeuten mehr Stellen, an denen etwas ausfallen kann - das ist der ehrliche Teil der Antwort. Entscheidend ist, dass sich ein solcher Aufbau gezielt absichern lässt: ein Ausweichmodell, ein zwischengespeichertes Ergebnis, ein definiertes Verhalten, wenn die Suche nichts liefert. Ein einzelnes Modell fällt seltener aus, aber wenn es falsch antwortet, gibt es keine Stelle, an der man eingreifen könnte.
Verwandte Begriffe
Weiter im Glossar
Von der Definition zur Umsetzung?
Lassen Sie uns besprechen, wie sich das konkret in Ihrem Unternehmen anwenden lässt.
Projekt anfragen