Ein Schaltschrankfoto ist kein Datenblatt. Man sieht Kabel, Klemmen, Automaten, alte Beschriftungen, verdeckte Typenschilder und Bauteile aus verschiedenen Jahren. Für Fachleute ist das lösbar. Aber es kostet Zeit: zoomen, vergleichen, nachschlagen, Großhandelskataloge prüfen, Stückliste aufbauen.
Für SMPL Energy aus Witten haben wir genau an dieser Stelle angesetzt. Aus einem Foto sollte ein strukturierter Arbeitsstand werden: erkannte Bauteile, nachvollziehbare Zwischenschritte und am Ende ein vorbereiteter Warenkorb-Vorschlag für die fachliche Prüfung.
Das Projekt war keine klassische Oberfläche mit einem Chatfenster. Es war KI-Agentenentwicklung: ein Multi-Agenten-System mit eigenen Skills, strukturierter Ausgabe und einer GUI, in der Menschen jeden relevanten Schritt sehen können.
Der Agent arbeitet frei, aber nicht unsichtbar
Der Agent bekommt ein Ziel. Wie er dahin kommt, entscheidet er innerhalb definierter Werkzeuge selbst. Er kann Bilddaten vorbereiten, Zwischenergebnisse erzeugen, einen Analyseweg wählen und bei Bedarf nacharbeiten.
Der wichtige Punkt: Diese Schritte verschwinden nicht in einer Blackbox. Jeder relevante Zwischenschritt wird strukturiert abgelegt und in der Oberfläche sichtbar. Welche Komponente wurde erkannt? Aus welchem Bildausschnitt? Welche Daten sind wahrscheinlich? Wo bleibt Unsicherheit?
Genau daraus entsteht Vertrauen. Nicht, weil der Agent behauptet, richtig zu liegen. Sondern weil der Mensch prüfen kann, wie das Ergebnis entstanden ist.
Erst segmentieren, dann ausschneiden, dann verstehen
Am Anfang steht ein hochauflösendes Foto des Schaltschranks. Für den Menschen ist sofort klar: Da sind Sicherungen, Klemmen, Kabel, alte Beschriftungen und verdeckte Bereiche. Für ein KI-System ist das erst einmal nur ein großes Bild.
Deshalb beginnt der Prozess nicht mit der eigentlichen Analyse, sondern mit der Zerlegung des Fotos. Mit Meta SAM 3 werden die relevanten Bereiche im Schaltschrank markiert. Der Agent sucht also nicht blind im ganzen Bild, sondern bekommt zuerst einzelne Komponenten-Kandidaten.
Die farbigen Masken sind dabei mehr als eine Visualisierung. Sie sind der Übergang vom Foto zum Arbeitsmaterial. Aus einem unübersichtlichen Schaltschrank entstehen einzelne, prüfbare Ausschnitte. Genau das ist wichtig, weil spätere Analysemodelle mit einem klar abgegrenzten Bauteil deutlich sinnvoller arbeiten können als mit dem kompletten Schaltschrank auf einmal.
Im nächsten Schritt werden diese markierten Bereiche ausgeschnitten. Der Agent arbeitet dann Crop für Crop weiter: Beschriftungen lesen, Hersteller und Typen erkennen, ähnliche Bauteile gruppieren und die Ergebnisse in eine Inventarliste überführen.
In der Oberfläche sieht man diesen Schritt sehr konkret: oben die einzelnen Crops, links den ausgewählten Ausschnitt, rechts die rohe Gemini-Analyse und darunter die daraus abgeleitete Inventarliste. Das ist nicht hübsche Deko um ein KI-Ergebnis herum. Es ist die Kontrollschicht, die den Prozess im Alltag überhaupt nutzbar macht.
Originalfoto, Segmentierung und Crop bleiben miteinander verknüpft.
Jede erkannte Komponente bekommt einen eigenen Bildausschnitt.
Die Analyse liefert Kandidaten, Begründung und offene Prüfpunkte.
Aus den Ergebnissen entsteht eine Inventarliste, die später in einen Warenkorb-Vorschlag überführt werden kann.
Wenn ein Bauteil verdeckt ist oder die Beschriftung nicht reicht, wird das nicht versteckt. Die Unsicherheit bleibt sichtbar und landet dort, wo sie hingehört: bei der fachlichen Prüfung.
Die GUI ist der Kontrollraum
Der eigentliche Unterschied zu einem einfachen KI-Chat liegt in der grafischen Oberfläche. Der Mensch sieht nicht nur das Endergebnis. Er sieht, welche Bauteile erkannt wurden, welche Ausschnitte geprüft wurden und an welcher Stelle der Agent noch unsicher ist.
Das ist besonders wichtig, wenn Agenten frei arbeiten dürfen. Freiheit ohne Sichtbarkeit ist im Betrieb schwer nutzbar. Sichtbarkeit ohne Automatisierung bringt aber auch wenig. In diesem Projekt ging es darum, beides zusammenzubringen.
Agentische Freiheit, aber menschliche Nachvollziehbarkeit. Das war die Architekturidee hinter dem System.
Aus Recherchearbeit wird ein prüfbarer Vorschlag
Wenn genug Informationen zu einer Komponente vorliegen, nutzt der Agent weitere Skills für die Produkt- und Großhandelsrecherche. Dabei entstehen Ersatz- oder Vergleichsartikel, die anschließend in einen Warenkorb-Vorschlag überführt werden können.
Das Ziel ist nicht, eine Elektrofachkraft zu ersetzen. Die Ausgabe ersetzt keine fachliche Prüfung. Sie nimmt der Fachkraft aber einen Teil der Vorarbeit ab: Bildausschnitte sortieren, Beschriftungen auswerten, Kandidaten recherchieren und die Beschaffung vorbereiten.
In typischen Testläufen entsteht so innerhalb weniger Minuten ein strukturierter Vorschlag, der sonst deutlich mehr manuelle Recherche braucht.
Warum das mehr ist als Bilderkennung
Eine reine Bilderkennung hätte für diesen Prozess nicht gereicht. Das Bild ist nur der Start. Danach braucht es Werkzeuge, Regeln, strukturierte Daten, Produktrecherche und eine Oberfläche, die alles zusammenhält.
Genau darin liegt für uns der Kern guter KI-Softwareentwicklung: Agenten dürfen selbstständig arbeiten, aber sie müssen in ein System eingebettet sein, das Menschen nutzen, prüfen und steuern können.
Für SMPL Energy wurde daraus ein Agenten-Workflow, der aus unstrukturiertem Bildmaterial einen prüfbaren Arbeitsstand macht. Nicht als Zaubertrick. Als Werkzeug, das im Betrieb anschlussfähig ist.
Danke an Lukas de Vries und SMPL Energy für das Vertrauen in dieses Projekt.
