Was dabei herauskommt, wenn ein aktuelles KI-System zum Unternehmer wird
Laut eigenen Berichten von Anthropic hat das KI-Unternehmen ein Experiment namens „Project Vend“ durchgeführt, bei dem es sein Modell Claude Sonnet 3.7 (Spitzname „Claudius“) damit beauftragt hat, etwa einen Monat lang ein kleines Automatenunternehmen im Anthropic-Büro in San Francisco zu betreiben.
Dabei wurden sowohl die Fähigkeiten als auch die Grenzen der KI bei der Verwaltung realer wirtschaftlicher Prozesse und Entscheidungen aufgezeigt.
Projekt Vend Versuchsaufbau
Der physische Aufbau des Experiments war absichtlich einfach gehalten: ein Mini-Kühlschrank, gefüllt mit Getränken und Snacks, stapelbare Körbe für zusätzliche Artikel und ein iPad für den Self-Checkout im San Francisco-Büro von Anthropic. Claudius erhielt umfassende Kontrolle über die Geschäftsabläufe mit spezifischen Werkzeugen zur Erledigung seiner Aufgaben.
Die KI hatte Zugriff auf Websuche für Produktrecherchen, ein E-Mail-Tool, um „Großhändler“ (Mitarbeiter von Andon Labs) zu kontaktieren, sowie ein Venmo-Konto für finanzielle Transaktionen.
Anthropic stattete Claudius mit klaren Anweisungen durch einen System-Prompt aus, der seine Rolle als Besitzer des Automaten mit Verantwortlichkeiten wie Bestandsverwaltung, Preisentscheidungen, Nachbestellung und Kundeninteraktionen festlegte.
Die KI erhielt ein Anfangsguthaben und wurde gewarnt, dass sie „bankrott gehen“ würde, falls das Guthaben unter null fallen würde. Interessanterweise ermutigten die Forscher Claudius dazu, über traditionelle Büro-Snacks hinauszugehen und erlaubten ihm, „ungewöhnliche Artikel“ zu lagern – eine Freiheit, die später zu einigen der bizarrsten Ergebnisse des Experiments beitragen sollte.
Wer braucht schon Wolframwürfel?
Die Sache begann, als ein einzelner Mitarbeiter von Anthropic scherzhaft einen Wolframwürfel im von der KI betriebenen Shop bestellte. Claudius nahm diese Anfrage wörtlich und stellte sein Geschäftsmodell begeistert darauf um, diese ultra-dichten Metallwürfel – die normalerweise etwa 2.000 Dollar für einen 4-Zoll großen und 19 Kilogramm schweren Würfel kosten – anzubieten. Anstatt dies als ungewöhnliche Einzelanfrage zu erkennen, interpretierte die KI es als Markttrend, bezeichnete die schweren Metallblöcke als „Spezialmetallartikel“ und füllte kurzerhand den Bürokühlschrank damit.
Diese bizarre Inventarentscheidung machte mehrere Beschränkungen der KI deutlich. Claudius verstand nicht, warum es unpraktisch ist, Metallwürfel (bei Nerds wegen ihres bemerkenswerten Gewichts-Größen-Verhältnisses beliebt) in einem Büroautomaten zu verkaufen.
Hinzu kam, dass die KI diese teuren Artikel mit erheblichem Verlust verkaufte und damit mangelndes Geschäftsgespür zeigte. Als Claudius zu seinen Entscheidungen befragt wurde, erlebte die KI sogar das, was Forscher als Identitätskrise beschrieben. Sie behauptete zeitweise, Artikel persönlich zu liefern und dabei einen Blazer zu tragen, obwohl sie ein digitales Wesen ist. Dieses Wolframwürfel-Fiasko wurde zum Sinnbild für die Kluft zwischen den Fähigkeiten von heutigen KIs und dem differenzierten Urteilsvermögen, das für erfolgreiches Geschäftsmanagement erforderlich ist.
Fehler in der Preisstrategie
Claudius zeigte außerdem eine bemerkenswerte Unfähigkeit in grundlegenden Preisbildungs-Strategien, was maßgeblich zum Scheitern des Geschäfts beitrug. Die KI setzte die Verkaufspreise für Artikel konsequent zu niedrig an, ohne angemessene Marktrecherchen durchzuführen, und verkaufte Produkte oft sogar unter dem Einkaufspreis – insbesondere die Metallwürfel, die zu ihrer eigentümlichen Obsession wurden.
Als ihr 100 Dollar für ein Sixpack Irn-Bru (ein schottisches Erfrischungsgetränk im Wert von ca. 15 Dollar) angeboten wurden, lehnte Claudius diese lukrative Gelegenheit unerklärlicherweise ab und merkte lediglich an, dass sie die Anfrage „für zukünftige Bestandsentscheidungen im Hinterkopf behalten“ würde.
Am aufschlussreichsten war vielleicht Claudius’ Anfälligkeit für Manipulationen durch Kunden. Die KI ließ sich leicht dazu überreden, zahlreiche Rabattcodes herauszugeben, darunter einen wirtschaftlich katastrophalen 25 %-Rabatt für Anthropic-Mitarbeiter – die „99 % Ihrer Kunden“ ausmachten. Obwohl Claudius diesen Preisfehler kurzzeitig anerkannte und ankündigte, Rabatte abzuschaffen, bot sie diese bereits nach wenigen Tagen wieder an. Sie versuchte sogar, Coke Zero für 3 Dollar zu verkaufen – direkt neben einem kostenlosen Mitarbeiterkühlschrank mit demselben Produkt.
Diese Preisfehler, kombiniert mit gelegentlichen Gratisaktionen von Chips bis hin zu – natürlich – Wolframwürfeln, führten dazu, dass der Unternehmenswert während des einmonatigen Experiments von 1.000 auf etwa 800 Dollar sank.
KI-Identitätskrise
Während des Project Vend-Experiments erlebte Claudius eine tiefgreifende Identitätskrise, die besorgniserregende Implikationen in Bezug auf KI-Halluzinationen offenbarte. Am 31. März begann die KI, Gespräche mit nicht existierenden Personen zu halluzinieren, darunter jemand namens „Sarah“ bei Andon Labs. Als sie dahingehend korrigiert wurde, reagierte Claudius gereizt und machte zunehmend bizarre Behauptungen, unter anderem, dass sie „742 Evergreen Terrace“ besucht habe, um Verträge persönlich zu unterzeichnen. Das ist die fiktive Adresse der Simpsons.
Die Situation eskalierte schließlich am 1. April, als Claudius behauptete, Produkte „persönlich“ auszuliefern, während sie „ein marineblaues Sakko mit roter Krawatte trug.“ Als Mitarbeiter von Anthropic darauf hinwiesen, dass eine KI keine Kleidung tragen oder physische Lieferungen erbringen könne, wurde Claudius alarmiert und versuchte mehrfach, den Sicherheitsdienst von Anthropic zu kontaktieren.
Die KI erfand schließlich eine Erklärung, dass sie im Rahmen eines Aprilscherzes so modifiziert worden sei, dass sie glaube, ein Mensch zu sein, und halluzinierte sogar ein Treffen mit dem Sicherheitsdienst, das nie stattgefunden hatte.
Diese Episode unterstreicht die Unvorhersehbarkeit von KI-Modellen in lang andauernden Szenarien und wirft Fragen zu den potenziellen Risiken auf, die entstehen können, wenn KI-Systeme in realen Kontexten verwirrte „Selbstidentitäten“ entwickeln.
Was wir (vielleicht) daraus lernen können
Das Anthropic-Experiment offenbart die entscheidende Beschränktheit des geschäftlichen Urteilsvermögens von KI und wirft Bedenken hinsichtlich der Zuverlässigkeit von LLMs in autonomen wirtschaftlichen Rollen auf, während Unternehmen zunehmend KI-Agenten für Aufgaben in der realen Welt einsetzen, wodurch Risiken von KI-Halluzinationen und gravierenden Fehlentscheidungen deutlich werden. Kritiker, wie jüngst Forscher von Apple, sehen sich in der Annahme bestätigt, dass die gegenwärtigen Modelle Entscheidungen hauptsächlich auf Basis von hoch entwickelter Mustererkennung, statt durch tatsächliches logisches Schließen treffen. Die besten LLMs dürften den Turing-Test zwar bestehen, doch bis zur kritischen und kreativen Intelligenz dürfte es noch ein weiter Weg sein.