Ein Bild für jede Karte, und warum es danebenlag
Bis zum 12. Mai öffnete sich eine Rezeptkarte mit einer generischen Zeichnung, die nach ihrer Art gewählt wurde. An diesem Nachmittag bekam sie ein echtes Foto, wenige Sekunden nach dem Anlegen erzeugt und in die geöffnete Karte geschoben, ohne sie neu öffnen zu müssen. Dafür musste der Generator lernen, das ganze Gericht zu zeigen, das Sprachmodell musste das Recht verlieren, das Bild selbst auszulösen, und es musste ihm verboten werden, überall Menschen zu malen.
Eine Zeichnung, die „Rezept“ sagte, nicht „Sauerkraut“
Seit dem Vortag deklariert jede Karte ihre Illustrationsart in ihren Feldern: warmes Gericht, kaltes Gericht, Getränk, Gebäck, Reise, Idee, Buch, Ort. Oben auf der Karte wurde aus dieser Art eine Vektorkomposition gezeichnet: ein paar Formen, ein Verlauf, eine Andeutung. Sie sagte „das ist ein Rezept“. Sie sagte nicht, welches.
Der Vormittag war darauf verwendet worden, die Karte von Hand korrigierbar zu machen. Am Nachmittag wollten wir, dass die Karte aussieht wie das, was sie enthält. Ein Choucroute-Rezept mit einem Foto von Choucroute. Eine Geschenkidee mit dem Gegenstand. Eine Reisenotiz mit der Stadt.
Was folgt, ist der Bericht dieses Nachmittags, und der vier Arten, auf die das Bild danebenlag, bevor es stimmte.
Ein Foto, zwei Wege dorthin
Die erste Version stützte sich auf zwei Auslöser.
Der erste wurde dem Sprachmodell anvertraut. Nachdem es eine visuelle Memo-Karte angelegt hatte, stand ihm ein weiteres Werkzeug zur Verfügung: ein Bild anfordern, mit der Kennung der Karte und einem Motiv, einem kurzen Satz, der beschreibt, was das Foto zeigen soll. Sein Leitfaden sagte ihm, wann es das nutzen soll, Rezepte, Reisen, Geschenke, Lesenotizen, Termine an einem benannten Ort, und wann nicht: Erinnerungen, Aufgaben, Kontakte, Fakten, Besprechungsprotokolle. Ein Protokoll hat kein Foto.
Der zweite wurde dem Nutzer gegeben. Im kleinen Menü oben rechts auf der Karte, neben „Bearbeiten“ und „Löschen“, ein neuer Eintrag: „Bild erzeugen“. Wenn das erste Foto danebenging, konnte man ein weiteres anfordern, ohne wieder durch das Gespräch zu gehen. Während der paar Sekunden erschien eine dezente Zeile, „Foto wird erzeugt…“, in Blau statt in Rot, weil es kein Fehler ist.
Hinter beiden Wegen dieselbe Kette auf dem Server. Das Motiv wird in eine fotografische Stilanweisung gehüllt, an einen Bildgenerator geschickt, und das Bild kommt als Bytes zurück. Diese Bytes werden unter dem Namen der Karte in einem Speicher abgelegt, wobei ein eventuelles Vorgängerbild überschrieben wird, mit einer Versionsnummer in der Adresse, damit das Telefon nicht das alte aus seinem Cache holt. Schließlich wird die Adresse in die Metadaten der Karte geschrieben, neben Vorlage und Liste, ohne den Rest anzurühren. Nebenbei prüft der Server, dass die Karte wirklich dem gehört, der fragt, ob mit angemeldetem Konto oder anonym.
Fehlt der Schlüssel des Dienstes, sagt der Server das beim Start und lehnt das Werkzeug sauber ab, statt mitten in einem Gespräch abzustürzen. Scheitert der Generator, behält die Karte ihre Zeichnung. Das Bild ist eine Zugabe, nie eine Bedingung.
Sauerkraut ohne Kraut
Erster echter Versuch: eine Choucroute für sechs Personen. Das Foto zeigte Würste, Karotten und Kartoffeln, hübsch ausgeleuchtet. Kein Fitzelchen Kraut.
Die Ursache lag im übergebenen Motiv. Das Sprachmodell hatte etwas geschickt wie „Choucroute, 6 Personen, 2 Std.“. Der Bildgenerator kennt Choucroute nicht so, wie ein elsässischer Leser sie kennt: Für ihn ist das ein Wort unter anderen in einem kurzen Satz, und er klammert sich an das, was er zu zeichnen weiß. Zwei Korrekturen folgten.
Die Stilanweisung auf dem Server bekam einen Satz mit Gewicht: Das Bild muss genau dieses Motiv darstellen, mit jedem benannten Element sichtbar. Ohne ihn nimmt der Generator das Motiv als Stimmung. Mit ihm als Auftrag.
Und die Beschreibung des Werkzeugs auf Seiten des Sprachmodells wurde mit Beispielen misslungener und gelungener Motive neu geschrieben. „Choucroute“ ergibt einen Kohlkopf. „Choucroute garnie auf einer großen Steingutplatte, ein Hügel weißes Sauerkraut in der Mitte, geräucherte Würste, Eisbein und Speck in Scheiben, Salzkartoffeln, heller Holztisch, warmes Licht“ ergibt eine Choucroute. Die Regel passt in eine Frage: Wenn man den Namen des Gerichts aus dem Satz streicht, beschreibt er dann noch dasselbe Bild? Wenn ja, ist er zu vage. Es braucht das Gericht, drei bis fünf sichtbare Elemente, die es unterscheiden, und den Servierkontext, Platte, Teller oder Brett. Zwanzig bis vierzig Wörter, ohne Verben, ohne Zitat.
Die kursive Zeile, die die Frage wiederholte
Derselbe Versuch legte einen Fehler ohne Bezug zum Bild offen, der gleich mit korrigiert wurde, weil er an derselben Stelle saß.
Unter dem Titel der Karte wiederholte eine kursive Zeile den ursprünglichen Satz: „Ich würde am Wochenende gern eine Choucroute machen, kannst du mir…“. Eine Woche später auf der Karte gelesen, ist dieser Satz Rauschen. Man weiß, dass man es verlangt hat, man will nicht nachlesen, wie.
Diese Zeile änderte ihr Wesen. Sie wurde zu einem redaktionellen Vorspann, ein oder zwei Sätze, die die Karte einleiten wie den Anfang eines Magazinartikels: „Ein großzügiges elsässisches Gericht für einen Wintersonntag: Sauerkraut, Rauchfleisch und Salzkartoffeln.“ Das Feld heißt weiterhin gleich, es steht an derselben Stelle, nur der Sinn seines Inhalts hat sich geändert. Im Karteneditor wechselte der Hinweistext von „ursprünglicher Satz“ zu „redaktionelle Zusammenfassung“.
Dieser Vorspann hatte eine glückliche Nebenwirkung. Der Knopf „Bild erzeugen“ auf der Karte hat kein Sprachmodell zur Hand, um ein Motiv zu formulieren. Er setzt zusammen, was die Karte schon enthält, Titel und Badges. Mit dem Vorspann dazu hat er endlich visuelle Elemente, Kraut, Rauchfleisch, Kartoffeln, wo der ursprüngliche Satz keines trug.
Die Kennung, die es noch nicht gab
Der zweite Fehler war auf dem Foto nicht zu sehen. Er stand im Protokoll.
Das Sprachmodell, das die Erzeugung „unmittelbar nach“ dem Anlegen der Karte aufrufen sollte, nahm die Anweisung wörtlich: Es rief beide Werkzeuge gleichzeitig auf, im selben Zug. Die Kennung der Karte existiert aber erst, wenn das Anlegen abgeschlossen ist. Statt zu warten, erfand das Modell eine, plausibel, etwa „karte-tartiflette-rezept“. Die Erzeugung ging an eine Geisterkarte, scheiterte, und die echte Karte behielt ihre Zeichnung.
Man kann die Anweisung zehnmal umformulieren. Man kann dem Modell auch eine Verantwortung abnehmen, für die es nicht gemacht ist: die Reihenfolge der Schritte. Das haben wir getan.
Von nun an entscheidet der Server. Wenn ein Anlegen in einer Memo-Karte mündet, deren Illustrationsart visuell ist, warmes Gericht, kaltes Gericht, Getränk, Gebäck, Reise, Idee, Buch, Ort, startet er die Erzeugung selbst, mit der echten Kennung, die er gerade geschrieben hat. Er wartet nicht auf das Ergebnis: Die Antwort geht sofort zurück ans Modell, und das Bild entsteht im Hintergrund. Das Motiv wird aus Titel, redaktionellem Vorspann und Badges der Karte gebaut, denselben Signalen, die der manuelle Knopf nutzt, damit beide Wege Fotos derselben Art liefern. Verstärkte Karten, bei denen eine Anfrage eine bestehende Erinnerung wiedergefunden hat, statt eine neue anzulegen, lösen nichts aus: Sie haben ihr Bild schon, oder wollten nie eines.
Blieb noch, das Bild in die Karte zu bringen, die der Nutzer gerade ansieht, ohne sie schließen und neu öffnen zu müssen. Gelingt die Erzeugung, schickt der Server eine Echtzeitnachricht an alle Geräte des Besitzers: diese Kennung, diese Bildadresse. Auf dem Telefon landet die Nachricht an einer winzigen Anschlagtafel, nach Kartenkennung sortiert. Eine offene Karte abonniert dort ihre eigene Kennung und tauscht ihre Zeichnung gegen das Foto, sobald die Meldung durchläuft, etwa drei Sekunden nach dem Anlegen. Die Tafel merkt sich auch die zuletzt gemeldete Adresse, für die Karte, die erst nach der Nachricht geöffnet wird: Sie findet sie beim Ankommen vor.
Das Erzeugungswerkzeug blieb dem Sprachmodell für einen einzigen Zweck: eine ausdrückliche Bitte des Nutzers, „mach das Foto der Tartiflette neu“, „ersetz das Bild durch das angerichtete Gericht“. Nie verkettet mit einem Anlegen.
Zwei Fotos für eine einzige Karte
Der dritte Fehler kam über zwei Beschwerden, die nichts gemeinsam hatten.
Die erste: In der Kartenliste zeigte die Miniatur immer noch die Zeichnung, selbst wenn die Karte ihr Foto hatte. Die Liste baute die Miniatur, ohne ihr die Bildadresse weiterzugeben. Eine Zeile, um sie durchzureichen, und die Karte zeigt außen und innen dasselbe Bild.
Die zweite war interessanter: Manche Karten bekamen zwei Fotos kurz hintereinander, ein mäßiges und dann ein besseres. Trotz der umgeschriebenen Anweisung rief das Modell die Erzeugung manchmal weiterhin nach dem Anlegen auf, im Wettlauf mit dem automatischen Auslöser des Servers, der dieselbe Arbeit schon tat. Zwei Erzeugungen für eine Karte, und die zuletzt eingetroffene gewann.
Wir hörten auf zu verhandeln. Das Werkzeug wurde aus der Liste entfernt, die das Modell sieht. Die Funktion gibt es weiterhin auf dem Server, für die Route, die der Knopf auf der Karte aufruft, aber das Modell kann sie nicht mehr auslösen. Und für den Fall, dass die Route zweimal hintereinander aufgerufen wird, etwa von zwei Telefonen, führt der Server eine Tabelle der laufenden Erzeugungen, pro Karte: Eine zweite Anfrage für dieselbe Karte hängt sich an das bereits laufende Versprechen, statt von vorn zu beginnen. Gürtel und Hosenträger, aber der Gürtel war die eigentliche Korrektur.
Der Abend: zwei Karten, die aufblitzen, und überall Menschen
Am Ende des Tages brachte ein letzter Versuch zwei Fehler auf einmal hoch, wieder ohne Zusammenhang.
„Erinnere mich morgen um 8 Uhr daran, im Baumarkt Zement und Spanngurte zu kaufen.“ Auf dem Bildschirm erschien eine Karte, leer, ein nackter Termin, und wurde dann von einer zweiten ersetzt, mit der Liste. Ein unangenehmes Aufblitzen, und ein Duplikat in der Kartenliste.
Das Protokoll zeigte die Abfolge: ein Anlegen vom Typ Termin, dann ein Aufruf zum Planen der Erinnerung, dann ein zweites Anlegen vom Typ Aufgabe mit der Liste. Das Modell hatte eine Anfrage in zwei Erinnerungen zerlegt. Jedes Anlegen öffnet automatisch seine Karte, und die Entprellung, die solche Salven abfangen sollte, stand auf dreihundert Millisekunden: genug für zwei Anlegungen direkt hintereinander, nicht für zwei, die durch einen anderen Aufruf getrennt sind.
Zwei Korrekturen. Im Leitfaden des Modells ein Block am Kopf des Memo-Teils: eine Anfrage, ein Hauptneuron. Ein Termin mit Liste ist eine datierte Aufgabe, die ihre Liste trägt, kein Termin plus eine Aufgabe. Wer zwischen beiden schwankt: Es ist eine Aufgabe, sobald es etwas abzuhaken gibt, ein Termin nur, wenn es nichts abzuhaken gibt. Und die Entprellung stieg auf zwei Sekunden: Die Karte öffnet sich zwei Sekunden nach dem letzten Anlegen, sodass, falls das Modell noch einmal zerlegt, nur die letzte Karte den Bildschirm erreicht. Bei einer einfachen Anfrage fallen diese zwei Sekunden nicht auf, weil die gesprochene Antwort gleichzeitig vorbereitet wird.
Der zweite Fehler betraf die Bilder dieser Einkaufslisten: Sie zeigten Frauen. Eine Frau im Eisenwarenregal, eine Frau vor Zementsäcken. Niemand hatte eine Figur bestellt.
Die Ursache lag in den ersten Wörtern der Stilanweisung: „redaktionelle Fotografie, Magazinqualität“. Für einen Generator, der mit Magazinen großgezogen wurde, heißen diese Wörter Mode, und Mode heißt Models. Das Motiv kam danach, zu spät, um die Szene zu ändern.
Die Anweisung wurde neu verankert: Stillleben- und Objektszenen-Fotografie, mit ausdrücklichen Klauseln, keine Menschen, keine Gesichter, keine Silhouetten, keine Porträts. Der Generator nimmt diese Verbote wörtlich, genau wie er „Magazin“ wörtlich genommen hat. Die Eisenwarenregale wurden wieder Regale.
Was der Nachmittag gelehrt hat
Viermal lag das Bild daneben, und viermal aus einem anderen Grund. Ein zu dünnes Motiv. Eine erfundene Kennung. Ein Wettlauf zwischen zwei Auslösern. Zwei Stilwörter, die schwerer wogen als das Motiv.
Zwei Lehren sind geblieben. Die erste: Ein Bildgenerator interpretiert nicht, er führt aus. Er weiß nicht, was eine Choucroute enthalten muss, er weiß nicht, dass eine Einkaufsliste keine Statisten braucht. Alles, was man ihm nicht sagt, erfindet er, und alles, was man ihm zuerst sagt, wiegt schwerer als der Rest.
Die zweite gilt über Bilder hinaus. Wenn ein Vorgang von der Reihenfolge der Dinge abhängt, die Kennung nach dem Anlegen, eine einzige Erzeugung pro Karte, dann ist es nicht Sache des Sprachmodells, diese Reihenfolge einzuhalten. Wir lassen ihm, was es gut kann, verstehen, was der Nutzer will, und der Server behält, was exakt sein muss. Das Gedächtnis bleibt die Quelle, das Gespräch das Mittel, und das Foto sieht von nun an aus wie das Gericht.