Quando le istruzioni dell'assistente occupavano mille righe

Ogni volta che parli con XNeuronal, il modello rilegge prima le sue istruzioni. La mattina del 21 maggio occupavano 1 043 righe: regole, controesempi, casi particolari aggiunti uno alla volta per mesi, e ogni aggiunta ne faceva cadere un'altra. Quel giorno tutto è stato riscritto in 408 righe che descrivono ciò che l'app è, invece di ciò che bisogna dire in ogni situazione. Ogni strumento porta ora le proprie istruzioni d'uso, lette solo nel momento in cui viene usato. E l'assistente ha imparato a dire buongiorno una volta al giorno, non a ogni frase. Il risultato: risposte più regolari, meno «segnato» vuoti, un tono che tiene.

Un «segnato» di troppo

Tommaso racconta la sua settimana tornando a casa. «Mio fratello Ettore passa domenica, ha smesso con lo zucchero, devo trovargli un dolce.» L'app risponde «Ok, segnato.» Due frasi dopo, Tommaso chiede un'idea di dolce, e la risposta propone una crostata allo zucchero, senza una parola su Ettore. Il fatto era stato trattenuto. Era anche stato dimenticato, nello stesso minuto.

Scene del genere non erano rare in primavera. Una frase poteva contenere tre ricordi e non lasciarne nessuno, lo abbiamo raccontato. Ma c'era un difetto più sordo, meno facile da fotografare: l'assistente non aveva lo stesso carattere da un turno all'altro. Un giorno commentava ogni informazione con un «segnato», il giorno dopo taceva. A volte riassumeva quello che avevi appena detto, a volte faceva la domanda giusta. E in piena conversazione poteva non sapere più cosa era stato detto due frasi prima.

Abbiamo cercato la causa prima nella memoria. Era altrove: nel testo che il modello rilegge prima di ogni risposta.

Un manuale di mille righe

Un modello linguistico non sa nulla di XNeuronal quando arriva. Tutto ciò che sa dell'app, della sua memoria, dei suoi strumenti e del modo in cui deve parlare sta in un testo che gli viene consegnato in testa a ogni scambio: le istruzioni.

Quelle istruzioni erano cresciute come cresce un regolamento interno: per aggiunte. Una risposta sbagliata in test, una regola in più. Un caso trattato male nell'uso, un esempio in più, con la risposta sbagliata barrata e quella giusta accanto. La mattina del 21 maggio il testo occupava 1 043 righe. Conteneva trentadue righe di esempi del tipo «non dire questo, di' quello». Conteneva la regola che distingue ciò che si trattiene in silenzio da ciò che si conferma a voce alta, ripetuta in cinque sezioni diverse, ogni volta un po' differente. Conteneva 175 righe che descrivevano, campo per campo, la struttura di una scheda, con un esempio per tipo di memo: ricetta, lista della spesa, nota di lettura. E conteneva cinquanta righe su come ordinare un'immagine di illustrazione, quando quel comando era stato tolto all'assistente nove giorni prima: dal 12 maggio è il server a scegliere l'immagine da solo. Nessuno aveva tolto il manuale.

Nove giorni prima, inoltre, una mappa della memoria era stata messa in testa a quel testo per dire al modello dove va ogni informazione: utile, e qualche decina di righe in più.

Il vero problema non era la lunghezza in sé. Era che ogni caso particolare ne contraddiceva un altro. «Conferma sempre quando ti chiedono di ricordare» conviveva con «non dire mai segnato». Ogni regola era stata giusta nel suo contesto, e il modello riceveva tutti i contesti insieme. Ne applicava una parte, non sempre la stessa.

Perché un manuale più lungo rende l'assistente meno affidabile

Un modello linguistico non legge le sue istruzioni una volta per tutte. Le rilegge per intero a ogni turno, insieme alla cronologia della conversazione, alla memoria attiva e alla descrizione dei suoi strumenti. Tutto questo forma un unico blocco di testo, e quel blocco pesava nell'ordine di cinquantamila token per turno, di cui una buona metà per le sole istruzioni. Ma l'attenzione di un modello non è uniforme su un blocco di quelle dimensioni. Ciò che sta in mezzo conta meno di ciò che sta all'inizio e alla fine. E il filo della conversazione, ciò che hai appena detto due frasi prima, si trovava proprio in mezzo, incastrato tra mille righe di regole e l'elenco degli strumenti.

È questo che spiega il dolce di Ettore. Il fatto era stato scritto in memoria, sì. Ma al turno successivo, nella massa riletta, pesava meno di una ricetta di cuscus d'esempio. Il modello non aveva dimenticato: non aveva guardato lì. E ogni turno richiedeva più tempo per essere elaborato, cosa che ogni aggiunta futura avrebbe aggravato.

Dire ciò che è vero invece di ciò che bisogna fare

Nel tardo pomeriggio del 21 maggio, il testo è stato riscritto da zero. Non accorciato: riscritto, con un principio diverso.

Il vecchio testo diceva cosa fare: in questa situazione, rispondi così, chiama questo strumento, evita questa frase. Il nuovo dice ciò che è vero. Risponde a tredici domande, in ordine: chi sei; cos'è XNeuronal e cosa non è; perché esiste; com'è fatta la sua memoria; come si classifica un ricordo; come se ne scrive il contenuto; quali strumenti esistono; come si concatenano; quando si trattiene in silenzio e quando si conferma a voce alta; perché non si cancella mai; come si parla; le poche situazioni che meritano un trattamento a parte; e cosa il server aggiunge a ogni turno.

La scommessa sta in una frase: un modello a cui si spiega il mondo deduce i comportamenti giusti meglio di un modello a cui si dettano le risposte. Prendi la memoria. Il vecchio testo elencava regole di archiviazione. Il nuovo spiega che la memoria dell'app imita tre sistemi della memoria umana: ciò che sappiamo, i fatti durevoli sulla tua vita; ciò che abbiamo vissuto, gli eventi collocati nel tempo; ciò che dobbiamo fare, le azioni da far scattare più tardi. Dice che la prima categoria è silenziosa, che nessuna scheda si apre quando nomini tua sorella, e che la terza è sempre visibile, perché ti aspetti di vedere il promemoria impostato. Da queste tre frasi discendono decine di casi che il vecchio testo elencava uno per uno.

La regola del silenzio, quella ripetuta cinque volte, ora è scritta una volta sola, in due paragrafi. Gli racconti la tua vita: l'app trattiene senza commentare e reagisce al contenuto, fa la domanda utile, segnala una contraddizione. Gli chiedi esplicitamente un atto di memoria, «segna questo», «ricordamelo alle sedici»: conferma con una frase breve. È la stessa regola di prima. Non ha più concorrenti.

Il risultato occupa 408 righe. Il sessantuno per cento in meno. Il blocco riletto a ogni turno è stato più o meno dimezzato, e la cronologia della conversazione ha ritrovato il suo spazio.

Ogni strumento porta le proprie istruzioni

Una parte di ciò che è sparito dalle istruzioni non è stata eliminata. Ha cambiato posto.

L'assistente agisce sull'app attraverso strumenti: creare un ricordo, modificarne uno, cercarne, farne evolvere uno, impostare un promemoria, cercare sul web, mostrare una scheda, dichiarare che parla un'altra persona, registrare una regola di comportamento. Nove strumenti, quel giorno. Ognuno viene descritto al modello con i suoi parametri, e quella descrizione viene letta nel momento in cui si appresta a usarlo.

È lì che sono finite le 175 righe di struttura della scheda, la griglia di importanza da uno a dieci e la tabella delle quattro ragioni per cui un ricordo può evolvere: un fatto che cambia, un fatto che era falso, un problema risolto, un'informazione che ti chiedono di dimenticare. Cinquantaquattro righe aggiunte alle istruzioni degli strumenti, seicentotrentacinque tolte dalle istruzioni generali. La stessa informazione, ma consultata solo quando serve. L'assistente non ha bisogno di conoscere la struttura di una scheda di ricetta per risponderti «buongiorno». Ne ha bisogno quando crea la scheda, ed è in quel momento che gli viene mostrata.

L'esempio completo di ricetta, quello che ordina gli ingredienti per famiglia, la carne, le verdure, le spezie, invece che alla rinfusa, è ancora lì, nelle istruzioni del campo che descrive la scheda. Letto quando chiedi una ricetta, non quando chiedi l'ora.

Cosa è stato buttato, e cosa ci siamo rifiutati di tenere

Il blocco sulle immagini è stato eliminato senza sostituto: descriveva uno strumento che l'assistente non aveva più, dato che il server costruisce da solo l'illustrazione di una scheda, a partire dal titolo, dal sottotitolo e dalle etichette. Avremmo potuto tenerlo «per sicurezza». Avrebbe continuato a essere riletto a ogni turno per niente.

Altre tre opzioni sono state scartate. Lasciare il testo com'era: il sintomo restava e ogni aggiunta lo aggravava. Ridurlo di un terzo mantenendo lo stile «non dire questo, di' quello»: le ridondanze sarebbero rimaste, e con loro un modo di trattare il modello come un pappagallo da addestrare. Tenere la struttura della scheda nelle istruzioni: significava fargli leggere un manuale di montaggio prima di ogni «buongiorno».

La decisione è reversibile, ed è scritto nero su bianco nel registro delle decisioni del progetto. Due commit da annullare, nessun database toccato, nessuna interfaccia cambiata. Se il nuovo testo si rivelasse peggiore, tornare indietro richiede un minuto.

Buongiorno una volta al giorno

Lo stesso giorno, un po' prima, l'assistente aveva imparato qualcosa di più piccolo e più visibile: dire buongiorno.

Fino ad allora poteva non salutare affatto quando aprivi la giornata con una richiesta diretta, oppure al contrario rispondere «Buongiorno Tommaso» a ogni scambio, come se ti incontrasse per la prima volta ogni dieci minuti. Nessuna delle due cose è ciò che fa qualcuno che ti conosce.

Il server ora sa se la conversazione che si apre è la prima della tua giornata: guarda l'ultima conversazione archiviata e verifica se è di oggi, all'ora di Parigi. Questa informazione viene aggiunta al contesto di ogni turno, insieme all'ora. Se è la prima conversazione del giorno, l'assistente apre con «buongiorno» prima delle diciotto, «buonasera» dopo, seguito dal tuo nome se lo conosce. Prende l'iniziativa anche se vai dritto a una richiesta: «ciao, il tempo di domani» riceve «Buongiorno Tommaso, guardo subito.» Più tardi nella giornata non ricomincia. Se lo saluti, risponde semplicemente. Se vai al sodo, va al sodo.

Due dettagli di questo rito dicono qualcosa di come è fatta l'app. Il primo: se non conosce il tuo nome, dice «buongiorno» e basta. Mai «buongiorno caro amico», mai un nome indovinato nella memoria. Il secondo: quando la risposta richiederà qualche secondo, la breve frase che l'assistente dice subito, «ok, guardo», porta anche il saluto quella mattina. La cortesia arriva nell'audio immediato, non solo nella risposta completa che segue. E se il telefono è in prestito, viene usato il nome della persona che parla, non quello del proprietario.

Nel vecchio testo questo rito occupava una sezione intera, tre regole numerate e sei esempi. Nel nuovo, tre paragrafi, che fanno la stessa cosa.

Cosa cambia quando gli parli

Niente di tutto questo si vede nell'interfaccia. Nessun pulsante si è spostato il 21 maggio. Ciò che cambia è la regolarità.

Racconti che tuo fratello ha smesso con lo zucchero: l'app non dice più «segnato». Reagisce a quello che hai appena detto, oppure tace, e il fatto viene trattenuto. Chiedi un dolce due frasi dopo: ha il filo sotto gli occhi, perché il filo non è più sepolto sotto mille righe. Imposti un promemoria: «ok, promemoria alle sedici», una frase, non un riepilogo. Si apre una scheda: una frase di accompagnamento, «ecco, è pronta», mai un silenzio su uno schermo che è appena cambiato. E la conversazione mantiene lo stesso tono da un giorno all'altro, breve, con il tu, senza entusiasmo da presentatore, perché quel tono è descritto una volta invece che prescritto venti.

Ciò che l'app aveva imparato due giorni prima sull'effimero, mostrare il meteo senza trattenerlo, ha trovato posto nel nuovo testo come principio, in tre righe, e non come un caso in più. E le regole che le dai tu stesso, «non parlarmi più di questo argomento», «ricordami sempre questo», sono descritte per quello che sono: un'istruzione durevole che aggiungi alla sua, registrata da uno strumento dedicato, riletta a ogni turno nella sua memoria attiva.

Cosa teniamo d'occhio

Un testo dichiarativo fa una scommessa sul modello che lo legge: che dedurrà i comportamenti giusti da un modello mentale chiaro. Non tutti i modelli deducono altrettanto bene, e quello che gira in produzione quel giorno non è quello per cui il testo è stato scritto in origine.

I due punti in cui ci si aspetta una regressione sono noti. Una frase che contiene più fatti, uno dei quali potrebbe sfuggire. E la differenza tra «ricordamelo» e «ricordati che», che separa un promemoria da un semplice fatto da trattenere. Per il primo, il secondo passaggio introdotto il 18 maggio, quello che riconta i fatti di una frase dopo la risposta, resta al suo posto come rete. Per entrambi, la regola è fissata: se il modello manca un comportamento, gli si aggiunge un'istruzione mirata, una riga nel punto esatto in cui manca. Al manuale non si torna.

Tommaso, da parte sua, noterà soprattutto una cosa. La domenica in cui passa Ettore, l'app gli proporrà un dolce senza zucchero, e non gli avrà detto «segnato» per saperlo.