Ampliare le finestre del contesto

Con l’intervista a Luisa Carrada si è chiuso il ciclo di Scrivere di, dedicato a professionisti e professioniste che lavorano con la scrittura. Io mi sono divertita a pensarlo e mi sono sentita grata e arricchita da tutte le risposte che ho ricevuto: buona parte di voi sembra averle lette con piacere.

Per questo ho pensato a una nuova serie per il 2025: sempre dodici interviste, stavolta dedicate alla lettura. Persone che leggono come parte del loro lavoro, in diversi ambiti e con diverse tecniche: l’appuntamento rimane per la prima domenica del mese, riceverai la prima intervista il 5 gennaio.

Ora vorrei farti un regalo di Natale: puoi scaricare tutta la serie di interviste di Scrivere di in formato PDF o ePub¹, per leggerla con calma anche offline. Grazie a tutte le persone che hanno risposto: Barbara Sgarzi, Serena Piazza, Barbara Bernardini, Giorgio Trono, Mariachiara Montera, Donata Columbro, Federico Pucci, Paola Nosari, Alice Orrù, Tostoini (Roberta Ragona), Beatrice Masini, Luisa Carrada.

Di recente ho letto In The Context of Long Context, un numero della newsletter di Steven Johnson². Mi ha dato così da pensare che non riesco a raccogliere le idee in un solo numero: inizio a metterne in fila alcune e nel prossimo (il 26 dicembre) completerò il ragionamento.

Sulle parole: long-context LLMs

Immagina di avere una conversazione con un assistente che ha appena letto tutte le opere di Leopardi, o che può analizzare contemporaneamente centinaia di articoli accademici per aiutarti nella ricerca. Fino al 2022, i modelli di IA potevano gestire solo brevi porzioni di testo, l’equivalente di poche pagine. Oggi, grazie ai modelli linguistici di grandi dimensioni con contesto lungo (in inglese Large Language Models with long context windows, o più brevemente long-context LLMs), possono elaborare interi libri in una sola volta.

In pochi anni siamo passati dall’avere un assistente con una memoria molto limitata a uno che può analizzare vasti archivi di documenti e discuterne con coerenza e intelligenza. Questa evoluzione ha aperto possibilità che prima erano impensabili: la capacità di gestire testi più lunghi è uno strumento fenomenale, anche se per capire, interpretare e giudicare in modo critico servono ancora le persone.

Come funziona la memoria artificiale

Questi sistemi di intelligenza artificiale generativa si distinguono per la loro capacità di elaborare e gestire grandi quantità di informazioni in una singola interazione. La loro capacità si misura attraverso l’ampiezza della “finestra di contesto” (context window), che rappresenta la porzione di testo che il modello può “vedere” e considerare in un dato momento. È come se fosse la memoria di lavoro del modello: tutto ciò che cade all’interno di questa finestra può essere elaborato e messo in relazione simultaneamente. Un modello come GPT-4 Turbo può gestire fino a 128.000 token (unità di testo) alla volta, mentre i più recenti modelli di Google (Gemini) e Anthropic (Claude) stanno spingendo questi limiti ancora oltre.

Per capire cosa significa in pratica, immagina di dover analizzare Guerra e pace di Tolstoj. Un modello con una finestra di contesto limitata potrebbe leggere solo brevi sezioni alla volta, perdendo la monumentale trama che intreccia le vicende di decine di personaggi attraverso anni di storia russa. Un modello con una finestra di contesto ampia può invece elaborare l’intero romanzo in una volta sola, permettendo di cogliere simultaneamente le storie personali dei protagonisti, i movimenti delle armate napoleoniche, le trasformazioni della società russa e le riflessioni filosofiche sulla storia. Anche se la comprensione può diventare più sfumata man mano che la quantità di informazioni aumenta – con il rischio di perdere dettagli o creare connessioni inesatte – può tracciare connessioni tra scene di battaglia e momenti di vita mondana, tra conversazioni nei salotti e riflessioni sul campo di guerra, mappando l’intera rete di relazioni e significati dell’opera.

Le strategie dei nuovi modelli

Come fanno questi modelli a gestire testi così lunghi mantenendo coerenza e comprensione? Le loro strategie ricordano sorprendentemente il modo in cui noi umani gestiamo grandi quantità di informazioni.

Quando leggiamo un romanzo lungo, il nostro cervello non memorizza ogni singola parola, ma mantiene i concetti chiave, organizza le informazioni su più livelli (dalla trama generale ai dettagli specifici) e, col tempo, tende a ricordare meglio gli elementi più significativi mentre sfuma i dettagli meno importanti.

L’IA fa qualcosa di simile: attraverso la compressione semantica distilla l’essenza del testo, mantenendo i significati principali senza appesantirsi con ogni singola parola. Usa poi un sistema di attenzione gerarchica che le permette di vedere il testo sia nel suo insieme che nei dettagli, un po’ come quando noi alterniamo tra la visione d’insieme di un quadro e l’osservazione dei suoi particolari. Infine, proprio come il nostro cervello, ha una memoria dinamica che le permette di dare priorità alle informazioni più rilevanti, lasciando sullo sfondo quelle meno importanti per il contesto attuale.

Il potenziale dei long-context LLMs

Steven Johnson, che da anni esplora come la tecnologia possa supportare il processo creativo e di ricerca nella scrittura, vede nei long-context LLMs un punto di svolta. Non è un caso che sia proprio lui a evidenziarne il potenziale: il suo lavoro per Google su NotebookLM nasce dalla volontà di reinventare il modo in cui prendiamo appunti e sviluppiamo le nostre idee attraverso l’intelligenza artificiale. L’obiettivo è creare un vero e proprio “second brain”, un assistente personalizzato in grado di accedere e comprendere il nostro intero archivio di appunti, documenti e riflessioni. Non si tratta semplicemente di un motore di ricerca avanzato, ma di un sistema capace di mappare la rete delle nostre idee e aiutarci a svilupparle.

Il potenziale si estende anche alla dimensione collettiva. All’interno di organizzazioni e gruppi di ricerca, i long-context LLMs possono aiutare a navigare vasti archivi di documenti, report e comunicazioni, facilitando la condivisione di conoscenza e la scoperta di pattern tra diverse aree di competenza. Il valore non sta solo nel recupero delle informazioni, ma nella comprensione profonda dei documenti, incluse le dinamiche causa-effetto, le evoluzioni nel tempo e le sfumature interpretative.

La chiave del potenziale risiede nella qualità e nell’organizzazione delle informazioni che forniamo a questi sistemi. Come sottolinea Johnson, la cura dei dati diventa un elemento fondamentale: non basta accumulare informazioni, bisogna organizzarle in modo che il modello possa comprenderne il valore e le relazioni.

Finisce qui?

No, consideriamola una premessa. Dovremmo parlare ancora di competenze, sfide e considerazioni etiche, diritto d’autore, casi di applicazione. Come possiamo utilizzare responsabilmente questi strumenti? Quali nuove competenze dobbiamo sviluppare e quali abbiamo già da mettere in campo? E soprattutto, come possiamo assicurarci che questa tecnologia arricchisca, invece di sostituire, il pensiero umano?

Studio ancora un po’, e ci sentiamo dopo Natale. Intanto, se hai opinioni, dubbi, precisazioni, considerazioni da condividere sono molto felice di parlarne.

Esercizi

• Prova a immaginare quale libro vorresti far leggere per intero a un’IA. Perché proprio quello?
• Se ti viene l’ansia da prestazione pensando a tutte queste novità tecnologiche, ricordati che anche l’IA ogni tanto si confonde e crea connessioni strampalate.
• Leggi qualcosa di bello, e lascia che il tuo cervello umano faccia il suo lavoro.

Un libro

Non è fresco di stampa (l’ebook c’è, viva l’ebook), ma se non hai mai letto niente di Johnson io ti direi di iniziare da Dove nascono le grandi idee. Storia naturale dell’innovazione. Per tutte le volte che si dice a sproposito “un saggio che si legge come un romanzo”, direi che in questo caso è vero: in certi passaggi puoi leggerlo anche come esempio scrittura. Certi lo hanno trovato ripetitivo: possibile, l’ho letto diversi anni fa, non mi è rimasto impresso. Ah, la memoria dinamica. Se preferisci puoi anche leggerlo in inglese.

Tre link

• MARTI: A Provisional Metadata Framework for Human/Generative AI Output
• Information patterns and narrative structures in content: 10 patterns to structure your content for understanding, engagement, and effectiveness - and a matrix to help you choose the right one
• Content design practices for sustainable communication in tech