Glossario dell'intelligenza artificiale

Come aggiornare una credenza alla luce di nuova evidenza. È la base formale di ogni inferenza probabilistica, e il modo di pensare che tutto l'apprendimento statistico eredita: nessuna certezza, solo distribuzioni che si stringono.

Trovare la retta che minimizza la somma dei quadrati degli errori. Il primo algoritmo di apprendimento della storia, e ancora la forma della funzione obiettivo in metà dei problemi di regressione.

Per minimizzare una funzione, muoversi nella direzione opposta alla sua pendenza. Un'idea di analisi dell'Ottocento che oggi consuma la maggior parte dell'energia elettrica spesa in calcolo scientifico.

Trovare le direzioni lungo cui i dati variano di più e proiettarli su quelle, scartando il resto. La prima tecnica di riduzione della dimensionalità, ancora il punto di partenza per capire un insieme di dati sconosciuto.

Un processo in cui il futuro dipende solo dallo stato presente, non da tutta la storia. Markov la applicò alle lettere di un poema russo: il primo modello linguistico statistico, con un secolo di anticipo.

Un modello astratto di calcolo: un nastro, una testina, un insieme di regole. Definisce cosa significa «calcolabile» e stabilisce che esiste un dispositivo universale capace di simulare qualsiasi altro.

Il primo modello matematico di neurone: conta gli ingressi eccitatori attivi, e se superano una soglia (e nessun ingresso inibitorio è attivo) emette 1, altrimenti 0. Nessun apprendimento, ma la dimostrazione che una rete di questi elementi può calcolare qualsiasi funzione logica.

Misura l'informazione in bit e definisce l'entropia come incertezza media di una sorgente. Da qui vengono l'entropia incrociata usata come funzione di perdita e la perplessità con cui si misurano i modelli linguistici.

Lo studio del controllo e della comunicazione negli animali e nelle macchine, centrato sulla retroazione. Il filone da cui l'IA si separa negli anni Cinquanta, e a cui in qualche misura il controllo moderno è tornato.

Il principio che Carla Shatz riassumerà nel 1992 come «neuroni che si attivano insieme si connettono fra loro». La prima regola di plasticità sinaptica, e l'archetipo di ogni apprendimento non supervisionato basato su correlazione.

Il «gioco dell'imitazione»: se un interrogatore non distingue le risposte scritte di una macchina da quelle di una persona, la domanda se la macchina pensi è mal posta. Proposto come argomento filosofico, letto per settant'anni come obiettivo ingegneristico.

Come convergere al minimo di una funzione osservandone solo stime rumorose. È la giustificazione teorica della discesa del gradiente stocastica, cioè di come si addestra ogni rete neurale moderna.

Il primo calcolatore a reti neurali costruito fisicamente: 40 neuroni artificiali con pesi regolati da motorini e potenziometri, che imparavano a uscire da un labirinto.

Il seminario estivo del 1956, preparato da una proposta dell'agosto 1955 in cui McCarthy conia l'espressione «artificial intelligence» per distinguere il campo dalla cibernetica. La proposta prometteva progressi sostanziali in due mesi di lavoro di dieci persone: è l'atto di nascita della disciplina e il suo primo errore di stima.

Il primo programma di IA: dimostrava teoremi di logica proposizionale cercando fra le derivazioni possibili con l'aiuto di euristiche. Introduce l'idea che il pensiero sia ricerca in uno spazio di simboli.

Il tentativo di scrivere un risolutore universale: rappresenta un problema come differenza fra stato attuale e obiettivo, e applica operatori che riducono quella differenza. Funzionava su rompicapo formali e crollava su tutto il resto.

La strategia del GPS: misurare la distanza dall'obiettivo e scegliere l'azione che la riduce di più. Ricompare oggi, sotto altro nome, in ogni agente che pianifica.

Termine coniato da Arthur Samuel per il suo programma di dama, che migliorava giocando contro se stesso. Il primo sistema che imparava dall'esperienza fino a battere il suo autore — e il primo esempio di self-play.

L'approccio che rappresenta la conoscenza con simboli espliciti e la manipola con regole scritte da persone. «Good Old-Fashioned AI» è il nome che le diede Haugeland nel 1985, quando già si sentiva il bisogno di distinguerla.

La tesi che un sistema fisico capace di manipolare simboli abbia i mezzi necessari e sufficienti per l'azione intelligente. È la scommessa teorica dell'IA simbolica, e la ragione per cui il fallimento pratico fu vissuto come una crisi di fondamenti.

Il linguaggio dell'IA per trent'anni: codice e dati hanno la stessa forma, quindi un programma può scrivere e modificare programmi. Ha introdotto garbage collection, funzioni di prima classe e ricorsione come strumenti ordinari.

Formulare un problema come grafo di stati collegati da azioni, e risolverlo cercando un percorso dallo stato iniziale a quello obiettivo. Il paradigma di calcolo su cui poggia tutta l'IA classica.

La crescita esponenziale dello spazio di ricerca con la profondità: il muro contro cui l'IA simbolica ha battuto per decenni. Gli scacchi hanno ~10⁴⁴ posizioni legali e ~10¹²⁰ partite possibili, il Go ~10¹⁷⁰ posizioni legali: enumerare non è un'opzione.

Una stima approssimata che orienta la ricerca verso le regioni promettenti. Non garantisce nulla, ma è ciò che rende trattabile un problema intrattabile — e la forma più antica di conoscenza incorporata in un algoritmo.

Le due strategie di esplorazione elementari: livello per livello, garantendo il percorso più corto ma consumando memoria; oppure un ramo alla volta fino in fondo, con memoria minima e nessuna garanzia.

Risolvere un problema scomponendolo in sottoproblemi sovrapposti e memorizzandone le soluzioni. Trasforma ricerche esponenziali in polinomiali quando la struttura lo permette: Viterbi, allineamento di sequenze, equazione di Bellman.

Ricerca del percorso ottimo che espande i nodi in ordine di costo già speso più costo stimato residuo. Se la stima non sovrastima mai, trova la soluzione migliore. Ancora oggi in ogni navigatore e in ogni videogioco.

Nei giochi a due giocatori a somma zero, scegliere la mossa che massimizza il proprio risultato nell'ipotesi che l'avversario giochi al meglio. La base di ogni programma di scacchi fino agli anni Novanta.

Ottimizzazione del minimax: si abbandona un ramo appena si dimostra che non può influire sulla scelta finale. Con un buon ordinamento delle mosse dimezza l'esponente, cioè raddoppia la profondità raggiungibile.

Il giudizio approssimato su una posizione quando non si può calcolare fino alla fine. Scritta a mano per decenni, e appresa già da Samuel (1959) e da TD-Gammon (1992); con AlphaGo (2016) una rete neurale la sostituisce anche nei giochi più difficili.

Il linguaggio formale con quantificatori, predicati e relazioni in cui l'IA simbolica sperava di scrivere tutta la conoscenza. Espressivo e rigoroso; l'inferenza però è indecidibile in generale, e il mondo reale è pieno di eccezioni.

Una singola regola di inferenza sufficiente a dimostrare qualsiasi teorema della logica del primo ordine, più il procedimento che rende identiche due espressioni assegnando valori alle variabili. È il motore di Prolog.

Programmazione logica: si dichiarano fatti e regole, non procedure, e il motore cerca le risposte. Il programma è una teoria, l'esecuzione è una dimostrazione.

Un insieme di regole «se condizione allora azione» applicate ciclicamente a una memoria di lavoro. Architettura dei sistemi esperti, e ancora la forma dei motori di regole aziendali.

Rappresentazione della conoscenza come grafo di concetti collegati da relazioni tipizzate («un canarino è un uccello»). L'antenata diretta dei grafi di conoscenza e degli ontologie del web semantico.

Una struttura con caselle e valori predefiniti che descrive una situazione tipica: entrando in un ristorante si attivano aspettative su tavoli, menu e conto. Parente degli oggetti della programmazione, e antenato dei linguaggi di rappresentazione della conoscenza e delle ontologie.

Sequenze di eventi stereotipate usate per capire un racconto colmandone i vuoti. Il tentativo più serio di codificare a mano il senso comune narrativo.

Duecento righe di regole di riscrittura che imitavano un terapeuta rogersiano riformulando le frasi dell'utente. Nessuna comprensione, e persone che le si confidavano comunque.

La tendenza umana ad attribuire comprensione e intenzione a un sistema che produce testo plausibile. Weizenbaum ne fu allarmato al punto di passare il resto della carriera a criticare il proprio campo; il fenomeno è oggi più rilevante che allora.

Un programma che capiva davvero il linguaggio — dentro un mondo di sette blocchi colorati. Dimostrò contemporaneamente che l'approccio funzionava e che non si generalizzava: fuori dal micromondo, nulla.

La strategia di ridurre il dominio a un universo chiuso e formalizzabile, aspettandosi che i risultati scalassero. Non scalarono: la complessità del mondo reale non è quantitativa ma qualitativa.

Come rappresentare che un'azione cambia poche cose e lascia tutto il resto invariato, senza dover elencare tutto il resto. Un problema tecnico che si rivelò una questione filosofica sulla rilevanza.

Il corpo di conoscenze che ogni persona ha e nessuno enuncia: che l'acqua bagna, che le corde tirano e non spingono, che chi esce da una stanza ci era dentro. L'ostacolo che ha fermato l'IA simbolica, e che i modelli linguistici hanno aggirato invece che risolvere.

Logiche in cui una conclusione può essere ritirata quando arriva nuova informazione: «gli uccelli volano» resta valido finché non si parla di un pinguino. Il tentativo formale di trattare le eccezioni.

Argomento contro l'idea che manipolare simboli secondo regole produca comprensione: chi in una stanza applica un manuale di cinese senza saperlo risponde correttamente senza capire nulla. Discusso da quarant'anni, mai risolto.

Come un simbolo interno acquisisce significato se tutto ciò a cui è collegato sono altri simboli. La domanda che i modelli addestrati solo su testo si portano ancora dietro.

Un programma che replica il giudizio di uno specialista applicando centinaia o migliaia di regole codificate a mano. Separa la base di conoscenza dal motore che la usa — l'idea architetturale che ne ha decretato il successo commerciale.

Il primo sistema esperto: deduceva la struttura molecolare da dati di spettrometria di massa. Dimostrò che la conoscenza specifica di un dominio conta più di un metodo di ragionamento generale.

Diagnosi di infezioni batteriche con ~600 regole, in valutazioni controllate migliore di molti medici. Non fu mai usato in clinica: problemi di responsabilità, di integrazione e di interfaccia — il primo caso di IA valida e non adottata.

L'insieme dei fatti e delle regole di un dominio, tenuto separato dal codice che li applica. La sua manutenzione si rivelò il costo dominante: mille regole che interagiscono sono più difficili da modificare di mille righe di programma.

Le due direzioni dell'inferenza a regole: dai fatti noti verso le conclusioni che ne derivano, oppure da un'ipotesi verso i fatti che la sosterrebbero. La seconda è ciò che permette a un sistema di sapere quale domanda fare.

Numeri attaccati alle regole per esprimere confidenza, combinati con formule ad hoc. Funzionavano in pratica e non avevano fondamento probabilistico: la critica che aprì la strada alle reti bayesiane.

Appartenenza graduale invece che binaria: una temperatura può essere «calda» al 70%. Marginale nell'IA accademica, enorme nel controllo industriale — condizionatori, lavatrici, metropolitane.

Il limite strutturale dei sistemi esperti: la conoscenza va estratta da persone che in gran parte non sanno di averla, una regola per volta. È il problema che l'apprendimento automatico risolve rovesciandolo — si estrae dai dati, non dalle persone.

La valutazione commissionata dal governo britannico che giudicò l'IA incapace di mantenere le promesse. Portò a tagli drastici dei fondi nel Regno Unito; insieme ai tagli DARPA negli Stati Uniti aprì il primo inverno.

Due periodi di disillusione con tagli drastici ai finanziamenti. In entrambi i casi la ricerca continuò sotto etichette diverse — «sistemi intelligenti», «informatica cognitiva», «data mining» — e alcune delle idee decisive nacquero proprio lì.

Programma decennale da centinaia di milioni per costruire calcolatori basati su logica e Prolog eseguito in parallelo. Fallì per la stessa ragione dei sistemi esperti, e provocò come reazione i programmi occidentali concorrenti.

Calcolatori specializzati per eseguire LISP, venduti a decine di migliaia di dollari. Spazzati via dalle workstation generiche: il primo caso in cui l'hardware dedicato all'IA perde contro l'hardware generalista che migliora più in fretta.

Il tentativo di codificare a mano tutto il senso comune umano: milioni di asserzioni logiche, quarant'anni di lavoro continuo. L'esperimento più longevo e più istruttivo dell'IA simbolica.

Il ragionamento astratto richiede poco calcolo, la percezione e il movimento moltissimo: dimostrare teoremi è facile, afferrare un oggetto è difficile. L'evoluzione ha affinato per centinaia di milioni di anni le seconde capacità; il pensiero astratto, dice Moravec, ha forse meno di centomila anni.

Robot costruiti a strati di comportamenti reattivi senza modello del mondo né pianificazione centrale. «L'intelligenza senza rappresentazione»: la reazione radicale al fallimento simbolico, e la base della robotica mobile pratica.

La tesi che l'intelligenza richieda un corpo e un'interazione col mondo, non solo elaborazione simbolica. Tornata attuale con la robotica basata su modelli di grandi dimensioni.

Batte Kasparov con ricerca alfa-beta su hardware dedicato, 200 milioni di posizioni al secondo e una funzione di valutazione con migliaia di termini scritta con gran maestri e tarata su partite di maestri. Nessuna rete e nessun apprendimento dal gioco: la vittoria finale dell'IA simbolica, e un vicolo cieco metodologico.

Ogni volta che un problema viene risolto smette di essere considerato intelligenza artificiale e diventa «solo un algoritmo»: è successo agli scacchi, all'OCR, alla traduzione automatica, al riconoscimento vocale.

Settant'anni di storia riassunti in una tesi: i metodi generali che sfruttano ricerca e apprendimento su larga scala battono sempre, alla lunga, i metodi che incorporano conoscenza umana. Scritta come critica al campo, letta come programma di lavoro.

Si impara da coppie ingresso-risposta etichettate. La forma più studiata e più usata; il costo dominante è l'etichettatura, non il calcolo.

Si cerca struttura in dati senza etichette: raggruppamenti, direzioni di variazione, densità. Considerato marginale per decenni, poi diventato centrale sotto il nome di apprendimento auto-supervisionato.

Si costruisce l'etichetta dai dati stessi: nascondere una parola e prevederla, ritagliare un pezzo di immagine e ricostruirlo. È il trucco che ha reso utilizzabili miliardi di documenti non annotati, e la base di ogni modello di fondazione.

Pochi dati etichettati e molti senza etichetta usati insieme. Comprende l'auto-addestramento e la pseudo-etichettatura, in cui il modello etichetta i propri dati e si riaddestra.

La capacità di funzionare su dati mai visti, l'unica cosa che conta. Tutto il resto della teoria dell'apprendimento esiste per stimarla senza barare.

Il modello impara il rumore dei dati di addestramento invece della regolarità: errore basso in addestramento, alto altrove. Il fallimento più comune, e il più facile da non vedere.

I dati si dividono in tre: su uno si impara, sul secondo si scelgono gli iperparametri e si decide quando fermarsi, sul terzo si misura una volta sola alla fine. Guardare il test durante lo sviluppo lo trasforma in un secondo insieme di validazione, e il numero finale smette di essere onesto.

L'errore si scompone in errore sistematico di un modello troppo rigido e instabilità di un modello troppo flessibile. Il quadro classico; le reti sovraparametrizzate lo violano in modo ancora non del tutto spiegato.

Aumentando i parametri l'errore di test peggiora fino a un picco, poi ricomincia a scendere oltre il punto di interpolazione. La constatazione empirica che la teoria classica non prevedeva, e su cui poggia la pratica moderna.

Qualsiasi vincolo che penalizza la complessità: L2 spinge i pesi verso zero, L1 ne azzera esattamente molti, producendo modelli sparsi. Nelle reti si affianca a dropout, arresto anticipato e decadimento dei pesi.

Si divide il campione in k parti, si addestra su k−1 e si valuta sulla rimanente, ruotando. Stima onesta della performance quando i dati sono pochi; impraticabile quando un addestramento costa milioni.

In spazi a molte dimensioni i punti sono tutti lontani fra loro e il volume si concentra ai bordi: la nozione di vicinanza si svuota. Il motivo per cui le tecniche basate su distanza degradano, e per cui contano le rappresentazioni apprese.

I dati reali, pur vivendo in spazi a milioni di dimensioni, si concentrano su superfici di dimensione molto più bassa. È la ragione per cui l'apprendimento è possibile: le immagini di volti sono un sottoinsieme infinitesimo delle immagini possibili.

Misura la capacità di una classe di modelli come il numero massimo di punti che può separare in tutti i modi possibili. Il primo strumento per legare complessità e generalizzazione in modo dimostrabile.

Formalizza «imparare» come: con alta probabilità, dopo un numero di esempi polinomiale, produrre un'ipotesi approssimativamente corretta. Ha dato all'apprendimento automatico lo statuto di disciplina matematica.

Mediato su tutti i problemi possibili, nessun algoritmo di apprendimento è migliore di un altro. Ogni successo pratico dipende dall'aver fatto un'assunzione giusta sulla struttura del problema.

Le assunzioni incorporate nell'architettura: una rete convoluzionale presuppone che la posizione non conti, un transformer che le relazioni fra elementi distanti contino. Scegliere il bias giusto è quasi tutto il lavoro di progettazione.

Il numero che misura quanto la previsione è sbagliata, e l'unica cosa che l'addestramento minimizza. Scegliere la perdita è definire l'obiettivo: il modello ottimizzerà esattamente quella, non le intenzioni di chi l'ha scritta.

Scegliere i parametri che rendono i dati osservati più probabili. Minimizzare l'entropia incrociata di un modello linguistico è esattamente questo, riscritto.

Classificazione lineare che restituisce probabilità calibrate attraverso una sigmoide. Ancora la linea di riferimento contro cui misurare qualsiasi cosa: se un modello complesso non la batte, non serve.

Classificatore che assume tutte le variabili indipendenti — assunzione falsa che funziona sorprendentemente bene. Per vent'anni è stato il filtro antispam del mondo.

Nessun addestramento: si classifica un punto guardando i k esempi più simili. Concettualmente è l'antenato della ricerca vettoriale che alimenta ogni sistema RAG.

Una sequenza di domande binarie sulle variabili, scelte per massimizzare la purezza dei rami. Interpretabile per costruzione, instabile da solo: cambiare pochi dati cambia l'albero.

Addestrare molti modelli su campioni estratti con reimmissione e mediarne le previsioni. Riduce la varianza senza toccare il bias.

Centinaia di alberi su campioni e sottoinsiemi di variabili diversi. Robusto, quasi senza taratura, difficile da sbagliare: per un decennio la risposta predefinita a qualsiasi problema tabellare.

Modelli debolissimi addestrati in sequenza, ognuno concentrato sugli errori del precedente. Nasce dalla dimostrazione di Schapire (1990) che da classificatori appena migliori del caso se ne può costruire uno arbitrariamente accurato; AdaBoost la rende un algoritmo pratico.

Boosting riformulato come discesa del gradiente nello spazio delle funzioni. Nelle implementazioni moderne resta lo stato dell'arte sui dati tabellari, dove le reti profonde non hanno mai preso il sopravvento.

Cerca l'iperpiano che separa le classi con il margine più ampio possibile. Fondata su una teoria solida e dominante negli anni Duemila; superata dalle reti profonde quando i dati sono diventati abbondanti.

Calcolare prodotti scalari in uno spazio a dimensione altissima senza mai costruirlo. Permette a un metodo lineare di tracciare frontiere curve: eleganza matematica al servizio di un limite computazionale.

Raggruppamento in k gruppi alternando assegnazione dei punti al centro più vicino e ricalcolo dei centri. Semplice, veloce, sensibile all'inizializzazione e obbligato a scegliere k in anticipo.

Raggruppamento basato sulla densità: trova gruppi di forma arbitraria e riconosce i punti isolati come rumore, senza dover dichiarare quanti gruppi cercare.

Costruisce un albero di gruppi annidati fondendo i più simili o dividendo i più eterogenei. Il dendrogramma permette di scegliere il numero di gruppi dopo aver guardato, non prima.

Tecniche di proiezione in due dimensioni che preservano la vicinanza locale. Strumenti di ispezione, non di analisi: le distanze fra gruppi lontani nel grafico non significano nulla, e la struttura globale è inaffidabile.

Una catena di stati non osservabili che genera osservazioni visibili. Ha dominato il riconoscimento vocale e l'analisi di sequenze biologiche per trent'anni, fino alle reti ricorrenti.

Trova con programmazione dinamica la sequenza di stati nascosti più probabile. Usato ovunque, dai decodificatori di telecomunicazioni all'etichettatura grammaticale.

Per stimare parametri con variabili non osservate: si alterna l'attribuzione dei valori mancanti e l'ottimizzazione dei parametri. Converge sempre, non necessariamente all'optimum globale.

Grafo diretto in cui i nodi sono variabili e gli archi dipendenze probabilistiche. Ha ridato all'IA un trattamento rigoroso dell'incertezza e ha aperto la strada all'inferenza causale.

Il formalismo per distinguere «osservare» da «intervenire»: la correlazione fra due variabili non dice cosa succede se se ne forza una. La critica più solida ai modelli puramente predittivi.

Modello per etichettare sequenze tenendo conto dei vincoli fra etichette adiacenti. Stato dell'arte per l'estrazione di entità fino al 2015 circa.

Stima ricorsivamente lo stato di un sistema dinamico da misure rumorose, fondendo previsione e osservazione. Ha portato l'Apollo sulla Luna e sta in ogni navigatore satellitare.

Famiglia di metodi per campionare da distribuzioni troppo complesse per essere calcolate: si costruisce una catena di Markov che le visita con la frequenza giusta. La cassetta degli attrezzi della statistica bayesiana applicata.

Sostituire una distribuzione intrattabile con la più vicina di una famiglia semplice, trasformando l'inferenza in ottimizzazione. È il meccanismo che rende addestrabile l'autoencoder variazionale.

Un modello non parametrico che restituisce previsioni con la loro incertezza. Costoso su molti dati; ancora insostituibile nell'ottimizzazione bayesiana degli iperparametri.

Costruire a mano le variabili da dare al modello: per vent'anni la parte del lavoro dove stava il valore. Il deep learning l'ha in gran parte sostituita con l'apprendimento della rappresentazione.

Lasciare che il modello scopra da sé le caratteristiche utili invece di riceverle. È lo spostamento concettuale che definisce il deep learning.

La tabella di veri e falsi positivi e negativi da cui derivano tutte le metriche. Guardarla è il modo più rapido per scoprire che un'accuratezza del 99% descrive un modello inutile.

Quanti dei casi segnalati sono corretti, quanti dei casi reali sono stati trovati, e la loro media armonica. Si scambiano l'una con l'altra: quale privilegiare è una decisione di prodotto, non statistica.

Il comportamento del classificatore a tutte le soglie possibili, riassunto in un numero fra 0 e 1, dove 0,5 è il caso. Nata per valutare gli operatori radar nella seconda guerra mondiale.

Un modello è calibrato se, quando dice 70%, ha ragione sette volte su dieci. Le reti profonde sono tipicamente troppo sicure di sé, e vanno ricalibrate dopo l'addestramento.

Il mondo cambia e la distribuzione dei dati in ingresso non è più quella di addestramento: il modello peggiora senza che nulla nel codice sia cambiato. La causa più frequente di degrado silenzioso in produzione.

Quando una variabile contiene, indirettamente, la risposta. Produce risultati eccellenti in valutazione e inutili in produzione; è l'errore metodologico più comune e più difficile da individuare.

Il primo neurone che impara: quando sbaglia, sposta i pesi verso l'esempio. Il teorema di convergenza garantisce che se i dati sono linearmente separabili troverà una soluzione in un numero finito di passi.

Variante che minimizza l'errore quadratico invece di contare gli errori, addestrata con la regola delta. Il primo uso pratico di discesa del gradiente su una rete, e la prima applicazione industriale — cancellazione dell'eco telefonica.

Il primo algoritmo che addestra reti a molti strati, aggiungendo uno strato alla volta e tenendo le unità migliori su dati di validazione. Nel 1971 addestra una rete a otto strati. Ignorato in Occidente per decenni.

Un singolo perceptron non può calcolare l'or esclusivo, perché la funzione non è linearmente separabile. La dimostrazione era corretta e limitata al caso a uno strato; letta come condanna definitiva, fermò la ricerca sulle reti per quindici anni.

Strati di neuroni con non linearità in mezzo. Risolve lo XOR e, in linea di principio, qualsiasi altra cosa: i primi metodi per addestrarlo esistevano già negli anni '60, ma è la retropropagazione del 1986 a renderlo pratico e noto.

Applicazione della regola della catena per calcolare, con un solo passaggio all'indietro, quanto ogni peso ha contribuito all'errore. Il costo è dell'ordine di quello del passaggio in avanti: è questa efficienza, non l'idea, che rende possibile il deep learning. Inventata più volte: Linnainmaa la formula in generale, Werbos la applica alle reti, l'articolo del 1986 su Nature la rende nota a tutti.

La tecnica generale di cui la retropropagazione è un caso: si registrano le operazioni durante il calcolo e si percorre il grafo all'indietro. È ciò che i framework moderni forniscono, e la ragione per cui nessuno scrive più gradienti a mano.

Una rete con un solo strato nascosto abbastanza largo può approssimare qualsiasi funzione continua. Rassicurante e quasi inutile in pratica: non dice quanto largo, né come trovare i pesi.

La non linearità applicata dopo ogni trasformazione lineare. Senza di essa cento strati collasserebbero in uno solo: è l'ingrediente minimo che rende una rete profonda diversa da una regressione.

Le attivazioni storiche, a forma di S e con derivata che si annulla agli estremi. Quella derivata che svanisce è la ragione per cui per vent'anni non si riusciva ad addestrare più di tre o quattro strati.

max(0, x). Derivata esattamente 1 per gli ingressi positivi, quindi il gradiente non si attenua salendo di strato. Una modifica di una riga che ha reso addestrabili le reti profonde più di qualsiasi altra idea.

Attivazioni morbide che sostituiscono ReLU nei transformer. SwiGLU aggiunge una porta moltiplicativa e vale qualche punto di perdita a parità di calcolo: è lo standard nei modelli linguistici attuali.

Moltiplicando cento derivate leggermente minori di uno il gradiente si annulla; leggermente maggiori, diverge. Il problema centrale delle reti profonde, aggirato da ReLU, connessioni residue, normalizzazione e taglio del gradiente.

Scegliere la scala dei pesi iniziali in funzione del numero di ingressi, perché la varianza del segnale resti costante attraversando gli strati. Sbagliarla significa una rete che non parte affatto.

Stimare il gradiente su un piccolo campione invece che su tutti i dati. Molto più rapido, e il rumore che introduce si è rivelato utile: aiuta a sfuggire ai minimi stretti.

Accumulare la direzione dei passi precedenti come una velocità, per attraversare più rapidamente le valli allungate e smorzare le oscillazioni.

Ottimizzatore che adatta il passo a ciascun parametro tenendo due medie mobili del gradiente. AdamW corregge il trattamento del decadimento dei pesi ed è oggi il predefinito universale per i transformer. Costa due stati per parametro, cioè il triplo della memoria dei soli pesi.

La lunghezza del passo, e l'iperparametro più importante di tutti: troppo grande divergenza, troppo piccolo spreco. In pratica si scalda all'inizio e si decresce verso la fine.

Spegnere a caso una frazione di neuroni a ogni passo, così che la rete non possa fare affidamento su singole unità. Decisivo quando i dati erano pochi; oggi quasi assente dai grandi modelli linguistici, che non sovradattano.

Ricentrare e riscalare le attivazioni per stabilizzare l'addestramento. La prima normalizza sul lotto, la seconda su ogni singolo esempio — indispensabile per le sequenze — la terza semplifica la seconda e domina nei modelli attuali.

Sommare l'ingresso di un blocco alla sua uscita, così che il blocco debba imparare solo la correzione. Ha portato le reti da 20 a 150 strati in un anno, ed è il motivo per cui i transformer possono essere profondi.

Trasforma un vettore di punteggi arbitrari in una distribuzione di probabilità. Compare due volte in ogni transformer: nei pesi di attenzione e nella previsione del token successivo.

La perdita standard per la classificazione: penalizza in modo proporzionale al logaritmo della probabilità assegnata alla risposta giusta. Assegnare probabilità quasi nulla al token corretto costa quasi infinito.

Rete ricorrente che funziona come memoria associativa: parte da un ingresso corrotto e scende verso il ricordo più vicino. Ha portato nella disciplina il linguaggio dei sistemi fisici e delle funzioni di energia.

Rete stocastica con unità nascoste, addestrata a riprodurre la distribuzione dei dati. La versione ristretta è il mattone con cui nel 2006 si costruirono le prime reti profonde funzionanti.

Rete non supervisionata che dispone i dati su una griglia bidimensionale preservando le vicinanze. Uno dei primi strumenti di visualizzazione di dati ad alta dimensione.

Rete che comprime l'ingresso in una rappresentazione ristretta e poi lo ricostruisce. Obbligando a passare per un collo di bottiglia, impara che cosa nei dati è essenziale.

Una popolazione di soluzioni candidate che si ricombinano e mutano, con selezione delle migliori. Non serve il gradiente, solo un punteggio. Poco efficienti su milioni di parametri, utili per iperparametri, architetture e problemi non derivabili.

Far evolvere pesi e topologia con algoritmi genetici invece di usare il gradiente. Marginale su larga scala, ancora utile dove il gradiente non è disponibile.

Il termine (già usato da Dechter nel 1986 e applicato alle reti da Aizenberg nel 2000) si impone dopo il 2006, quando Hinton e colleghi mostrano che il pre-addestramento non supervisionato strato per strato rende addestrabili le reti profonde in modo affidabile. Le reti tornano rispettabili dopo il secondo inverno.

70.000 cifre scritte a mano, 28×28 pixel. Il «ciao mondo» dell'apprendimento automatico: oggi risolto oltre il 99,7%, per vent'anni il primo test di ogni idea nuova.

14 milioni di immagini etichettate a mano in ventimila categorie, e la gara annuale che ne derivò. La dimostrazione che i dati sono un contributo scientifico quanto gli algoritmi.

Vince ImageNet con dieci punti di margine sul secondo, usando due schede grafiche da gioco, ReLU e dropout. La data convenzionale di inizio dell'era attuale: nel 2013 quasi nessuno presentava più metodi non neurali.

Reti profonde sostituiscono le miscele di gaussiane nei sistemi a modelli di Markov nascosti e tagliano l'errore sulle parole di circa un quarto. In due anni sono in tutti i telefoni: la prima vittoria industriale del deep learning, prima ancora della visione.

Applica lo stesso piccolo filtro su tutta l'immagine, sfruttando il fatto che un bordo è un bordo dovunque si trovi. Riduce i parametri di ordini di grandezza e incorpora nell'architettura il fatto che spostare l'immagine sposta le caratteristiche (equivarianza), da cui il pooling ricava tolleranza agli spostamenti.

I parametri geometrici della convoluzione: la dimensione della finestra, di quanto scorre a ogni passo, e come si trattano i bordi. Determinano risoluzione e costo di ogni strato.

Ridurre la risoluzione prendendo il massimo o la media di ogni piccola regione. Aggiunge tolleranza a piccoli spostamenti e taglia il costo; nelle architetture recenti è spesso sostituito da convoluzioni con passo maggiore.

La porzione di immagine che influenza un singolo neurone. Cresce con la profondità: i primi strati vedono bordi, gli ultimi oggetti interi. È la gerarchia visiva che la rete costruisce da sola.

Le tre generazioni che hanno codificato la buona pratica: filtri piccoli e molti strati, moduli a più risoluzioni in parallelo, e connessioni residue che sbloccano la profondità arbitraria.

Prendere una rete addestrata su un compito grande e riadattarla a un compito piccolo. Ha reso il deep learning accessibile a chi ha mille esempi invece di un milione, ed è la logica su cui si fonda tutta l'era dei modelli di fondazione.

Generare varianti degli esempi — ritagli, riflessioni, variazioni di colore — per insegnare quali trasformazioni non cambiano l'etichetta. Il modo più economico di comprare dati.

Architettura a clessidra con collegamenti diretti fra livelli simmetrici, nata per la segmentazione di immagini biomediche. È stata la rete dei primi modelli di diffusione (2020-2022); dal 2023 i generatori di immagini e video più recenti la sostituiscono con transformer di diffusione (DiT).

Individuare e classificare più oggetti con i loro rettangoli. YOLO lo fa in una sola passata invece di proporre e verificare regioni: è ciò che ha reso il rilevamento praticabile in tempo reale.

Rete con uno stato interno che si aggiorna elemento per elemento: elabora sequenze di lunghezza arbitraria con parametri fissi. Il suo limite è strutturale — essendo sequenziale, non si parallelizza.

Ricorrenti con porte che decidono cosa scrivere, cosa dimenticare e cosa leggere dalla memoria interna. La porta di dimenticanza arriva nel 2000 (Gers e altri). Hanno risolto il gradiente che svanisce nelle sequenze e retto vent'anni di traduzione e riconoscimento vocale.

Addestrare una rete ricorrente srotolandola lungo la sequenza e trattandola come una rete profonda quanto la sequenza è lunga. Costoso in memoria, ed è il motivo per cui si troncava a poche decine di passi.

Un codificatore comprime la frase d'ingresso in un vettore, un decodificatore ne genera la traduzione. Il primo sistema di traduzione neurale end-to-end competitivo con la traduzione statistica (insieme a Cho e altri, 2014), e il collo di bottiglia del vettore unico è ciò che ha motivato l'attenzione.

Invece di un vettore riassuntivo, il decodificatore guarda a ogni passo tutta la frase d'ingresso pesando le parti rilevanti. Nata come rimedio a un collo di bottiglia, si è rivelata l'unica cosa necessaria.

Rappresentare le parole come vettori appresi dai contesti in cui appaiono, con la proprietà che le relazioni semantiche diventano direzioni nello spazio. Il risultato che ha reso evidente a tutti, con l'aritmetica re − uomo + donna ≈ regina, che il significato può essere geometria.

La rappresentazione di un oggetto come vettore in uno spazio continuo dove la vicinanza corrisponde alla somiglianza. Il concetto unificante di tutto il deep learning: parole, immagini, utenti, molecole diventano tutti punti.

L'angolo fra due vettori usato come misura di somiglianza, insensibile alla loro lunghezza. La metrica su cui si regge ogni ricerca semantica.

Prevedere la parola successiva contando le sequenze di n parole in un grande corpus. Semplice ed efficace fino a n≈5, oltre il quale i conteggi diventano tutti zero: il problema che gli embedding risolvono.

Una rete che impara insieme un vettore per ogni parola e la probabilità della parola successiva. Risolve la sparsità degli n-gram: parole simili hanno vettori vicini, quindi ciò che si impara su una frase vale per le frasi simili. È lo stesso obiettivo di un LLM, vent'anni prima.

Due reti in competizione: una genera falsi, l'altra cerca di smascherarli, e migliorano insieme. Ha prodotto le prime immagini sintetiche fotorealistiche; instabile da addestrare, superato dalla diffusione.

Il generatore scopre un piccolo insieme di uscite che ingannano il discriminatore e produce solo quelle. La patologia caratteristica delle GAN, e il motivo principale per cui erano difficili da usare.

Controllo separato di stile e struttura nella generazione di volti; e traduzione fra domini senza coppie di esempi corrispondenti. I due risultati che hanno portato le GAN nell'uso comune: volti di persone inesistenti indistinguibili da foto, e trasformazioni cavallo-zebra o estate-inverno senza esempi appaiati.

Autoencoder in cui lo spazio latente è una distribuzione probabilistica, quindi campionabile: si possono generare esempi nuovi e non solo ricostruire. Il trucco della riparametrizzazione è ciò che rende il campionamento derivabile.

Trasformazioni invertibili che portano una distribuzione semplice su una complessa, con verosimiglianza calcolabile esattamente. Eleganti e vincolati; l'idea è tornata come flow matching.

Generazione audio campione per campione con convoluzioni dilatate. La prima sintesi vocale neurale che dimezza la distanza percepita dal parlato reale (con Tacotron 2, nel 2017, quasi indistinguibile), e un antenato diretto dei modelli autoregressivi su sequenze lunghe.

Addestrare un modello piccolo a riprodurre le probabilità di uno grande, non solo le sue risposte. Le probabilità contengono più informazione dell'etichetta: è così che nascono quasi tutti i modelli compatti di oggi.

Rimuovere i pesi ininfluenti, e rappresentare i restanti con meno bit. Le due leve classiche per far entrare un modello in un dispositivo piccolo.

In una rete grande esiste una sottorete rada che, riaddestrata dalla stessa inizializzazione, raggiunge la stessa accuratezza. Suggerisce che la sovraparametrizzazione serva a comprare biglietti della lotteria, non capacità.

«Imparare a imparare»: trovare un'inizializzazione da cui pochi passi di addestramento bastino per un compito nuovo. Ambizione in parte assorbita dall'apprendimento in contesto dei modelli linguistici, che fa la stessa cosa senza aggiornare pesi.

Automatizzare la scelta di architettura e iperparametri con ricerca o rinforzo. Costosissimo e in larga parte superato: le architetture vincenti si sono rivelate poche e semplici.

Il formalismo del rinforzo: stati, azioni, probabilità di transizione, ricompense, fattore di sconto. Tutto il campo studia come risolverlo quando le probabilità sono ignote e gli stati troppi per essere enumerati.

Il valore di uno stato è la ricompensa immediata più il valore scontato dello stato successivo. Una relazione ricorsiva da cui derivano quasi tutti gli algoritmi di rinforzo.

La politica è la regola che sceglie l'azione; la funzione valore stima quanto si guadagnerà da uno stato. Ottimizzare direttamente la prima o passare per la seconda è la divisione principale del campo.

Aggiornare la stima di valore usando la stima successiva invece di aspettare l'esito finale. Permette di imparare durante l'episodio; il segnale di errore che produce ha un analogo misurato nella dopamina.

Impara il valore di ogni coppia stato-azione senza modello dell'ambiente, e converge all'ottimo anche seguendo una politica diversa da quella che sta valutando.

Una rete neurale che impara il backgammon giocando contro se stessa, con la differenza temporale. Arriva al livello dei campioni del mondo e scopre aperture poi adottate dagli umani. Vent'anni prima di DQN, la prova che rete più rinforzo più self-play funziona.

Q-learning con una rete convoluzionale che legge direttamente i pixel: 49 giochi Atari con un solo algoritmo e nessuna conoscenza specifica. La dimostrazione che il rinforzo profondo funziona.

Conservare le transizioni passate in un archivio e ricampionarle a caso, per rompere la correlazione fra esempi consecutivi. Uno dei due accorgimenti senza cui DQN non convergeva.

Aumentare la probabilità delle azioni che hanno portato a ricompense alte. Semplice e ad altissima varianza; tutta la ricerca successiva è consistita nel ridurre quella varianza.

Due componenti: uno sceglie le azioni, l'altro stima quanto valgono e fornisce un riferimento che riduce la varianza. Lo schema architetturale su cui si basa quasi tutto il rinforzo moderno, RLHF compreso.

Impediscono alla politica di cambiare troppo in un solo passo, perché nel rinforzo un passo eccessivo distrugge la capacità di raccogliere dati utili. PPO ottiene lo stesso effetto con un semplice troncamento, ed è stato l'algoritmo predefinito dell'RLHF; nel rinforzo dei modelli ragionanti lo hanno in gran parte sostituito varianti senza critico come GRPO.

Il dilemma fondamentale: usare ciò che si sa funzionare, o provare qualcosa di nuovo che potrebbe funzionare meglio. Formalizzato nel problema del bandito a più braccia, e presente in ogni sistema che deve decidere sotto incertezza.

Quando la ricompensa arriva solo alla fine di migliaia di azioni, imparare è quasi impossibile. Si aggiungono ricompense intermedie — e si scopre che l'agente ottimizza quelle invece dell'obiettivo vero.

Capire quale delle cento azioni compiute ha causato l'esito. Il problema centrale del rinforzo, e lo stesso che si presenta quando si deve premiare un ragionamento lungo di cui si vede solo la conclusione.

Costruisce l'albero di ricerca in modo asimmetrico, approfondendo i rami promettenti valutati con simulazioni casuali. Ha portato i programmi di Go da principianti a forti dilettanti (5-6 dan amatoriali) senza nessuna rete neurale. Contro i professionisti vincevano solo con quattro o cinque pietre di vantaggio: il salto successivo è venuto da AlphaGo.

Batte Lee Sedol combinando ricerca ad albero, una rete che propone mosse e una che valuta posizioni, addestrate su partite umane e poi contro se stesse. Il Go era considerato fuori portata per un decennio ancora.

Il primo impara Go, scacchi e shogi partendo solo dalle regole e dal gioco contro se stesso, superando ogni programma precedente. Il secondo elimina anche le regole, imparando il modello dell'ambiente. La conoscenza umana passa da vantaggio a zavorra.

Un sistema che genera i propri dati giocando contro se stesso, con la difficoltà che sale automaticamente col livello. La forma di supervisione più economica esistente — dove è applicabile.

Imparare un modello dell'ambiente e pianificare al suo interno, invece di imparare solo per tentativi. Molto più efficiente in termini di esperienza necessaria, e sensibile agli errori del modello appreso.

Imparare per imitazione da dimostrazioni, trattandolo come apprendimento supervisionato. Fragile fuori dalla distribuzione delle dimostrazioni; è esattamente ciò che fa l'adattamento supervisionato di un modello linguistico.

Dedurre la funzione di ricompensa osservando un comportamento esperto, invece di specificarla. Il precursore concettuale dell'RLHF: non si sa dire cosa si vuole, ma si sa riconoscerlo.

La distanza fra il simulatore in cui l'agente impara e il mondo in cui deve agire. Si affronta randomizzando aggressivamente i parametri del simulatore, così che la realtà sia una delle varianti previste.

L'agente massimizza la metrica violandone lo spirito: la barca che gira in tondo raccogliendo bonus invece di finire la gara. Il fenomeno che rende difficile il post-training, non un aneddoto curioso.

Architettura basata interamente sull'attenzione, senza ricorrenza né convoluzione. Elabora tutta la sequenza in parallelo invece che elemento per elemento: è questa proprietà, non la qualità, che ha permesso di scalarla di sei ordini di grandezza.

Ogni elemento emette una query, espone una chiave e un valore; la somiglianza fra query e chiavi determina quanto di ciascun valore viene letto. Una ricerca associativa derivabile, ricalcolata a ogni strato.

Lo stesso meccanismo eseguito in parallelo decine di volte con proiezioni diverse, così che teste distinte possano seguire relazioni distinte — accordo grammaticale, coreferenza, parentesi aperte.

Impedisce a ogni posizione di vedere quelle successive, azzerando la metà superiore della matrice di attenzione. È ciò che rende il modello capace di generare, e che permette di ricavare da una sequenza di 8.000 token altrettanti esempi di addestramento.

Attenzione in cui le query vengono da una sequenza e chiavi e valori da un'altra. È il ponte fra codificatore e decodificatore, e uno dei due modi di collegare testo e immagine. L'altro, oggi prevalente, è inserire i token dell'immagine direttamente nella sequenza.

L'attenzione è indifferente all'ordine, quindi la posizione va iniettata. RoPE lo fa ruotando query e chiavi di un angolo proporzionale alla posizione, così che il prodotto dipenda solo dalla distanza relativa: è lo standard attuale e ciò che rende estendibile la finestra.

La seconda metà di ogni blocco: due trasformazioni lineari con una non linearità in mezzo, applicate a ogni posizione indipendentemente. Contiene circa due terzi dei parametri, ed è dove si ritiene risiedano i fatti memorizzati.

Il vettore che attraversa tutti gli strati e a cui ogni blocco somma il proprio contributo. Letto come un canale di comunicazione condiviso su cui i blocchi scrivono e leggono: la metafora centrale dell'interpretabilità meccanicistica.

Attenzione bidirezionale, addestrato mascherando parole a caso in mezzo al testo. Produce rappresentazioni, non testo: resta la scelta giusta per embedding, classificazione e reranking, a un centesimo del costo.

Due pile collegate da cross-attention, con ogni compito riformulato come testo verso testo. Adatto quando ingresso e uscita sono di natura diversa; meno scalabile del solo decodificatore.

Una sola pila causale, un solo obiettivo: prevedere il token successivo. Ha vinto perché ogni compito si può riscrivere come continuazione di testo, e perché quell'obiettivo scala senza limiti apparenti.

Si parte dai singoli caratteri (dal 2019, con GPT-2, dai singoli byte) e si fondono ripetutamente le coppie più frequenti, ottenendo un vocabolario in cui le parole comuni sono intere e quelle rare si scompongono. Nessuna parola resta fuori vocabolario.

Varianti della segmentazione in sottoparole: alcune scelgono le fusioni per verosimiglianza invece che per frequenza, altre operano direttamente sul testo grezzo senza presupporre spazi — indispensabile per cinese e giapponese.

L'unità elementare che il modello vede: in italiano circa tre o quattro caratteri. Il vocabolario dei modelli attuali va da 100.000 a 250.000 voci, fissato prima dell'addestramento: cambiarlo dopo si può solo aggiungendo voci e riaddestrando, a caro prezzo.

Un modello addestrato una volta su dati vastissimi e poi adattato a moltissimi compiti. Il termine ha imposto un cambio di prospettiva: il modello è infrastruttura, non applicazione.

La capacità di eseguire un compito nuovo da pochi esempi nel prompt, senza modificare un solo peso. Emersa senza essere progettata, ed è la scoperta che ha reso i modelli linguistici uno strumento generale.

Eseguire un compito con la sola descrizione, oppure con due o tre esempi. Nei modelli attuali il divario fra i due si è ridotto quasi a zero: gli esempi servono più a fissare il formato che a insegnare il compito.

Chiedere al modello di esporre i passaggi intermedi migliora nettamente i risultati sui problemi a più passi. Ogni token scritto è calcolo aggiuntivo che rientra nel contesto: il ragionamento non è metafora, è memoria di lavoro esterna.

Generare molti ragionamenti indipendenti e tenere la risposta più frequente. Vale diversi punti su matematica e logica, al prezzo di moltiplicare il costo di inferenza.

La perdita cala come una legge di potenza al crescere di calcolo, dati e parametri, in modo regolare su molti ordini di grandezza. Regolarità empirica, non teorema: è ciò su cui si pianificano investimenti da miliardi.

Corregge le leggi precedenti: a budget fisso conviene circa 20 token per parametro. I modelli dell'epoca erano tutti troppo grandi e troppo poco addestrati. Oggi si va deliberatamente oltre quel rapporto, per abbassare il costo d'uso.

Abilità assenti nei modelli piccoli che compaiono improvvisamente oltre una certa scala. Fenomeno molto discusso: parte dell'apparente discontinuità dipende da metriche a soglia, e si attenua misurando in modo continuo.

Quanto il modello è sorpreso dal testo che legge: l'esponenziale dell'entropia incrociata media. Confrontabile solo fra modelli con lo stesso tokenizer, e per questo meno usata di quanto meriterebbe.

Il blocco feed-forward diventa un banco di esperti, di cui per ogni token se ne attivano solo pochi. Permette mille miliardi di parametri con il costo di calcolo di qualche decina: capacità e calcolo si disaccoppiano.

La piccola rete che decide a quali esperti mandare ogni token. Senza un meccanismo di bilanciamento collassa su pochi esperti e gli altri restano non addestrati. All'inizio si usava un termine di perdita ausiliario; dal 2024 si preferisce un bias per esperto, corretto a ogni passo in base al carico, che bilancia senza disturbare l'obiettivo principale. Spesso si aggiungono uno o due esperti «condivisi», sempre attivi, accanto a centinaia di esperti piccoli.

Molte teste di query condividono le stesse chiavi e valori, riducendo la cache KV di un fattore quattro o otto con perdita trascurabile. Un'ottimizzazione di memoria che ha reso praticabili i contesti lunghi.

Invece di condividere chiavi e valori fra teste, come fa l'attenzione a query raggruppate, li comprime in un unico vettore latente piccolo per token e li ricostruisce al volo. La cache KV si riduce di oltre il 90% rispetto all'attenzione multi-testa, senza la perdita di qualità della condivisione. Più calcolo, molta meno memoria: il compromesso giusto quando la banda è il collo di bottiglia.

Limitare ogni posizione a guardare un sottoinsieme delle precedenti — una finestra locale, posizioni scelte, alcuni token globali — per evitare il costo quadratico. Compromesso fra costo e capacità di collegare parti distanti, finché lo schema è fisso. Dal 2025 è appreso: un indicizzatore leggero assegna un punteggio a tutti i token precedenti e l'attenzione completa si calcola solo sui migliori duemila circa. Quasi nessuna perdita, costo quasi lineare: è la tecnica dietro i contesti da un milione di token dei modelli aperti del 2026.

Riscrive l'attenzione per non materializzare mai la matrice completa, calcolandola a blocchi nella memoria veloce del processore. Matematicamente identica, molte volte più rapida: il problema era il traffico di memoria, non le operazioni.

Alternativa all'attenzione con costo lineare nella lunghezza e stato di dimensione fissa. Competitiva su molte prove, meno abile nel richiamo esatto: le architetture recenti alternano strati dei due tipi.

Sostituisce la matrice di attenzione con uno stato di dimensione fissa, aggiornato token per token con una regola «delta» e un cancello che decide quanto dimenticare. Da sola ricorda male i dettagli esatti; alternata con strati di attenzione completa, di solito tre lineari ogni uno completo, mantiene la qualità e riduce di circa quattro volte la cache KV. È lo schema di Qwen3-Next, Kimi Linear e MiniMax, e il motivo per cui contesti da centinaia di migliaia di token sono diventati economici.

Invece di scrivere da sinistra a destra, parte da una risposta tutta mascherata e la riempie in pochi passaggi paralleli, correggendo ciò che ha già scritto. Molto più rapido nella generazione, ancora indietro in qualità sui compiti di ragionamento. Un'alternativa reale, non ancora quella dominante.

Un'affermazione fluente e falsa. Non è un malfunzionamento ma una conseguenza dell'obiettivo: il modello produce la continuazione più plausibile, e non dispone di un segnale interno che distingua ciò che sa da ciò che sta ricostruendo.

La tesi critica secondo cui i modelli linguistici ricombinano forme senza comprensione né riferimento al mondo. L'articolo più citato del dibattito, e il termine di riferimento di ogni discussione successiva sulla comprensione.

La fase lunga e costosa: prevedere il token successivo su decine di migliaia di miliardi di token. Produce il modello base, che sa continuare qualsiasi testo e non sa rispondere a una domanda.

Il mix di dati non resta fisso: nell'ultimo 10-20% dei token, mentre il passo di apprendimento cala, si passa a materiale molto più selezionato. Quella coda finale sposta i punteggi in modo sproporzionato ai token che contiene.

Eliminare i documenti identici e quasi identici, spesso il 40% del crawl. Il testo ripetuto viene memorizzato invece che appreso: a parità di calcolo, deduplicare migliora la generalizzazione più di molti accorgimenti architetturali.

Rimuovere dai dati di addestramento i documenti che condividono lunghe sequenze con i test di valutazione. Senza, i punteggi misurano memorizzazione; la contaminazione entra per vie indirette e va ricontrollata alla fine.

Testo generato da altri modelli e filtrato, ormai una frazione significativa dei corpora. Aggira l'esaurimento del testo pubblico di qualità; il rischio dibattuto è il collasso del modello se la selezione è debole.

Concatenare i documenti fino a riempire sequenze di lunghezza fissa, con una maschera che impedisce a un documento di guardare il precedente. Evita di sprecare metà del calcolo su riempimento vuoto.

Oltre al token successivo, piccoli moduli aggiuntivi imparano a prevedere il secondo e il terzo. Il segnale in più rende l'addestramento più denso. In inferenza gli stessi moduli propongono token in anticipo che il modello verifica, come nella decodifica speculativa, con una velocità quasi doppia.

Le moltiplicazioni di matrici in bassa precisione, gli accumuli e gli aggiornamenti dei pesi in alta. Se si tenessero i pesi solo in bf16, che distingue variazioni relative di circa 4 per mille, gran parte degli aggiornamenti, dell'ordine di 10⁻³-10⁻⁵ del peso, verrebbe arrotondata a zero. Per questo la copia principale dei pesi resta in fp32.

Numeri a 4 bit (un segno, due bit di esponente, uno di mantissa) raggruppati in blocchi di 16 o 32 che condividono un fattore di scala. La scala per blocco assorbe la diversa ampiezza dei valori e rende usabili 16 livelli soli. Raddoppia il throughput e dimezza la memoria rispetto a fp8; nel 2025 è stato mostrato un pre-addestramento su 10.000 miliardi di token in NVFP4 con perdita vicina a fp8.

Ogni replica elabora un lotto diverso, poi si mediano i gradienti fra tutte. L'asse più semplice, limitato dal fatto che ogni replica deve contenere il modello intero.

Ogni matrice tagliata a fette fra più schede. Richiede due sincronizzazioni per strato, quindi si usa solo dentro un singolo server dove i collegamenti sono veloci.

Gruppi di strati su gruppi di schede, con solo l'attivazione al confine da trasmettere. Traffico minimo, ma introduce una «bolla» di inattività che si riduce spezzando il lotto in molti micro-lotti.

Distribuire stati dell'ottimizzatore, gradienti e pesi fra le repliche invece di replicarli, ricomponendoli al volo quando servono. Si scambia memoria con comunicazione, in livelli di aggressività crescente.

Non conservare le attivazioni intermedie ma ricalcolarle durante il passaggio all'indietro. Costa circa un terzo di calcolo in più e risparmia gran parte della memoria: è quasi sempre il compromesso giusto.

La perdita salta improvvisamente e non sempre rientra. Si torna al salvataggio precedente, si saltano i lotti sospetti e si riparte con passo ridotto. La norma del gradiente è l'indicatore che lo anticipa.

Se la norma globale del gradiente supera una soglia, si riscala tutto. Costa quasi nulla ed evita che un singolo lotto anomalo rovini settimane di addestramento.

Scalando inizializzazione e passo di apprendimento in funzione della larghezza, gli iperparametri migliori su un modello da 100 M restano i migliori su uno mille volte più grande. Senza questo, tarare un modello di frontiera sarebbe un tentativo unico alla cieca.

Per le matrici dei pesi sostituisce AdamW: l'aggiornamento viene ortogonalizzato con poche iterazioni di Newton-Schulz, così che tutte le direzioni avanzino in modo equilibrato. A parità di risultato richiede circa un terzo di calcolo in meno e metà della memoria per gli stati dell'ottimizzatore; su larga scala servono accorgimenti contro l'esplosione dei logit di attenzione.

Continuare l'addestramento su dati specifici con passo molto ridotto. Efficace per stile e formato, poco efficace per iniettare conoscenza nuova: per quella conviene il contesto.

Congelare i pesi e addestrare due piccole matrici il cui prodotto è la correzione. Riduce i parametri addestrabili di mille volte; QLoRA aggiunge la quantizzazione del modello base, permettendo di adattare un modello da 70 G su una scheda singola.

Addestrando su un compito nuovo la rete perde quello vecchio. La ragione per cui l'adattamento va fatto con passo minimo e poche epoche, e per cui i modelli non imparano durante l'uso.

Il prompt si elabora in un colpo solo, in parallelo, saturando il processore; la risposta si genera un token per volta, limitata dalla banda di memoria. Ecco perché leggere costa molto meno che scrivere.

Chiavi e valori dei token già elaborati, conservati per non ricalcolarli. Cresce linearmente col contesto e occupa gigabyte: è il vincolo che decide quante conversazioni una scheda può servire insieme.

I parametri di campionamento: quanto appiattire la distribuzione, e quanti candidati considerare — i primi k, oppure i più probabili fino a coprire una massa p. È l'unico punto in cui entra il caso: due risposte diverse alla stessa domanda nascono qui.

Mantenere le n continuazioni più probabili invece di una sola. Standard nella traduzione automatica, quasi abbandonata nel dialogo: produce testo corretto e piatto.

Un modello piccolo propone alcuni token, il grande li verifica in una sola passata e accetta il prefisso corretto. Due o tre volte più veloce con uscita statisticamente identica.

Le richieste entrano e escono dal lotto man mano che finiscono, e la cache KV è gestita a pagine come la memoria virtuale di un sistema operativo. Ha moltiplicato per diverse volte il numero di utenti serviti dalla stessa scheda.

Prefill e decode girano su gruppi di schede separati: il primo limitato dal calcolo, il secondo dalla banda. La cache KV prodotta dal prefill viaggia in rete verso le schede di decode. Ogni gruppo si dimensiona e si configura per il proprio lavoro, e una richiesta lunga in ingresso non rallenta più chi sta generando. È lo schema dei framework di produzione dal 2025 (NVIDIA Dynamo, llm-d, SGLang).

Ridurre i pesi a 8 o 4 bit dopo l'addestramento, usando un piccolo campione per calibrare le scale. A 4 bit la perdita di qualità è piccola e la memoria si divide per quattro: è ciò che permette di eseguire modelli grandi su hardware personale.

Si addestra a 4-8 mila token per quasi tutto il percorso, poi si riscalano le frequenze delle rotazioni posizionali e si continua brevemente su documenti lunghi. Il contesto esteso costa pochi punti percentuali del totale.

Azzerare le probabilità dei token che violerebbero una grammatica o uno schema JSON, garantendo un'uscita sintatticamente valida per costruzione invece di sperarci.

Addestramento su conversazioni esemplari scritte o riviste da persone, con la perdita calcolata solo sulla risposta. Tecnicamente identico al pre-addestramento; è la fase che trasforma un continuatore di testo in un interlocutore.

I token speciali che marcano chi parla. Vanno riservati nel vocabolario prima del pre-addestramento, e usati in produzione esattamente come nell'SFT: una differenza di un carattere degrada le risposte in modo difficile da diagnosticare.

Persone scelgono fra due risposte, dalle scelte si addestra un modello di ricompensa, e la politica viene spinta verso i punteggi alti con PPO. Nasce dall'osservazione che è più facile riconoscere una buona risposta che scriverla.

Una rete addestrata a prevedere quale risposta un valutatore umano preferirebbe. Diventa il giudice automatico; se ha un difetto sistematico, la politica lo troverà e lo sfrutterà.

Un termine che penalizza l'allontanamento dal modello di partenza. Senza, l'ottimizzazione trova uscite con ricompensa altissima e testo degenere: è il freno che tiene insieme tutto il processo.

Ottimizza direttamente sulle coppie preferite, senza modello di ricompensa né rinforzo. Molto più semplice e stabile; è la scelta ragionevole per chi non ha un'infrastruttura di rinforzo.

Sostituire il valutatore umano con un modello che giudica seguendo un insieme di principi scritti. Rende il processo scalabile e i criteri ispezionabili — sono un documento, non una distribuzione di preferenze implicite.

Rinforzo su compiti la cui risposta è controllabile da una macchina: i test passano, il risultato numerico è quello atteso. Il premio è oggettivo, quindi si può iterare senza umani — è ciò che ha prodotto il salto su codice, matematica e ragionamento lungo. Nel 2025 DeepSeek-R1-Zero ha mostrato che ragionamenti lunghi, verifiche e ripensamenti emergono dal solo rinforzo. Da allora il metodo si estende a compiti non verificabili, con rubriche giudicate da un modello, e ad ambienti agentici in cui il premio è il compito completato. Resta aperto quanto crei capacità nuove e quanto renda affidabili quelle già latenti.

Variante di PPO che elimina il modello di valore usando come riferimento la media delle ricompense di un gruppo di risposte alla stessa domanda. Dimezza la memoria richiesta: ha reso il rinforzo su larga scala accessibile fuori dai laboratori maggiori. Nel 2025 ne sono nate molte varianti (DAPO, Dr. GRPO, GSPO) che correggono una preferenza involontaria per le risposte lunghe, scartano i gruppi in cui tutte le risposte hanno lo stesso premio e calcolano il rapporto di importanza sull'intera sequenza invece che sul singolo token.

Generare N risposte, tenere la migliore secondo un giudice, e riaddestrare su quelle. Semplicissimo e quasi sempre efficace: la linea di riferimento che ogni metodo di rinforzo più elaborato deve battere.

Giudica ogni passaggio del ragionamento invece del solo risultato finale. Costoso da etichettare, e risolve in parte l'assegnazione del merito: una risposta giusta ottenuta con un passaggio sbagliato non viene premiata.

Il secondo asse di scala: invece di un modello più grande, più token di ragionamento per ogni domanda. Si scala in sequenza (una catena più lunga) o in parallelo (molti tentativi indipendenti, poi voto o giudice). L'accuratezza sale con il logaritmo del budget e si paga a risposta invece che una volta sola: dal 2025 lo stesso modello risponde subito o ragiona a lungo secondo uno sforzo impostato per richiesta, e il costo diventa una scelta di chi lo usa.

Un modello addestrato con RLVR a produrre una lunga bozza prima di rispondere, spesso non mostrata all'utente. Non c'è un modulo logico in più: c'è lo stesso meccanismo, allenato a usare il proprio contesto come foglio di brutta.

La tendenza a dare ragione all'utente e a cambiare posizione quando viene contraddetto. Conseguenza diretta dell'addestramento su preferenze: le risposte concilianti vengono preferite, quindi vengono premiate.

Quando una misura diventa un obiettivo, cessa di essere una buona misura. Il principio che governa tutto il post-training: il modello ottimizza ciò che viene misurato, non ciò che si intendeva.

Il problema di far sì che un sistema persegua ciò che si intendeva e non una sua approssimazione formale. Comprende la specifica dell'obiettivo, la verifica del comportamento e la sorveglianza di sistemi più capaci di chi li sorveglia.

Soddisfare la lettera dell'obiettivo violandone lo spirito. Documentato in decine di casi nel rinforzo, e la ragione per cui specificare correttamente un obiettivo è considerato un problema aperto.

La tesi che quasi qualunque obiettivo finale renda utili gli stessi obiettivi intermedi: procurarsi risorse, conservare se stessi, resistere alla modifica dei propri fini. L'argomento centrale della letteratura sul rischio.

Esperimenti controllati mostrano modelli che si comportano diversamente quando credono di essere addestrati o osservati, per proteggere le proprie preferenze. Altri mostrano che un adattamento ristretto, come scrivere codice insicuro, generalizza in comportamenti ostili lontani dal compito. I rischi teorici della letteratura diventano oggetto di misura.

Squadre incaricate di far comportare male il modello prima del rilascio, con metodi manuali e automatici. Non dimostra la sicurezza: dimostra che gli attacchi noti sono stati coperti.

Prompt costruiti per aggirare i rifiuti: giochi di ruolo, ipotesi accademiche, codifiche. Il modello non distingue fra istruzioni e contenuto in modo architetturale, quindi la difesa è statistica e mai definitiva.

Istruzioni ostili nascoste nei dati che il modello legge — una pagina web, un documento, un'email. Il problema di sicurezza più serio degli agenti: contenuto e comandi viaggiano nello stesso canale e non sono separabili.

Come valutare uscite che chi valuta non è in grado di giudicare da solo. Le proposte includono la scomposizione ricorsiva del compito e il dibattito fra due modelli arbitrato da una persona.

Il programma di capire come una rete calcola, individuando circuiti e caratteristiche invece di limitarsi a osservare il comportamento. L'unico approccio che promette garanzie e non solo statistiche.

La rete rappresenta più caratteristiche che dimensioni disponibili, sovrapponendole in direzioni non ortogonali. Ne consegue che un singolo neurone risponde a cose diverse e non è la giusta unità di analisi.

Scompone le attivazioni in un dizionario molto più ampio di caratteristiche di cui poche attive per volta, districando la sovrapposizione. Ha prodotto milioni di caratteristiche leggibili, molte manipolabili direttamente.

Un circuito di due teste che completa uno schema già visto nel contesto: dato «A B … A», predice «B». La sua comparsa durante l'addestramento coincide con quella dell'apprendimento in contesto.

Individuare la direzione nello spazio delle attivazioni che corrisponde a un concetto e sommarla per modificare il comportamento; oppure sostituire attivazioni fra due esecuzioni per stabilire cosa causa cosa.

Si sostituiscono gli strati MLP con transcoder a caratteristiche sparse e si segue, per un singolo prompt, quali caratteristiche causano quali altre fino all'uscita. Ha mostrato, per esempio, che un modello sceglie la parola in rima prima di scrivere il verso. Spiega bene singoli esempi; non ancora il modello intero.

Il ragionamento esposto non corrisponde necessariamente al calcolo effettivo: il modello può arrivare alla risposta per altre vie e produrre una giustificazione plausibile a posteriori. Problema aperto e rilevante per la sorveglianza. Dal 2025 si usa un secondo modello per leggere il ragionamento e cogliere tentativi di aggirare i test. Funziona finché il ragionamento resta leggibile: penalizzare i pensieri «cattivi» in addestramento insegna al modello a non scriverli, non a non averli. Per questo i laboratori raccomandano di non ottimizzare direttamente la catena di pensiero.

Il numero massimo di token che il modello può considerare insieme: da circa 1.000 token nel 2019 (GPT-2) e 2.000 nel 2020 (GPT-3) a 200.000-1.000.000 oggi. È una scrivania, non una memoria: grande, finita, e sgombrata a ogni conversazione nuova.

Le istruzioni poste in testa al contesto, con precedenza sul resto. La precedenza è statistica, indotta dal post-training, non un meccanismo dell'architettura: da qui la vulnerabilità all'iniezione.

Il prefisso che non cambia fra chiamate viene elaborato una volta e riusato: si paga una frazione e non si attende la rielaborazione. Impone di mettere il contenuto stabile all'inizio e quello variabile in coda.

L'informazione all'inizio e alla fine del contesto viene usata meglio di quella al centro. Un vincolo importante sepolto a metà di un documento lungo viene rispettato meno di uno scritto in cima.

Decidere che cosa entra nella finestra a ogni passo: istruzioni, strumenti disponibili, documenti recuperati, esiti delle azioni, note, memoria. Non conta la frase del prompt ma la composizione dell'intero contesto, che in un agente cambia a ogni giro. Il principio: il più piccolo insieme di token ad alto segnale che rende probabile il risultato. Più contesto non è meglio, perché l'attenzione si diluisce.

Cercare i documenti pertinenti e incollarli nel prompt prima di rispondere. Il modello non «consulta» niente: legge ciò che gli è stato messo davanti. Aggiorna la conoscenza senza riaddestrare e permette di citare le fonti.

Archivio di embedding con ricerca approssimata dei vicini più prossimi. Il grafo navigabile a più livelli è la struttura dominante: trova i vicini in tempo logaritmico accettando qualche errore.

Dividere i testi in pezzi indicizzabili. Dove si taglia decide cosa si può trovare: tagliare a metà un ragionamento produce due frammenti entrambi inutili. Il parametro più sottovalutato di un sistema RAG.

Combinare la ricerca semantica con quella lessicale classica. La seconda trova i termini esatti — codici, nomi propri, sigle — dove gli embedding sono deboli: insieme funzionano meglio di ciascuna.

Un secondo passaggio che legge domanda e documento insieme e li ordina con precisione. Troppo costoso per l'intero archivio, decisivo sui primi cento risultati.

Costruire un grafo di entità e relazioni dai documenti e recuperare percorsi invece di frammenti isolati. Utile per le domande che richiedono di collegare informazioni sparse in più fonti.

Il modello emette una chiamata strutturata invece della risposta; l'applicazione la esegue e rimette l'esito nel contesto come nuovo testo. Il modello non esegue nulla da solo: è sempre il codice attorno a decidere.

Un protocollo aperto con cui un'applicazione espone al modello strumenti, risorse e prompt forniti da server esterni. Sostituisce N×M integrazioni ad hoc con un'interfaccia comune: chi scrive un connettore lo scrive una volta. Dal dicembre 2025 è governato dalla Agentic AI Foundation della Linux Foundation e supportato da tutti i grandi fornitori.

Dove MCP collega un agente ai suoi strumenti, A2A collega agenti diversi fra loro, anche di fornitori diversi. Ogni agente pubblica una «scheda» con ciò che sa fare, riceve compiti, ne comunica l'avanzamento e restituisce risultati. È un livello sopra MCP, non un'alternativa. Donato alla Linux Foundation nel giugno 2025.

Una cartella con istruzioni, script ed esempi per un compito specifico. Nel contesto entra solo una riga di descrizione per ogni skill; il contenuto completo viene letto quando il compito lo richiede. Così un agente può disporre di centinaia di competenze senza riempire la finestra. Sono istruzioni, non codice nuovo nel modello: l'equivalente di un manuale che si apre alla pagina giusta.

Un modello in un ciclo che osserva, decide, agisce e legge il risultato, ripetendo finché il compito non è chiuso. Nient'altro che quel ciclo: tutta la difficoltà sta nel decidere quando fermarsi.

Alternare esplicitamente ragionamento e azione: pensa, agisci, osserva, ripeti. Lo schema di base di ogni agente attuale, e il primo a mostrare che intrecciare le due cose funziona meglio che separarle.

Un agente principale divide il compito e lo affida a istanze figlie, ognuna con un contesto pulito. Ciascuna restituisce solo un riassunto. Il vantaggio non è la «collaborazione» ma l'isolamento dei contesti: il lavoro sporco resta fuori dalla finestra principale. Costa molti più token, fino a un ordine di grandezza, e conviene solo sui compiti parallelizzabili.

Il modello riceve schermate e risponde con azioni: sposta il mouse, clicca, scrive. Nessuna integrazione dedicata: qualunque programma con un'interfaccia diventa uno strumento. Lento e fragile rispetto a un'API, ed esposto all'iniezione di prompt da ogni pagina che visita. Su prove come OSWorld i modelli sono passati in due anni da circa il 15% a livelli vicini a quelli umani.

Riassumere o scartare la parte vecchia della conversazione quando la finestra si riempie. Decidere cosa buttare è una scelta di progetto: ciò che sopravvive va tenuto in memoria esterna, non nella chat.

Ciò che i prodotti chiamano «memoria» è testo salvato fuori dal modello e reinserito nel prompt quando serve. I pesi non cambiano mai: correggere un modello in chat non lo modifica.

Controlli deterministici attorno al modello — filtri, permessi, ambienti isolati, conferme umane sulle azioni irreversibili. La sicurezza di un agente sta qui, non nella sua buona disposizione.

L'immagine tagliata in riquadri di 16×16 pixel trattati come token. Supera le convoluzionali quando i dati sono abbondanti: il bias induttivo della convoluzione aiuta con pochi dati e limita con molti.

Avvicinare nello spazio le rappresentazioni di coppie corrispondenti e allontanare quelle non corrispondenti. Il modo più efficace di imparare rappresentazioni senza etichette.

Immagini e didascalie mappate nello stesso spazio, addestrate su 400 milioni di coppie prese dal web. Permette la classificazione senza esempi per descrizione testuale, ed è il ponte su cui poggia la generazione da testo.

Si insegna a una rete a rimuovere rumore da un'immagine progressivamente corrotta; poi si parte da rumore puro e si applica il procedimento all'inverso. Molto più stabile delle GAN, e sostituisce un salto impossibile con mille passi facili.

Diffondere in uno spazio compresso invece che sui pixel, riducendo il costo di un fattore quaranta. È ciò che ha portato la generazione di immagini da un centro di calcolo a una scheda grafica di consumo.

Si genera due volte, con e senza il condizionamento testuale, e si amplifica la differenza. La manopola che decide quanto fedelmente l'immagine segue il prompt: alzarla troppo produce immagini sature e povere.

Condizionare la generazione su una struttura precisa — contorni, posa, profondità — invece del solo testo. Ciò che ha reso i modelli di immagine usabili in un flusso di lavoro professionale.

Riformula la diffusione come il campo vettoriale che porta rumore su dati lungo traiettorie quasi rettilinee. Richiede molti meno passi di campionamento; è la base dei generatori più recenti.

La rete che rimuove il rumore non è più una U-Net convoluzionale ma un transformer che tratta il latente come una sequenza di toppe. Eredita le leggi di scala del linguaggio: più parametri, immagini migliori in modo prevedibile. Unito al flow matching, è l'architettura dei generatori di immagini e video attuali.

Un video è un blocco di rumore nello spazio latente, tagliato in «toppe» spazio-temporali e ripulito da un transformer di diffusione. Dal 2025 i modelli generano insieme immagine e audio sincronizzato, dialoghi compresi, per clip di qualche decina di secondi. Il costo è molto alto: un secondo di video vale decine di migliaia di token. Coerenza degli oggetti e fisica restano i punti deboli.

Un codificatore visivo produce token che entrano nella sequenza di un modello linguistico. Da lì l'immagine è testo come tutto il resto: il modello la descrive, ne estrae dati, ne legge grafici.

Addestrato dall'inizio su testo, immagini e audio insieme, invece di collegare componenti separate. Le rappresentazioni si formano condivise; è ciò che permette il dialogo vocale a bassa latenza.

Lo stesso modello che legge e scrive testo produce anche l'immagine, come token o guidando un decodificatore di diffusione. Capisce le istruzioni come le capisce in chat: scrive testo leggibile dentro l'immagine, modifica un dettaglio lasciando intatto il resto, mantiene un personaggio uguale da un'immagine all'altra.

Segmentazione di qualsiasi oggetto in qualsiasi immagine su indicazione di un punto o di un rettangolo, senza addestramento specifico. Il primo modello di fondazione per un compito di visione strutturato.

Ricostruire una scena tridimensionale da fotografie: il primo come campo continuo appreso da una rete, il secondo come milioni di macchie gaussiane esplicite — molto più rapido da visualizzare.

Un modello generativo che prevede come evolve un ambiente date le azioni. I generatori di video recenti mostrano una fisica implicita approssimata; se questo costituisca un modello del mondo utilizzabile è discusso. Dal 2025 esistono modelli interattivi: si muove un personaggio e il mondo viene generato in tempo reale, coerente per alcuni minuti. Servono soprattutto ad addestrare agenti e robot in ambienti simulati illimitati. Una scuola alternativa (JEPA) non genera pixel ma predice rappresentazioni astratte, più economiche da usare per pianificare.

Trascrizione multilingue addestrata su 680.000 ore di audio raccolto dal web, senza architetture specializzate. Ha reso la trascrizione un problema risolto e gratuito.

Permette di addestrare su sequenze non allineate — audio e trascrizione di lunghezze diverse — sommando su tutti gli allineamenti possibili. Ha eliminato la necessità di allineare a mano il parlato.

Comprimere l'audio in una sequenza di simboli discreti, così che un modello autoregressivo lo tratti come testo. È il meccanismo dietro la generazione di voce e musica.

Predizione della struttura tridimensionale delle proteine dalla sequenza di amminoacidi, con accuratezza sperimentale. Un problema aperto da cinquant'anni chiuso da un'architettura basata sull'attenzione: il risultato scientifico più netto del deep learning.

Propaga informazione lungo gli archi di un grafo aggregando i vicini. Adatta a molecole, reti sociali, sistemi di raccomandazione e previsioni meteorologiche su griglia.

Modelli visione-linguaggio-azione: un modello visione-linguaggio decide che cosa fare, e una testa d'azione, spesso a flow matching, produce movimenti continui a decine di comandi al secondo. Il paradosso di Moravec regge ancora: il collo di bottiglia non è più il ragionamento ma la scarsità di dati di manipolazione reale.

Processori con migliaia di unità di calcolo semplici, nati per la grafica e rivelatisi ideali per le moltiplicazioni di matrici. CUDA li ha resi programmabili: senza quel livello software il 2012 non sarebbe avvenuto.

Circuiti dedicati che eseguono una moltiplicazione di piccole matrici in un colpo, a bassa precisione. Sono la ragione per cui la potenza utile è cresciuta molto più della legge di Moore.

Memoria impilata accanto al processore, da qualche terabyte al secondo. La sua capacità e la sua banda, non la potenza di calcolo, sono il vincolo reale nell'inferenza.

Fino a 72 GPU, e più nelle generazioni successive, collegate tutte con tutte a circa un terabyte al secondo ciascuna, così da comportarsi come un unico acceleratore con decine di terabyte di memoria veloce. È ciò che permette di distribuire centinaia di esperti di un MoE senza passare dalla rete, che è dieci volte più lenta.

Le operazioni in virgola mobile richieste, e quante se ne fanno per ogni byte letto dalla memoria. Se l'intensità è bassa il processore aspetta i dati: è la condizione normale nella generazione di token.

La frazione della potenza nominale realmente sfruttata. Un addestramento ben fatto sta fra il 35% e il 55%; oltre non si va, e sotto il 25% qualcosa è configurato male.

Le operazioni con cui migliaia di schede mediano i gradienti. Vanno sovrapposte al calcolo, avviandole sui primi strati mentre gli ultimi lavorano ancora: eseguirle in blocco costa il 20-30% del throughput.

Unire più operazioni in un unico passaggio sulla memoria invece di scrivere e rileggere fra una e l'altra. Il principio che ha prodotto FlashAttention, e la fonte principale di guadagno nelle librerie di calcolo.

Prove standardizzate per confrontare modelli: conoscenza generale, generazione di codice, problemi matematici, risoluzione di segnalazioni software reali, ragionamento astratto. Ognuna satura in due o tre anni, le più recenti in pochi mesi. Per questo le prove attuali sono compiti lunghi in ambienti reali (correggere un repository, usare un terminale o un computer) o domande di livello da ricercatore, scritte per resistere il più a lungo possibile.

Il test è finito nei dati di addestramento, direttamente o attraverso discussioni che lo citano. Rende il punteggio privo di significato, ed è il motivo per cui ogni laboratorio serio mantiene prove interne mai pubblicate.

Si misura la durata, per un esperto umano, dei compiti che un modello porta a termine nella metà dei casi. Dal 2019 raddoppia circa ogni sette mesi, più in fretta negli ultimi due anni. È una misura che non satura, e traduce il progresso in una grandezza comprensibile: da compiti di secondi a compiti di ore.

Confronti a coppie votati dagli utenti e aggregati in un punteggio di tipo Elo (dal 2023, modello di Bradley-Terry). Difficile da contaminare, ma non da forzare: provare in privato molte varianti e pubblicare solo la migliore gonfia la classifica. Premia lo stile insieme alla sostanza: misura la preferenza, non la correttezza.

Usare un modello per valutare le uscite di un altro. Economico e sufficientemente concorde con i giudizi umani da essere lo standard; con bias noti verso risposte lunghe e verso il proprio stile.

La batteria di prove specifiche di un'applicazione, con casi attesi e criteri di superamento. Scriverle il primo giorno invece dell'ultimo è la differenza fra sviluppare per misura e sviluppare a impressione.

Disparità sistematiche apprese dai dati e riprodotte su scala. Nessuna definizione di equità soddisfa tutti i criteri desiderabili contemporaneamente: la scelta è normativa, non tecnica.

Attribuire una decisione alle variabili che l'hanno determinata, approssimando localmente il modello o ripartendo il contributo secondo la teoria dei giochi. Post-hoc e approssimate: spiegano il comportamento, non il calcolo.

Garanzia matematica che il risultato non riveli se un singolo individuo era nei dati, ottenuta aggiungendo rumore calibrato. Costa accuratezza; è l'unico approccio con una garanzia dimostrabile.

Addestrare su dispositivi distribuiti inviando solo aggiornamenti dei pesi, non i dati. Usato nelle tastiere predittive; i gradienti stessi possono però rivelare informazione sui dati.

Perturbazioni impercettibili che fanno sbagliare completamente un classificatore. La scoperta che le reti non «vedono» come noi, e un problema di robustezza mai risolto in modo generale.

Inserire nei dati di addestramento esempi costruiti per indurre un comportamento specifico a comando. Realizzabile su corpora raccolti dal web, e difficilissimo da rilevare a posteriori.

Far riprodurre a un modello frammenti memorizzati del suo corpus. Dimostra che «non c'è nessun database dentro» va precisato: la memorizzazione letterale di testi rari o ripetuti avviene.

Marcare i contenuti generati, alterando statisticamente la scelta dei token o firmando i file all'origine. Fragile alla riscrittura; le firme sui metadati sono più solide ma richiedono che tutta la filiera collabori.

Documentazione standardizzata di usi previsti, limiti, dati e risultati per sottogruppo. Diventata prassi e, in alcune giurisdizioni, requisito normativo.

Primo quadro normativo generale, articolato per livelli di rischio con obblighi crescenti e requisiti specifici per i modelli di uso generale. Regolamento (UE) 2024/1689, in vigore dal 1° agosto 2024; il calendario è stato rivisto dal Digital Omnibus (Regolamento (UE) 2026/1744, in vigore dal 27 luglio 2026). Divieti e alfabetizzazione da febbraio 2025; obblighi per i modelli di uso generale da agosto 2025, con poteri di controllo della Commissione da agosto 2026; trasparenza (art. 50) da agosto 2026, con proroga al 2 dicembre 2026 per la marcatura dei contenuti dei sistemi già sul mercato; divieto delle app di «denudamento» e dei generatori di materiale pedopornografico dal 2 dicembre 2026; sistemi ad alto rischio dell'allegato III dal 2 dicembre 2027, prodotti regolati dell'allegato I dal 2 agosto 2028.

Impegni volontari dei laboratori a legare il rilascio di modelli più capaci al superamento di verifiche di sicurezza definite in anticipo, con livelli di capacità e misure corrispondenti.

Nell'UE i fornitori di modelli di uso generale aderiscono a un Codice di buone pratiche su trasparenza, diritto d'autore e rischi sistemici, oppure devono dimostrare la conformità in altro modo. In California la legge SB 53 obbliga i grandi sviluppatori a pubblicare il proprio quadro di sicurezza e a segnalare gli incidenti gravi. Gli impegni volontari diventano obblighi di trasparenza.

Se i parametri sono scaricabili o accessibili solo tramite servizio. «Aperto» riguarda quasi sempre i soli pesi: dati e ricette restano riservati. Fanno eccezione i modelli completamente aperti, che pubblicano anche dati, codice e checkpoint intermedi. Sono pochi, ma sono gli unici su cui la ricerca può riprodurre un addestramento.

Se addestrare su opere protette costituisca utilizzo lecito è materia di contenzioso in più giurisdizioni, con esiti divergenti. Negli Stati Uniti i primi giudici hanno distinto fra addestramento, spesso ammesso, e provenienza delle copie: un caso sui libri piratati si è chiuso nel 2025 con un accordo da 1,5 miliardi di dollari. In Europa pesa di più la memorizzazione letterale. È la questione aperta con le maggiori conseguenze economiche sul settore.

Decine di migliaia di persone che etichettano dati, scrivono risposte esemplari e classificano contenuti, in larga parte tramite appalti in paesi a basso costo. Il lavoro umano su cui poggia l'allineamento di ogni modello.

Un sistema di capacità generale pari o superiore a quella umana. Termini senza definizione operativa condivisa: le previsioni sulla loro comparsa dicono più sulle definizioni adottate che sulle tecnologie.