Dal telefono al data center

Un modello da mezzo miliardo, addestrato bene su un compito preciso, batte un modello di frontiera generico su quel compito — e costa mille volte meno per chiamata. La domanda giusta non è «qual è il più capace» ma «qual è il più piccolo che risolve questo».

Un denso da 2000 miliardi richiederebbe 4000 GFLOP per token: impraticabile. Con gli esperti si accende il 2-5% dei parametri, 30-100 G, quindi il calcolo e la velocità sono quelli di un modello denso di quella taglia. La memoria invece deve contenere tutti e 2000. Si compra qualità con la capacità, non con la velocità.

Condividere le teste di chiavi e valori fra più teste di query, quantizzare la cache a 8 bit, allocarla a pagine invece che in blocco per non sprecare spazio, e riusare il prefisso comune fra utenti diversi. Ognuna vale un fattore due o tre. I modelli più recenti vanno oltre: alcuni comprimono chiavi e valori in un vettore latente piccolo, un altro fattore cinque o dieci; altri alternano strati che guardano tutto il contesto a strati con una finestra corta, che tengono pochi token. La cache che non serve subito si sposta in RAM o su disco e si ricarica quando l'utente torna.

Regola pratica: memoria ≈ pesi × 1,2 + cache, dove la cache vale circa 0,1-0,3 GB per migliaio di token di contesto per utente su un modello medio (0,32 GB sul 70 G dell'esempio). Basta per capire in trenta secondi se un'idea sta in piedi.

I pesi si dividono in gruppi di 64 o 128; per ogni gruppo si tiene un fattore di scala in alta precisione e i pesi si rappresentano con 16 livelli. Alcuni canali particolarmente sensibili si lasciano a precisione piena: costa poco e recupera gran parte della perdita.

La cache KV va quantizzata a parte, e sui contesti lunghi è lei il problema. E la quantizzazione non rende un modello più capace: rende accessibile un modello che c'era già. Il tetto resta quello del modello a piena precisione.

Con una scheda a circa 2 €/ora che produce 16.000 token/s: 2 ÷ (16.000 × 3600) ≈ 0,035 € per milione di token in uscita sul modello da 8 G. Il prezzo di listino delle API per quella taglia è qualche decimo di euro: il resto è margine, ridondanza, e il fatto che il carico non è mai pieno.

Throughput e latenza si comprano a vicenda. Un servizio interattivo tiene batch piccoli e paga di più per token; un lavoro in differita accetta batch enormi. È esattamente la ragione tecnica per cui le API in modalità asincrona costano circa metà.

La frazione della potenza nominale effettivamente usata. Fra il 30 e il 50% nei cluster ben fatti; il resto se ne va in attese, comunicazione e operazioni che non sono moltiplicazioni di matrici. Chi stima i tempi con i numeri di targa sbaglia di un fattore due o tre.

Poiché gli stati sono il grosso della memoria, si spezzano fra tutte le schede invece di replicarli: ognuna ne custodisce una fetta e la condivide al momento dell'aggiornamento. È la tecnica che rende possibile addestrare modelli molto più grandi della singola scheda.

Con centinaia di migliaia di componenti, qualcosa si rompe ogni poche ore: memoria difettosa, cavi, alimentatori. L'addestramento è sincrono, quindi un guasto ferma tutti. Si salva lo stato di continuo e si riparte dall'ultimo salvataggio — la percentuale di tempo effettivamente produttivo è una delle metriche che i team guardano di più.

Oltre i 50 kW per armadio l'aria non basta più: si passa al liquido, con tubazioni fino al singolo chip. È il motivo per cui i data center per l'IA non si ricavano in quelli esistenti ma si costruiscono nuovi, e per cui i tempi sono dettati dall'edilizia più che dalla disponibilità di silicio. Le generazioni nuove usano acqua a 45 °C, abbastanza calda da smaltire il calore senza refrigeratori.

Salendo di taglia si aggiungono schede invece di aspettare: i grandi addestramenti durano tutti fra uno e tre mesi, per taglie che differiscono di cento volte. Il limite non è la pazienza ma il ciclo del prodotto — un modello che impiegasse un anno nascerebbe già vecchio.

Il costo di addestramento è fisso e si ammortizza su tutte le richieste. Su un modello molto usato, l'inferenza supera il training in pochi mesi e da lì in poi è la voce dominante: sul ciclo di vita, il rapporto tipico è circa 90 a 10 a favore dell'inferenza.

L'adattamento pesa poche decine di MB invece di decine di GB. Si possono tenere caricati sullo stesso modello base decine di adattamenti diversi e scambiarli per richiesta: un modello per cliente, senza moltiplicare la memoria.

Insegna stile, formato, gergo, comportamento. Non è il modo di insegnare fatti — quelli invecchiano, non si citano, e la stessa spesa in un buon sistema di recupero rende molto di più.