Il suo assistente IA mastica lo stesso prompt ogni volta
Lunedì mattina: il suo team chiede per l’ennesima volta allo stesso assistente IA informazioni su offerte, policy o prodotti. Ogni volta allega un lungo blocco di contesto. La fattura sale e, con prompt molto estesi, può allungarsi anche l’attesa per la prima risposta. Il prompt caching promette di rendere meno costoso il contesto riutilizzato. Ma quando fa davvero risparmiare denaro e tempo? E quando continua a pagare per un prompt lungo? Un esempio di calcolo mostra che cosa tenere d’occhio.
Il costo è nel contesto ripetuto
A ogni domanda, un assistente del servizio clienti riceve le stesse regole sui resi, le informazioni sui prodotti e le istruzioni per la conversazione. Cambia solo la domanda del cliente. Per il team sembra un’unica conversazione. Per il modello IA, invece, quel lungo contesto torna a far parte dell’input a ogni chiamata, a meno che il fornitore non possa riutilizzarlo.
Il prompt caching interviene proprio su questa parte ricorrente. In parole semplici, una sezione del prompt già elaborata viene mantenuta disponibile per le richieste successive. Si aggiunge la nuova domanda, mentre la risposta viene generata separatamente. Modalità di archiviazione della cache, durata e condizioni per ottenere un cache hit variano in base al modello e all’API.
Il vantaggio economico, quindi, non dipende solo dalla lunghezza dei documenti. Conta quanto spesso si ripete davvero lo stesso contesto e a quale prezzo il fornitore fattura gli input memorizzati in cache. Una cache usata di rado può essere interessante dal punto di vista tecnico, ma incidere poco sulla fattura.
Che cosa significano cinque centesimi nell’esempio
Epoch fa i conti su un esempio ipotetico con l’API Opus 5: 100.000 token di contesto in cache, 1.000 nuovi token di input e 1.000 token di output. I token sono le unità di testo usate da molti fornitori di IA per calcolare i consumi. In questo esempio, l’input memorizzato in cache costa 0,05 dollari.
A questi si aggiungono 0,00625 dollari per la scrittura della cache, che Epoch calcola ipotizzando una durata di cinque minuti. I 1.000 token di output costano 0,025 dollari. In totale, la chiamata ipotetica costa 0,08125 dollari. È un esempio concreto di calcolo, non un listino generale né una garanzia sui prezzi attuali.
L’ordine di grandezza indica comunque dove vale la pena guardare: il contesto riutilizzato può costare meno di un input normale della stessa lunghezza. Ma la cache non rende gratuita l’intera richiesta. Nuovi input, risposte generate ed eventuale scrittura della cache restano in fattura. Che cosa succede se il contesto è ancora più lungo?
Con i prompt lunghi, resta il problema dei tempi
Chi ha aspettato la prima risposta di un assistente conosce la differenza tra una replica immediata e una conversazione che parte solo dopo qualche secondo. Il tempo che precede il primo token viene spesso chiamato TTFT. Una cache può cambiare il costo del contesto riutilizzato, ma le misurazioni disponibili non permettono di indicare un risparmio di tempo fisso per ogni richiesta memorizzata.
Epoch confronta la TTFT di quattro modelli con contesti di lunghezza diversa. Nei test, GPT-5.6 Terra e Sol hanno mostrato un aumento più marcato della TTFT all’allungarsi dei prompt. Claude Sonnet 5 si è mantenuto più vicino a una crescita lineare. Il risultato riguarda i modelli esaminati e non costituisce una classifica generale di tutti i servizi IA.
Il motivo tecnico della preoccupazione è comprensibile: con la Full Attention, ogni token tiene conto dell’intero contesto. Secondo Epoch, il carico di calcolo cresce in modo quadratico rispetto alla lunghezza del contesto. Per le aziende, questo significa che anche se un fornitore applica un prezzo più basso al contesto in cache, è opportuno misurare anche il tempo necessario per ricevere la prima risposta.
La cache ha bisogno di ripetizioni
Se ogni reparto invia regole, documenti e istruzioni diversi, forse le parti che si ripetono sono meno di quanto sembri. In quel caso, il contesto lungo può restare costoso o rallentare le risposte, anche se la parola «caching» fa pensare a un risparmio semplice e immediato.
Conviene partire dai flussi di lavoro reali. Quali istruzioni compaiono in ogni richiesta? Quali informazioni su prodotti o processi sono uguali per molte richieste? E quali contenuti cambiano ogni giorno? Questa distinzione aiuta a separare il contesto comune e stabile dalla domanda specifica del cliente. Per sapere se piccole modifiche impediscono un cache hit, verifichi le regole del suo fornitore.
Anche la durata della cache conta. Nell’esempio di Epoch, la scrittura di una cache valida cinque minuti entra nel calcolo. Se tra una richiesta e l’altra passa più tempo, il riutilizzo può essere diverso rispetto a un assistente usato di continuo. Un singolo test riuscito, quindi, dice poco su un mese di utilizzo normale.
Misuri prima di modificare il prompt
Per una piccola impresa può bastare un test circoscritto: scelga un assistente le cui richieste contengono regolarmente le stesse informazioni. Per un periodo rappresentativo, registri il numero di chiamate, la lunghezza del contesto ripetuto, il costo per richiesta e il tempo necessario per la prima risposta. Poi confronti richieste simili con e senza cache, se la piattaforma lo consente.
In una media impresa, i risultati possono variare da un caso d’uso all’altro e da un modello all’altro. Un assistente interno che consulta policy del personale stabili si comporta diversamente da un assistente commerciale che riceve offerte sempre diverse. In un’azienda più grande, conviene anche suddividere i dati per agente, modello e richiesta. La dashboard Activity di OpenRouter e l’Analytics API riportano, tra gli altri dati, la percentuale di cache hit e il costo medio per milione di token.
Controlli le regole di fatturazione del fornitore scelto. Per le richieste OpenAI con oltre 272.000 token di input, Epoch descrive una tariffa particolare: il prezzo standard dell’input e quello dell’input in cache raddoppiano, mentre il prezzo standard dell’output sale a una volta e mezzo. Soglie e tariffe possono cambiare. Prima del test, le verifichi nella documentazione aggiornata del fornitore.
- Parta da un caso d’uso e da un prompt ben delimitato.
- Tenga traccia insieme dei cache hit, dei costi e della TTFT.
- Confronti le richieste ricorrenti su più giornate di utilizzo tipiche.
- Stabilisca chi controlla periodicamente variazioni dei prezzi e regole della cache.
Che cosa cambia per la sua azienda
Il primo passo non deve essere una revisione dell’intera infrastruttura IA. Prenda le ultime richieste ricorrenti di un assistente e segni le parti di testo che restano identiche ogni volta. Se includono regole dettagliate o informazioni sui prodotti, possono essere un buon punto di partenza per un test controllato della cache. Se invece cambia quasi tutto da una richiesta all’altra, il risparmio maggiore potrebbe arrivare da un’altra parte.
Decida prima che cosa considera un buon risultato. Una fattura più bassa serve a poco se le risposte arrivano tardi o mancano informazioni importanti. Al contrario, un risparmio moderato sul prezzo dei token può essere utile se l’assistente gestisce molte attività ricorrenti. Per decidere, consideri insieme costi, tempi di risposta e affidabilità.
Immagini il prossimo lunedì: sa quali richieste riutilizzano il contesto comune, quali continuano a partire da prompt lunghi e quanto costa ciascun gruppo. A quel punto può decidere se estendere la cache, accorciare il prompt o organizzare diversamente la richiesta. Sono queste osservazioni a trasformare una funzione tecnica in una decisione aziendale.
Domande frequenti
Che cos’è il prompt caching?
Il prompt caching è una funzione che permette a un fornitore di IA di riutilizzare parti ricorrenti di un input nelle richieste successive. In questo modo, il contesto in cache può essere fatturato diversamente da quello inserito da zero. Modalità di funzionamento, durata della cache e prezzi dipendono dal modello e dal fornitore. Le nuove domande e le risposte generate possono continuare a essere conteggiate.
Come può il prompt caching ridurre i costi dell’IA?
Può abbassare il costo delle parti di testo lunghe che ricorrono in molte richieste, per esempio istruzioni comuni o informazioni sui prodotti. In un esempio ipotetico di Epoch con Opus 5, 100.000 token di contesto in cache costano 0,05 dollari. Non è una tariffa generale. La convenienza dipende anche dalla frequenza delle ripetizioni, dai costi di scrittura della cache e dai prezzi aggiornati del fornitore.
Il prompt caching riduce anche i tempi di risposta?
Dipende dal modello, dalla lunghezza del prompt e dal fornitore, ma non è possibile indicare un risparmio di tempo valido per tutti i casi. Le misurazioni di Epoch mostrano che, con prompt più lunghi, il tempo prima del primo token aumenta in modo diverso a seconda del modello esaminato. Oltre ai costi, misuri quindi il tempo necessario per la prima risposta nelle richieste tipiche.
Quando conviene il prompt caching in azienda?
Vale la pena provarlo quando un assistente IA riceve spesso le stesse informazioni dettagliate e cambia soprattutto la domanda specifica. Alcuni esempi sono policy ricorrenti o informazioni sui prodotti. Se gli input cambiano molto, il contesto riutilizzabile può essere limitato. Nel flusso di lavoro reale, confronti cache hit, costo per richiesta e tempi di risposta.
Come faccio a capire se la cache della mia IA funziona?
Per un caso d’uso tipico, registri il numero di richieste, la percentuale di cache hit, la quantità di token, il costo per richiesta e il tempo prima del primo token. Se la piattaforma lo consente, confronti richieste simili con e senza cache. OpenRouter indica la percentuale di cache hit e il costo medio per milione di token tra i dati disponibili nella dashboard Activity e nell’Analytics API.
Interessato?
Vuole sapere cosa significa per la Sua azienda?
Fonti
- European AI: a playbook to own it | Mistral AI · Mistral AI, 2026-04-07
- Long-context latency scales quadratically for GPT-5.6 but nearly linearly for Claude 5 · epoch.ai, 2026-09-08
- Understand your AI usage: every agent, model, and request · openrouter.ai, 2026-08-17
Questo articolo è stato ricercato e scritto con il supporto dell’IA e verificato automaticamente sulle fonti citate prima della pubblicazione. Di più sulla nostra trasparenza IA
Klarframe AI Readiness Check
Quanto è pronta la Sua azienda per l’IA?
Circa dieci minuti, risultato immediato con il Suo livello, un piano di 90 giorni, soluzioni adatte e note sull’AI Act.
