Come gli sviluppatori di giochi possono stimare il costo dei dialoghi IA lunghi

1. Definisci l'unità che stai stimando

Scegli prima di tutto un'unità chiara: ad esempio, il costo di inferenza del modello per sessione di dialogo, per giocatore attivo al giorno o per 1.000 sessioni. Per una stima basata sulla sessione, definisci quando la sessione inizia e termina. Una regola pratica potrebbe essere "dalla prima richiesta di dialogo fino a 30 minuti trascorsi senza una richiesta", ma questo timeout è una scelta di misurazione, non uno standard universale. Registralo in modo che un altro sviluppatore possa riprodurre la stima.

Conta le richieste al modello, non solo i messaggi dei giocatori. Una singola interazione può innescare diverse chiamate (ad esempio, una risposta seguita da una chiamata separata per la gestione di uno strumento) e i tentativi ripetuti possono aggiungerne altre. Se il gioco utilizza voce, input di immagini, recupero di informazioni (retrieval) o strumenti, mantieni queste voci in campi di costo separati oltre a registrare i rispettivi token del modello associati. I prezzi dei provider possono includere tariffe per gli strumenti o tariffe specifiche per modalità oltre ai normali costi dei token di testo; OpenAI, ad esempio, elenca costi separati per gli strumenti e specifica che i token del modello utilizzati per gli strumenti integrati vengono fatturati alle tariffe del modello scelto (OpenAI API pricing).

2. Misura i token effettivi per richiesta

Per ogni chiamata, registra il provider, l'identificatore del modello, il timestamp, l'identificatore della sessione, lo scopo della richiesta, il conteggio dei token di input, il conteggio dei token di output e qualsiasi dettaglio disponibile sui token in cache o sui token di ragionamento (reasoning tokens). Rileva tentativi, errori, chiamate a strumenti e se la chiamata è stata completata. Evita di memorizzare i contenuti del dialogo a meno che non sia necessario per uno scopo di prodotto separatamente giustificato; i totali dei token e i metadati operativi sono solitamente sufficienti per una stima dei costi.

Usa l'utilizzo comunicato dal provider per le chiamate completate come metrica principale. Il conteggio preliminare è utile per testare la costruzione del prompt, ma potrebbe non corrispondere ai dati di fatturazione finali. OpenAI documenta che l'output riportato include token oltre al testo visibile, come alcuni token di formattazione e struttura degli strumenti, e consiglia di non stimare l'output basandosi solo su ciò che vede il giocatore (OpenAI token-counting guide). Allo stesso modo, la documentazione di Gemini di Google distingue nei metadati di utilizzo i conteggi di token per prompt, contenuti memorizzati nella cache, output candidato e pensiero (Gemini token guide).

Costruisci un campione rappresentativo che includa nuovi giocatori, giocatori di ritorno, conversazioni brevi e lunghe, nonché la configurazione di prompt e strumenti utilizzata in produzione. Mantieni le sessioni come unità di campionamento: un dialogo di 40 turni dovrebbe rimanere una singola osservazione con il suo costo accumulato, anziché essere trattato come 40 sessioni di gioco indipendenti. Durante un prototipo, una serie definita di conversazioni copione aiuta a confrontare le modifiche ai prompt; dopo il lancio, dovrebbero essere le sessioni osservate a guidare le previsioni.

3. Tieni conto della crescita della cronologia e del riutilizzo del contesto

In molti sistemi di dialogo, ogni richiesta include il turno corrente dell'utente più una parte o l'intera cronologia della conversazione. Se la cronologia viene reinviata ripetutamente, i token di input possono aumentare a ogni turno, anche quando i singoli messaggi del giocatore sono brevi. Misura l'effettivo payload della richiesta inviato al modello; non moltiplicare la dimensione del prompt di un turno per il numero di turni a meno che l'implementazione non invii realmente la stessa quantità ogni volta.

Il caching modifica la tariffa applicata all'input ripetuto idoneo; non significa che l'intero dialogo diventi gratuito o che una sessione persistente garantisca un riscontro nella cache (cache hit). OpenAI descrive il prompt caching come il riutilizzo di un prefisso di prompt invariato e osserva che i nuovi input devono comunque essere elaborati. I suoi strumenti di diagnostica della cache possono aiutare a misurare letture della cache e mancati riscontri (OpenAI prompt-caching guide). Anthropic distingue analogamente le scritture nella cache dalle letture della cache e pubblica tariffe e durate della cache distinte (Anthropic pricing and prompt caching).

Nella tua telemetria, separa i token di input non memorizzati nella cache, i token di input in cache e i token di scrittura nella cache quando il provider li riporta. Registra i riscontri nella cache divisi per le richieste idonee e la quota di token di input effettivamente fatturata come in cache. Questi valori rispondono a domande diverse: un tasso di riscontro elevato tra le richieste può comunque implicare una quota modesta di token totali in cache se il prefisso ripetuto è piccolo. L'idoneità alla cache, le dimensioni minime, la scadenza, la stabilità del prefisso del prompt e il supporto del modello sono specifici del provider; calcola solo i risparmi confermati dai dati di utilizzo.

4. Applica le tariffe con un calcolo trasparente

Per un modello con prezzo calcolato per milione di token, calcola ogni sessione come:

costo della sessione = (input non in cache × tariffa input + input in cache × tariffa input in cache + scritture in cache × tariffa scrittura in cache + output × tariffa output) ÷ 1.000.000 + altri costi applicabili

Usa le tariffe per il modello, l'endpoint, la modalità, l'area geografica e il livello di servizio esatti impiegati nella configurazione distribuita. Verificale in modo indipendente sulla pagina dei prezzi del provider immediatamente prima di preparare un budget; le tariffe e i cataloghi dei modelli cambiano. Includi i costi di archiviazione nei casi in cui una cache fatturi in base ai token memorizzati e alla durata. Ad esempio, i prezzi pubblicati da Gemini elencano le categorie di token per l'uso a pagamento e i prezzi orari di archiviazione per determinate configurazioni di caching del contesto, mentre la documentazione di fatturazione identifica input, output, token in cache e durata dell'archiviazione nella cache come fattori fatturabili (Gemini pricing; Gemini billing).

Un esempio di calcolo rende evidenti i presupposti. Supponiamo, a mero scopo illustrativo, che le chiamate misurate assegnate a una sessione contengano 18.000 token di input non in cache, 12.000 token di input in cache e 6.000 token di output. Applicando le tariffe a pagamento di Gemini 3.8 Flash pubblicate per l'utilizzo fino al 31 dicembre 2026 ($0,75 per milione di token di input, $0,075 per milione di token in cache e $3,75 per milione di token di output) si ottiene $0,0135 + $0,0009 + $0,0225, ovvero $0,0369 prima di eventuali costi applicabili per l'archiviazione nella cache o altri oneri. Questo esempio presuppone che i token in cache elencati siano fatturati alla tariffa per la cache e non include alcun costo di creazione iniziale della cache al di fuori dei totali misurati. Le tariffe hanno una durata limitata nel tempo e devono essere riverificate quando si esegue una stima per un periodo successivo (Gemini pricing).

5. Utilizza la distribuzione delle durate delle sessioni

Non limitarti a moltiplicare una sessione "tipica" scelta arbitrariamente per il numero totale di giocatori definendola una previsione. Raggruppa le sessioni osservate per numero di turni o per un'altra fascia di lunghezza significativa, calcola il costo medio all'interno di ciascuna fascia, quindi pondera ogni fascia in base alla sua percentuale sul totale delle sessioni. Mantieni la mediana e i percentili superiori insieme alla media: la media stima l'utilizzo totale se moltiplicata per il volume delle sessioni, mentre i percentili aiutano a descrivere quanto può costare una sessione più breve o insolitamente lunga.

Ad esempio, se un campione presenta molte sessioni brevi e un piccolo numero di sessioni molto lunghe, riporta sia la quota di sessioni in ciascuna fascia sia il costo di ciascuna fascia. Una previsione per 10.000 sessioni può quindi essere calcolata come la somma di (sessioni nella fascia × costo medio della fascia), anziché presumere che ogni sessione assomigli alla mediana generale. Se l'utilizzo differisce sensibilmente in base alla modalità di gioco, alla lingua, alla piattaforma o allo stato del giocatore (nuovo o di ritorno), stratifica questi gruppi prima di aggregarli. La scelta di segmentare è una decisione di analisi; spiega perché ciascun segmento potrebbe modificare l'utilizzo dei token o il comportamento delle richieste.

6. Documenta l'incertezza e aggiorna la stima

Mantieni un registro sintetico delle ipotesi con le date del campione, la regola sui limiti della sessione, i modelli e gli endpoint, la versione del prompt, il conteggio delle sessioni osservate, la definizione di riscontro nella cache (cache hit), la data di consultazione della pagina dei prezzi, le tariffe incluse e le componenti escluse. Mostra uno scenario basso, centrale e alto modificando gli input osservabili (ad esempio, la composizione della durata delle sessioni, la dimensione dell'output o la percentuale misurata di riscontri nella cache) anziché applicare un margine di sicurezza forfettario e non motivato. Tratta qualsiasi comportamento previsto oltre le sessioni osservate come uno scenario esplicito, non come un dato di fatto misurato.

La stima è completa solo quanto lo sono la relativa strumentazione di monitoraggio e le categorie fatturabili. Può tralasciare le chiamate instradate all'esterno del logger, i tentativi di ripetizione, le categorie di token memorizzati nella cache che l'API non espone, i token di ragionamento lato modello, la durata dell'archiviazione, l'elaborazione di elementi multimediali o le tariffe del provider non basate sui token. Riconcilia l'utilizzo campionato con i report di fatturazione del provider quando disponibili, analizza gli scostamenti rilevanti e riesegui il calcolo dopo aver modificato modelli, prompt, comportamento del caching o funzionalità visibili al giocatore. Il risultato è una stima documentata dei costi operativi per il carico di lavoro osservato, non una garanzia che le sessioni o le fatture future vi corrisponderanno esattamente.

Continua a esplorare il tema