Home → Assistenza

context_length_exceeded: cosa conta davvero per il limite

Cosa vedi

• This model's maximum context length is N tokens, however you requested M tokens
• context_length_exceeded
• invalid_request_error: prompt is too long
• The call worked yesterday and fails today with the same code

Perché succede

Le API di chat sono senza stato. Ogni turno reinvia tutta la cronologia, quindi una conversazione che dura da un'ora non invia un messaggio, li invia tutti. Ecco perché il codice che la mattina funzionava inizia a fallire il pomeriggio senza che sia cambiato nulla.

max_tokens è una prenotazione, non un tetto a ciò che ricevi. Chiedere 8.000 token di output ne toglie 8.000 dal budget prima ancora che il prompt venga misurato.

Prompt di sistema, definizioni degli strumenti ed esempi few-shot di solito non si notano nel diff, ma sono ben presenti nel conteggio. Uno schema di strumenti grande può pesare migliaia di token in ogni singola chiamata.

Come risolvere

1. Abbassa max_tokens a ciò che ti serve davveroÈ la soluzione più rapida e quella che tutti saltano. Se le risposte sono di due paragrafi, riservare 8.000 token non porta nulla e ti toglie spazio.
2. Accorcia la cronologia, non il messaggio attualeTieni il prompt di sistema, gli ultimi turni e un breve riassunto di ciò che è venuto prima. Eliminare i turni più vecchi recupera molto più spazio che accorciare ciò che chiedi adesso.
3. Conta le definizioni degli strumentiSerializza lo schema degli strumenti e misuralo. Togliere gli strumenti inutilizzati spesso libera più spazio di qualsiasi intervento sulla conversazione.

Articoli correlati

Ultima verifica: 2026-10-01. Scritto a partire da problemi diagnosticati su un gateway compatibile con OpenAI in produzione, non raccolto da altri siti.