Ana sayfa → Yardım

Stream'li bir yanıtta token kullanımı eksik

Gördüğünüz hata

• usage is null on every chunk of a streamed response
• Token counts appear for non-streamed calls and never for streamed ones
• Your own cost tracking reads zero while the provider bills normally

Neden oluyor

Kullanım, üretim durana kadar bilinemez, bu yüzden erken parçalara konacak bir şey yoktur. API bir yer tutucu göndermek yerine alanı null bırakır ve sayılar oluştuğunda son bir parça ekler.

O son parçanın choices dizisi boştur. finish_reason'ı görür görmez okumayı bırakan ya da delta içermeyen parçaları atlayan kod, tam da ihtiyaç duyduğu parçayı atar.

Her OpenAI uyumlu uygulama bu seçeneği desteklemez. Desteklenmediği yerde ya yerel olarak tahmin edersiniz ya da kesin rakamları sağlayıcının kendi kaydından okursunuz.

Sebebin bu olduğunu doğrulayın

Kullanımı isteyin ve stream'in son satırına bakın:

curl -N 'YOUR_BASE_URL/chat/completions' \
  -H 'Authorization: Bearer YOUR_KEY' -H 'Content-Type: application/json' \
  -d '{"model":"MODEL","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"hi"}]}' | tail -3

[DONE] öncesindeki parça, boş bir choices dizisiyle birlikte dolu bir usage nesnesi taşımalıdır.

Nasıl düzeltilir

1. Seçeneği açıkça isteyininclude_usage değeri true olan stream_options ekleyin. Onsuz, stream'i nasıl okursanız okuyun alan null kalır.
2. [DONE] gelene kadar okumaya devam edinfinish_reason'da döngüden çıkmayın. Kullanım parçası ondan sonra gelir.
3. Yerel sayımları tahmin olarak görünİstemci tarafı tokenizer'lar, özellikle önbellekli girdi söz konusu olduğunda, sağlayıcının ücretlendirdiğinden sapar. Kendi sayacınızla değil, sağlayıcının kaydıyla mutabakat yapın.

İlgili konular

Son kontrol: 2026-10-01. Canlı bir OpenAI uyumlu ağ geçidinde teşhis edilen sorunlardan yazılmıştır, başka sitelerden derlenmemiştir.