Yapay zekada token nedir?
Tokenlar, bir yapay zeka modelinin okuduğu ve ürettiği metin parçalarıdır — ve her bağlam sınırı ile API faturasının yazıldığı birimdir.
Tek cümlelik tanım
Token, bir metin parçasıdır — çoğu zaman tam bir yaygın kelime, bazen kelime parçası veya işaret — ve bir dil modeli tarafından tek birim olarak işlenir. Modeller hiçbir zaman harfleri doğrudan görmez; tokenizer önce metninizi token kimliklerine çevirir, sonrasındaki her şey (bağlam sınırları, fiyatlandırma, kullanım sayaçları) bu tokenlarla sayılır.
Normal İngilizce için bir token yaklaşık 0,75 kelime, ya da boşluklar dahil kabaca 4 karakterdir. Tek başına bu oran, bildiğiniz birimler (kelime, sayfa) ile sağlayıcıların faturalandırdığı birim (token) arasındaki dönüşümü sağlar.
Uygulamada token nasıl görünür
Yaygın kısa kelimeler tek token'a sıkışır: the, and, is. Daha uzun veya nadir kelimeler parçalara bölünür. Sayılar, URL'ler, kod tanımlayıcıları ve emojiler çok sayıda token'a ayrılır.
Her model ailesi kendi tokenizer sözlüğünü eğittiği için aynı cümle GPT, Claude, Gemini, Grok ve Kimi'de biraz farklı token sayılarına mal olur — ve aynı sağlayıcı içinde bile tokenizer nesilleri değişir.
Bir yapay zeka isteğinde tokenlar nerede görünür
Girdi tokenları modele gönderilen her şeyi kapsar: sistem talimatları, mesajlar, konuşma geçmişi, getirilen belgeler ve araç tanımları. Çıktı tokenları model tarafından, genellikle girdinin 3–6 katı bir oranıyla üretilir. Önbelleğe alınmış girdi tokenları ise büyük indirimle sunulan yinelenen öneklerdir.
- Girdi: talimatlar, sorular, bağlam ve geçmiş.
- Çıktı: modelin cevabı — en pahalı kısım.
- Önbellek girdisi: yeniden kullanılan önekler, çoğu zaman girdi fiyatının %10'u.
Token sayımı neden önemli
Tokenlar, bir isteğin modelin bağlam penceresine sığınıp sığınmadığını ve ne kadara mal olduğunu belirler. Uygulama uzun bir sistem prompt'u, çok sayıda belge veya tüm bir konuşma eklerse kısa bir mesaj bile büyük bir isteğe dönüşebilir.
Büyük ölçekte küçük token kararları birikir: ayda 2.000 dolarlık bir iş yükünde prompt tokenlarının %20'sini kesmek 400 dolar tasarruf sağlar — üretmeyi bıraktığınız çıktı hariç.
Bir token kaç kelimedir?
Planlama oranları: 1 token ≈ 0,75 kelime ≈ 4 karakter; 1 kelime ≈ 1,3 token; 1.000 token ≈ 750 kelime, yani 1,5–2 sayfa. 128K token'lık bir pencereye kabaca bir roman; 1M token'a yaklaşık on roman sığar.
Tek sayı değil aralık kullanın: gündelik İngilizce token başına 0,85 kelimeye yakın, yoğun teknik metin 0,65'e yakın, kod ve Latin olmayan alfabeler ise çok daha yoğundur.
İşe yarar bir planlama akışı
Önce kararlı prompt'u sayın — tarayıcınızdaki gerçek tokenizer, OpenAI modelleri için kesin sayım, diğerleri için etiketli bir tahmin verir. Tipik konuşma ve getirilen bağlamı ekleyin, cevap için yer ayırın ve gerçekçi trafikle çarpın.
Son olarak kalibre edin: sağlayıcılar her yanıtta kesin kullanım sayılarını döndürür. Bir hafta boyunca kaydedin ve tahminlerinizle karşılaştırın.
Sık sorulan sorular
Yapay zekada token tam olarak nedir?
Modelin tek birim olarak okuduğu veya ürettiği bir metin parçası — genellikle yaygın bir kelime veya kelime parçası. Sağlayıcılar token başına, girdi ve çıktı için ayrı ücret alır.
Token basit terimlerle nedir?
Tokenları metnin LEGO parçaları gibi düşünün: sık kelimeler tek parçadır; nadir kelimeler, sayılar ve kod birleşik birçok küçük parçadır.
Bir token kaç kelimedir?
Token başına yaklaşık 0,75 İngilizce kelime; bir kelime kabaca 1,3 token. 1.000 token yaklaşık 750 kelimedir.
Girdi tokenı ile çıktı tokenı arasındaki fark nedir?
Girdi tokenları istekte gönderdiğiniz her şeydir; çıktı tokenları modelin ürettiğidir ve token başına daha yüksek bir oranıyla faturalandırılır.
Tüm yapay zeka modelleri aynı tokenları mı kullanır?
Hayır. Her model ailesinin kendi tokenizer sözlüğü vardır; aynı metin GPT, Claude, Gemini, Grok ve Kimi'de farklı sayımlar üretir.