Apa itu token dalam AI?
Token adalah potongan teks yang dibaca dan dihasilkan model AI — dan satuan tempat semua batas konteks dan tagihan API ditulis.
Definisi dalam satu kalimat
Token adalah potongan teks — sering kali satu kata umum utuh, kadang potongan kata atau simbol — yang diproses model bahasa sebagai satu kesatuan. Model tidak pernah melihat huruf secara langsung; tokenizer lebih dulu mengubah teks Anda menjadi ID token, dan semua setelahnya (batas konteks, harga, meteran pemakaian) dihitung dalam token tersebut.
Untuk bahasa Inggris biasa, satu token setara sekitar 0,75 kata, atau kira-kira 4 karakter termasuk spasi. Satu rasio itu mengubah satuan yang Anda kenal (kata, halaman) ke satuan yang ditagih penyedia (token).
Seperti apa token dalam praktik
Kata pendek yang umum terkompresi menjadi satu token: the, and, is. Kata yang lebih panjang atau jarang terpecah menjadi potongan. Angka, URL, identifier kode, dan emoji pecah menjadi banyak token.
Setiap keluarga model melatih kosakata tokenizer-nya sendiri, jadi kalimat yang sama berharga dengan jumlah token yang sedikit berbeda di GPT, Claude, Gemini, Grok, dan Kimi — dan generasi tokenizer berubah di dalam satu penyedia.
Di mana token muncul dalam permintaan AI
Token input mencakup semua yang dikirim ke model: instruksi sistem, pesan, riwayat percakapan, dokumen yang diambil, dan definisi alat. Token output dihasilkan model dengan tarif lebih tinggi — biasanya 3–6 kali input. Token input ter-cache adalah prefiks berulang yang dilayani dengan diskon besar.
- Input: instruksi, pertanyaan, konteks, dan riwayat.
- Output: jawaban model — tingkatan termahal.
- Input ter-cache: prefiks yang dipakai ulang, sering 10% dari harga input.
Kenapa hitungan token penting
Token menentukan apakah permintaan muat di jendela konteks model dan berapa biayanya. Pesan singkat bisa menjadi permintaan besar jika aplikasi melampirkan system prompt panjang, banyak dokumen, atau seluruh percakapan.
Dalam skala besar, keputusan token kecil menumpuk: memangkas 20% token prompt pada beban kerja $2.000/bulan menghemat $400 — belum menghitung output yang tidak jadi dihasilkan.
Satu token itu berapa kata?
Rasio perencanaan: 1 token ≈ 0,75 kata ≈ 4 karakter; 1 kata ≈ 1,3 token; 1.000 token ≈ 750 kata, atau 1,5–2 halaman. Jendela 128K token memuat kira-kira satu novel; 1M token sekitar sepuluh.
Gunakan rentang, bukan satu angka: Inggris santai sekitar 0,85 kata per token, prosa teknis padat mendekati 0,65, dan kode atau aksara non-Latin jauh lebih padat.
Alur kerja perencanaan yang berguna
Hitung dulu prompt yang stabil — tokenizer sungguhan di browser Anda memberi hitungan pasti untuk model OpenAI dan perkiraan berlabel untuk lainnya. Tambahkan konteks percakapan dan retrieval yang tipikal, sisakan ruang untuk jawaban, dan kalikan dengan trafik realistis.
Terakhir, kalibrasi: penyedia mengembalikan hitungan pemakaian pasti dengan setiap respons. Catat selama seminggu dan bandingkan dengan estimasi Anda.
Pertanyaan umum
Apa persisnya token dalam AI?
Sepotong teks — biasanya kata umum atau potongan kata — yang dibaca atau dihasilkan model sebagai satu unit. Penyedia menagih per token, terpisah untuk input dan output.
Apa itu token dalam istilah sederhana?
Anggap token seperti balok LEGO teks: kata yang sering adalah satu balok; kata langka, angka, dan kode adalah beberapa balok kecil yang disatukan.
Satu token itu berapa kata?
Sekitar 0,75 kata bahasa Inggris per token; satu kata kira-kira 1,3 token. 1.000 token sekitar 750 kata.
Apa bedanya token input dan token output?
Token input adalah semua yang Anda kirim dalam permintaan; token output adalah yang dihasilkan model, ditagih dengan tarif per token yang lebih tinggi.
Apakah semua model AI memakai token yang sama?
Tidak. Setiap keluarga model punya kosakata tokenizer sendiri, jadi teks yang sama menghasilkan hitungan berbeda di GPT, Claude, Gemini, Grok, dan Kimi.