๐คฏ Curhatan Klasik Pengguna "API Bansos" (Free Tier):
"Ndan, katanya API gratis dari Gemini / Groq / OpenRouter dikasih limit puluhan ribu sampai jutaan token. Tapi kok baru saya pakai tanya-jawab 4 kali lewat AI Agent, tiba-tiba langsung macet kena limit habis kuota?!"
Kebingungan ini terjadi karena banyak Sobat MasAnam yang belum tahu apa itu 1 Token sebenarnya: Apakah 1 Token = 1 kali klik kirim (Request)? Atau 1 Kata? Atau 1 Huruf? Mari kita bongkar habis cara mesin AI menghitung argo kuota Anda!
1. Meluruskan Salah Paham: 1 Token = Suku Kata (Bukan 1 Request!)
Mesin LLM tidak membaca kalimat per huruf maupun per kata utuh, melainkan memecahnya menjadi potongan suku kata yang disebut Token. Perhatikan perbedaan jelas antara Request, Kata, Huruf, dan Token berikut ini:
Adalah 1 kali pengiriman paket data ke server AI. Di dalam 1 Request bisa berisi ratusan hingga ribuan Token sekaligus!
Rata-rata 1 Token = 3 sampai 4 huruf (atau sekitar 3/4 kata bahasa Inggris). Spasi, tanda titik, dan emoji juga dihitung sebagai token!
Karena AI dilatih dominan bahasa Inggris, 1 kata berimbuhan bahasa Indonesia (misal: "mempertanggungjawabkan") bisa dipecah menjadi 4โ6 Token!
๐ Workflow 1: Simulasi Pemecahan Kalimat Menjadi Token (Tokenisasi)
2. Misteri Terpecahkan: Kenapa Baru Chat 3x di AI Agent Kuota Langsung Habis?
Anda mungkin berpikir: "Kan saya cuma ngetik 15 token, kenapa kuota 15.000 token per menit saya langsung habis?"
Jawabannya: Karena AI Agent membawa "Ransel Raksasa" tak kasat mata di setiap pesan Anda!
Saat Anda mengetik pesan pendek ke AI Agent (seperti Hermes, OpenCode, atau n8n), aplikasi Agent secara diam-diam menyelipkan Instruksi Sistem panjang, Daftar Fungsi/Tools Database (JSON Schema), Hasil Query Database, dan Seluruh Riwayat Chat dari awal ke dalam pengiriman tersebut!
๐ Workflow 2: Apa yang Anda Ketik vs Apa yang Sebenarnya Dikirim oleh AI Agent
๐ Lihat Angkanya: Anda merasa hanya mengetik 5 Token, padahal di belakang layar AI Agent baru saja membakar 10.510 Token dalam waktu 3 detik! Jika Anda lanjut bertanya lagi di ruang chat yang sama, jumlah tokennya akan terus menumpuk seperti efek bola salju.
3. Efek Bola Salju (Snowball Effect): Mengapa Makin Lama Chat Makin Boros?
Perlu diingat bahwa Otak LLM di server API sebenarnya pikun (Stateless / Tidak Punya Ingatan). Agar AI nyambung dengan obrolan sebelumnya, aplikasi AI Agent wajib mengirimkan ulang Chat ke-1, Chat ke-2, hingga Chat terakhir setiap kali Anda membalas pesan!
๐ Workflow 3: Akumulasi Token dari Chat Pertama hingga Chat ke-4
4. Kenali 3 "Polisi Tidur" di API Gratis (RPM, TPM, dan RPD)
Penyedia API gratis (seperti Google AI Studio / Gemini, Groq, atau OpenRouter) memasang 3 gerbang pembatas sekaligus. Jika salah satu saja tertabrak oleh AI Agent Anda, maka bot akan langsung berhenti merespon:
| Istilah Limit | Kepanjangan & Arti | Kenapa AI Agent Sering Nabrak Limit Ini? |
|---|---|---|
| 1. RPM | Requests Per Minute (Batas jumlah panggil API per 1 menit, misal: 15 RPM) |
Karena 1 perintah ke Multi-Agent bisa memicu 5โ10 kali panggilan bolak-balik dalam waktu 20 detik! |
| 2. TPM | Tokens Per Minute (Batas total token masuk+keluar per 1 menit, misal: 15.000 TPM) |
Inilah biang kerok utama! System Prompt + hasil tabel database + riwayat chat langsung menyedot puluhan ribu token dalam sekejap. |
| 3. RPD / TPD | Requests / Tokens Per Day (Batas kuota total dalam 24 jam, misal: 1.500 RPD atau 500.000 TPD) |
Jika sudah mentok batas harian ini, API tidak bisa dipakai lagi sampai ganti hari (biasanya jam 07.00 atau 14.00 WIB). |
๐ Workflow 4: 4 Jurus Menghemat Token Agar API Gratis Awet Seharian
๐ Ringkasan Buat Sobat MasAnam:
- 1 Token ≠ 1 Request ≠ 1 Kata: 1 Token adalah potongan suku kata (~3-4 huruf). Satu kalimat pendek bahasa Indonesia bisa bernilai 15โ25 token.
- Kenapa AI Agent Boros Token? Karena setiap 1 chat Anda dibungkus bersama System Prompt, daftar Tools, data Database, dan seluruh History Chat sebelumnya yang nilainya ribuan token per sekali jalan.
- Tips Anti-Boncos: Selalu bersihkan riwayat percakapan (
/resetatau/clear) setelah selesai satu urusan, dan batasi jumlah baris database yang dikirim ke AI!