Claude और Gemini गिनती को approximate क्यों चिह्नित किया गया है?

मौजूदा Claude और Gemini मॉडल provider के सर्वर पर tokenize करते हैं और एक सटीक browser tokenizer उजागर नहीं करते। Claude का अनुमान एक subword tokenizer से और Gemini एक ~4-अक्षर-प्रति-टोकन heuristic उपयोग करता है, इसलिए दोनों को approx लेबल किया गया है।

o200k और cl100k टोकन में क्या अंतर है?

ये दो OpenAI encoding हैं। o200k_base, GPT-4o, GPT-4.1 और o-series द्वारा उपयोग होता है; cl100k_base, GPT-3.5 Turbo और GPT-4 द्वारा उपयोग होता है। ये एक ही टेक्स्ट को थोड़ा अलग ढंग से tokenize करते हैं, इसीलिए गिनती भिन्न हो सकती है।

एक टोकन में कितने अक्षर होते हैं?

अंग्रेज़ी टेक्स्ट के लिए यह औसतन लगभग चार अक्षर प्रति टोकन होता है, पर यह विराम, whitespace, कोड और अन्य भाषाओं के साथ बदलता है। tokens-per-character आँकड़ा आपके ठीक उसी इनपुट के लिए असली अनुपात दिखाता है।

क्या मेरा prompt OpenAI, Anthropic या Google को भेजा जाता है?

नहीं। सारी tokenization आपके ब्राउज़र में bundled tokenizer का उपयोग करके स्थानीय रूप से चलती है, इसलिए आपके द्वारा पेस्ट किया गया टेक्स्ट आपके डिवाइस पर संसाधित होता है और कभी किसी मॉडल provider या ArrayKit को अपलोड नहीं होता।

LLM Token Counter

टाइप करते ही GPT, Claude और Gemini के लिए टोकन गिनें। आपके prompts आपके डिवाइस से बाहर नहीं जाते।

आपका टेक्स्ट आपके ब्राउज़र में स्थानीय रूप से tokenize होता है और कभी अपलोड नहीं होता, पर ऐसे रहस्य या production डेटा पेस्ट करने से बचें जिन्हें आप अपनी मशीन के क्लिपबोर्ड पर नहीं रखना चाहते।

अपनी टोकन गिनती जानते हैं? API लागत का अनुमान लगाएँ।

Token Counter के बारे में

यह token counter दिखाता है कि आपका टेक्स्ट प्रमुख language models में कितने टोकन उपयोग करता है, टाइप या पेस्ट करते ही लाइव अपडेट होते हुए। OpenAI गिनती सटीक है क्योंकि यह वही tokenizer चलाता है जो OpenAI भेजता है — GPT-4o, GPT-4.1 और o-series के लिए o200k_base, तथा GPT-3.5 Turbo और GPT-4 के लिए cl100k_base। Claude का अनुमान एक subword tokenizer (o200k_base) से और Gemini का लगभग चार अक्षर प्रति टोकन पर लगाया जाता है — Anthropic और Google कोई browser tokenizer प्रकाशित नहीं करते, इसलिए मौजूदा मॉडलों के लिए दोनों अनुमानित हैं और स्पष्ट रूप से लेबल किए गए हैं। टोकन के साथ-साथ आपको अक्षर, शब्द और एक tokens-per-character अनुपात भी मिलता है, जो किसी context window के भीतर रहने या prompt लागत का अनुमान लगाने के लिए काम आता है। सब कुछ आपके ब्राउज़र में स्थानीय रूप से tokenize होता है, इसलिए आपके द्वारा पेस्ट किए गए prompts आपके डिवाइस पर संसाधित होते हैं और कभी उससे बाहर नहीं जाते।

विशेषताएँ

o200k_base (GPT-4o, GPT-4.1, o-series) और cl100k_base (GPT-3.5 Turbo, GPT-4) के जरिए सटीक OpenAI टोकन गिनती
एक subword tokenizer का उपयोग करके अनुमानित Claude गिनती, स्पष्ट रूप से लेबल की हुई
~4 अक्षर प्रति टोकन पर अनुमानित Gemini अनुमान
टाइप या पेस्ट करते ही लाइव पुनर्गणना, बिना किसी Run बटन के
साथ में दिखाए गए अक्षर, शब्द और एक tokens-per-character अनुपात
exact-बनाम-approximate badge ताकि आप जानें किन गिनतियों पर भरोसा करें
नोट या टिकट के लिए हर गिनती का एक-क्लिक सारांश कॉपी करें
पूरी तरह आपके ब्राउज़र में चलता है, बिना किसी prompt अपलोड के

Token Counter का उपयोग कैसे करें

अपना prompt टेक्स्ट बॉक्स में पेस्ट या टाइप करें।
OpenAI o200k, OpenAI cl100k, Claude और Gemini के लिए लाइव टोकन गिनती पढ़ें।
exact और approx badge जाँचें कि कौन-सी गिनती सटीक है।
context उपयोग आँकने के लिए अक्षर, शब्द और tokens-per-character आँकड़े उपयोग करें।
एक साथ हर गिनती पाने के लिए Copy summary पर क्लिक करें।

उदाहरण

इनपुट

Summarize this article in three bullet points.

आउटपुट

OpenAI o200k: 10 tokens (exact)
OpenAI cl100k: 10 tokens (exact)
Claude: 10 tokens (approx)
Gemini: 12 tokens (approx)

OpenAI गिनती सटीक है; Claude और Gemini अनुमानित estimate हैं।

सामान्य त्रुटियाँ और समस्या निवारण

Claude गिनती मेरे Anthropic dashboard उपयोग से बिलकुल मेल नहीं खाती। — Claude गिनती को अनुमानित मानें। Anthropic कोई browser tokenizer नहीं भेजता, इसलिए यह टूल Claude का अनुमान एक subword tokenizer से लगाता है; सटीक उपयोग अपने Anthropic console में पुष्टि करें।
Gemini संख्या बाकियों से अधिक मोटी-अनुमानित लगती है। — Google कोई browser tokenizer प्रकाशित नहीं करता, इसलिए Gemini का अनुमान लगभग चार अक्षर प्रति टोकन पर लगाया जाता है। इसे एक मोटे अनुमान के रूप में उपयोग करें और जब सटीकता मायने रखे तो Google के count-tokens endpoint से पुष्टि करें।
OpenAI o200k और cl100k एक ही टेक्स्ट के लिए अलग गिनती दिखाते हैं। — यह अपेक्षित है। GPT-4o और o-series, o200k_base उपयोग करते हैं जबकि GPT-3.5 Turbo और GPT-4, cl100k_base उपयोग करते हैं, और दोनों encoder टेक्स्ट को अलग ढंग से बाँटते हैं। जिस मॉडल परिवार को आप लक्ष्य कर रहे हैं उसकी गिनती पढ़ें।
एक बहुत लंबा दस्तावेज़ फिर से गिनने में धीमा लगता है। — हर कीस्ट्रोक पर बड़े टेक्स्ट को tokenize करना भारी होता है। counter केवल तभी पुनर्गणना करता है जब टेक्स्ट बदलता है; बहुत बड़े इनपुट के लिए, यदि आपका ब्राउज़र अटके तो टुकड़ों में पेस्ट करें।

अक्सर पूछे जाने वाले प्रश्न

क्या OpenAI टोकन गिनती सटीक है?: हाँ। counter वही byte-pair tokenizer उपयोग करता है जो OpenAI भेजता है — GPT-4o, GPT-4.1 और o-series के लिए o200k_base, तथा GPT-3.5 Turbo और GPT-4 के लिए cl100k_base — इसलिए वे गिनती उससे मेल खाती हैं जो OpenAI API चार्ज करता है।
Claude और Gemini गिनती को approximate क्यों चिह्नित किया गया है?: मौजूदा Claude और Gemini मॉडल provider के सर्वर पर tokenize करते हैं और एक सटीक browser tokenizer उजागर नहीं करते। Claude का अनुमान एक subword tokenizer से और Gemini एक ~4-अक्षर-प्रति-टोकन heuristic उपयोग करता है, इसलिए दोनों को approx लेबल किया गया है।
o200k और cl100k टोकन में क्या अंतर है?: ये दो OpenAI encoding हैं। o200k_base, GPT-4o, GPT-4.1 और o-series द्वारा उपयोग होता है; cl100k_base, GPT-3.5 Turbo और GPT-4 द्वारा उपयोग होता है। ये एक ही टेक्स्ट को थोड़ा अलग ढंग से tokenize करते हैं, इसीलिए गिनती भिन्न हो सकती है।
एक टोकन में कितने अक्षर होते हैं?: अंग्रेज़ी टेक्स्ट के लिए यह औसतन लगभग चार अक्षर प्रति टोकन होता है, पर यह विराम, whitespace, कोड और अन्य भाषाओं के साथ बदलता है। tokens-per-character आँकड़ा आपके ठीक उसी इनपुट के लिए असली अनुपात दिखाता है।
क्या मेरा prompt OpenAI, Anthropic या Google को भेजा जाता है?: नहीं। सारी tokenization आपके ब्राउज़र में bundled tokenizer का उपयोग करके स्थानीय रूप से चलती है, इसलिए आपके द्वारा पेस्ट किया गया टेक्स्ट आपके डिवाइस पर संसाधित होता है और कभी किसी मॉडल provider या ArrayKit को अपलोड नहीं होता।