Por que as contagens de Claude e Gemini são marcadas como aproximadas?

Os modelos atuais de Claude e Gemini tokenizam nos servidores do provedor e não expõem um tokenizador exato para o navegador. O Claude é estimado com um tokenizador de subpalavras e o Gemini usa uma heurística de cerca de 4 caracteres por token, então ambos são rotulados como aprox.

Qual é a diferença entre tokens o200k e cl100k?

São duas codificações da OpenAI. o200k_base é usado por GPT-4o, GPT-4.1 e a série o; cl100k_base é usado por GPT-3.5 Turbo e GPT-4. Eles tokenizam o mesmo texto de forma ligeiramente diferente, e é por isso que as contagens podem diferir.

Quantos caracteres há em um token?

Para texto em inglês a média é de cerca de quatro caracteres por token, mas isso varia com a pontuação, os espaços, o código e outros idiomas. A estatística de tokens por caractere mostra a razão real para a sua entrada exata.

Meu prompt é enviado para a OpenAI, a Anthropic ou o Google?

Não. Toda a tokenização roda localmente no seu navegador usando tokenizadores embutidos, então o texto que você cola é processado no seu dispositivo e nunca é enviado para nenhum provedor de modelo nem para o ArrayKit.

Contador de Tokens de LLM

Conte tokens para GPT, Claude e Gemini enquanto você digita. Seus prompts nunca saem do seu dispositivo.

Seu texto é tokenizado localmente no seu navegador e nunca é enviado, mas evite colar segredos ou dados de produção que você não queira na área de transferência da sua própria máquina.

Já sabe a contagem de tokens? Estime o custo da API.

Sobre Contador de Tokens

Este contador de tokens mostra quantos tokens o seu texto usa nos principais modelos de linguagem, atualizando ao vivo enquanto você digita ou cola. As contagens da OpenAI são exatas porque ele roda os mesmos tokenizadores que a OpenAI distribui — o200k_base para GPT-4o, GPT-4.1 e a série o, e cl100k_base para GPT-3.5 Turbo e GPT-4. O Claude é estimado com um tokenizador de subpalavras (o200k_base) e o Gemini a cerca de quatro caracteres por token — Anthropic e Google não publicam um tokenizador para o navegador, então ambos são aproximados para os modelos atuais e claramente rotulados. Junto dos tokens, você também recebe caracteres, palavras e uma razão de tokens por caractere, o que é útil para se manter dentro de uma janela de contexto ou estimar o custo do prompt. Tudo é tokenizado localmente no seu navegador, então os prompts que você cola são processados no seu dispositivo e nunca saem dele.

Recursos

Contagens de token exatas da OpenAI via o200k_base (GPT-4o, GPT-4.1, série o) e cl100k_base (GPT-3.5 Turbo, GPT-4)
Contagens aproximadas do Claude usando um tokenizador de subpalavras, claramente rotuladas
Estimativa aproximada do Gemini a cerca de 4 caracteres por token
Recontagem ao vivo enquanto você digita ou cola, sem botão Executar
Caracteres, palavras e uma razão de tokens por caractere mostrados ao lado
Selos de exato versus aproximado para você saber em quais contagens confiar
Copie um resumo com um clique de todas as contagens para notas ou tickets
Roda inteiramente no seu navegador, sem envio do prompt

Como usar Contador de Tokens

Cole ou digite seu prompt na caixa de texto.
Leia as contagens de token ao vivo para OpenAI o200k, OpenAI cl100k, Claude e Gemini.
Confira os selos de exato e aprox para ver quais contagens são precisas.
Use as estatísticas de caracteres, palavras e tokens por caractere para medir o uso do contexto.
Clique em Copiar resumo para pegar todas as contagens de uma vez.

Exemplo

Entrada

Summarize this article in three bullet points.

Saída

OpenAI o200k: 10 tokens (exact)
OpenAI cl100k: 10 tokens (exact)
Claude: 10 tokens (approx)
Gemini: 12 tokens (approx)

As contagens da OpenAI são exatas; Claude e Gemini são estimativas aproximadas.

Erros comuns e solução de problemas

A contagem do Claude não corresponde exatamente ao uso do meu painel da Anthropic. — Trate as contagens do Claude como aproximadas. A Anthropic não distribui um tokenizador para o navegador, então esta ferramenta estima o Claude com um tokenizador de subpalavras; confirme o uso exato no seu console da Anthropic.
O número do Gemini parece mais grosseiro que os outros. — O Google não publica um tokenizador para o navegador, então o Gemini é estimado a cerca de quatro caracteres por token. Use-o como uma aproximação e verifique com o endpoint count-tokens do Google quando a precisão importar.
OpenAI o200k e cl100k mostram contagens diferentes para o mesmo texto. — Isso é esperado. GPT-4o e a série o usam o200k_base enquanto GPT-3.5 Turbo e GPT-4 usam cl100k_base, e os dois codificadores dividem o texto de forma diferente. Leia a contagem da família de modelos que você está mirando.
Um documento muito longo parece lento para recontar. — Tokenizar um texto grande a cada tecla é pesado. O contador recalcula apenas quando o texto muda; para entradas enormes, cole em partes se o seu navegador travar.

Perguntas frequentes

As contagens de token da OpenAI são exatas?: Sim. O contador usa os mesmos tokenizadores byte-pair que a OpenAI distribui — o200k_base para GPT-4o, GPT-4.1 e a série o, e cl100k_base para GPT-3.5 Turbo e GPT-4 — então essas contagens correspondem ao que a API da OpenAI cobra.
Por que as contagens de Claude e Gemini são marcadas como aproximadas?: Os modelos atuais de Claude e Gemini tokenizam nos servidores do provedor e não expõem um tokenizador exato para o navegador. O Claude é estimado com um tokenizador de subpalavras e o Gemini usa uma heurística de cerca de 4 caracteres por token, então ambos são rotulados como aprox.
Qual é a diferença entre tokens o200k e cl100k?: São duas codificações da OpenAI. o200k_base é usado por GPT-4o, GPT-4.1 e a série o; cl100k_base é usado por GPT-3.5 Turbo e GPT-4. Eles tokenizam o mesmo texto de forma ligeiramente diferente, e é por isso que as contagens podem diferir.
Quantos caracteres há em um token?: Para texto em inglês a média é de cerca de quatro caracteres por token, mas isso varia com a pontuação, os espaços, o código e outros idiomas. A estatística de tokens por caractere mostra a razão real para a sua entrada exata.
Meu prompt é enviado para a OpenAI, a Anthropic ou o Google?: Não. Toda a tokenização roda localmente no seu navegador usando tokenizadores embutidos, então o texto que você cola é processado no seu dispositivo e nunca é enviado para nenhum provedor de modelo nem para o ArrayKit.

Ferramentas relacionadas

Calculadora de Custo de LLM — Estime os custos das APIs GPT, Claude e Gemini a partir das contagens de tokens de entrada e saída.
JSON para TOON — Converta JSON para TOON e de volta; o TOON empacota os mesmos dados em menos tokens de prompt de LLM.
Testador de API da OpenAI — Crie, execute e copie requisições à API Chat Completions da OpenAI como cURL, Python e JavaScript.
Testador de API da Anthropic Claude — Crie, execute e copie requisições à API Messages da Anthropic Claude como cURL, Python e JavaScript.
Testador de API do Google Gemini — Crie, execute e copie requisições generateContent do Google Gemini como cURL, Python e JavaScript.
Contador de Palavras — Conte palavras, caracteres, frases, bytes e tokens de texto ao vivo.