Счётчик токенов LLM

Считайте токены для GPT, Claude и Gemini по мере ввода. Ваши промпты не покидают устройство.

Ваш текст токенизируется локально в вашем браузере и никогда не загружается, но избегайте вставки секретов или производственных данных, которые вы не хотели бы видеть в буфере обмена собственной машины.

Создаёт и поддерживает Udit Agarwal

AI Tokens and Token Counts, Explained

Знаете количество токенов? Оцените стоимость API.

Об инструменте Счётчик токенов LLM

Этот счётчик токенов показывает, сколько токенов использует ваш текст в основных языковых моделях, обновляясь вживую по мере ввода или вставки. Подсчёты OpenAI точны, потому что инструмент запускает те же токенизаторы, что поставляет OpenAI — o200k_base для GPT-4o, GPT-4.1 и o-серии, и cl100k_base для GPT-3.5 Turbo и GPT-4. Claude оценивается субсловным токенизатором (o200k_base), а Gemini — примерно из расчёта четыре символа на токен; Anthropic и Google не публикуют браузерный токенизатор, поэтому оба приблизительны для текущих моделей и чётко помечены. Наряду с токенами вы также получаете символы, слова и отношение токенов к символам, что удобно для удержания в пределах контекстного окна или оценки стоимости промпта. Всё токенизируется локально в вашем браузере, поэтому вставленные промпты обрабатываются на вашем устройстве и никогда его не покидают.

Возможности

  • Точные подсчёты токенов OpenAI через o200k_base (GPT-4o, GPT-4.1, o-серия) и cl100k_base (GPT-3.5 Turbo, GPT-4)
  • Приблизительные подсчёты Claude через субсловный токенизатор, чётко помеченные
  • Приблизительная оценка Gemini из расчёта ~4 символа на токен
  • Живой пересчёт по мере ввода или вставки, без кнопки «Запустить»
  • Символы, слова и отношение токенов к символам показаны рядом
  • Значки «точно» и «приблизительно», чтобы вы знали, каким подсчётам доверять
  • Копирование сводки всех подсчётов в один клик для заметок или задач
  • Работает полностью в вашем браузере без загрузки промпта

Как использовать Счётчик токенов LLM

  1. Вставьте или введите ваш промпт в текстовое поле.
  2. Прочитайте живые подсчёты токенов для OpenAI o200k, OpenAI cl100k, Claude и Gemini.
  3. Проверьте значки «точно» и «приблизительно», чтобы увидеть, какие подсчёты точны.
  4. Используйте статистику символов, слов и токенов на символ для оценки использования контекста.
  5. Нажмите «Копировать сводку», чтобы взять все подсчёты сразу.

Пример

Ввод

Summarize this article in three bullet points.

Результат

OpenAI o200k: 10 tokens (exact)
OpenAI cl100k: 10 tokens (exact)
Claude: 10 tokens (approx)
Gemini: 12 tokens (approx)

Подсчёты OpenAI точны; Claude и Gemini — приблизительные оценки.

Частые ошибки и устранение неполадок

  • Подсчёт Claude не совпадает точно с использованием в моей панели Anthropic. — Считайте подсчёты Claude приблизительными. Anthropic не поставляет браузерный токенизатор, поэтому этот инструмент оценивает Claude субсловным токенизатором; подтверждайте точное использование в консоли Anthropic.
  • Число Gemini выглядит грубее остальных. — Google не публикует браузерный токенизатор, поэтому Gemini оценивается примерно из расчёта четыре символа на токен. Используйте это как ориентир и проверяйте через эндпоинт count-tokens Google, когда важна точность.
  • OpenAI o200k и cl100k показывают разные подсчёты для одного текста. — Это ожидаемо. GPT-4o и o-серия используют o200k_base, а GPT-3.5 Turbo и GPT-4 используют cl100k_base, и два кодировщика разбивают текст по-разному. Читайте подсчёт для того семейства моделей, на которое нацелены.
  • Очень длинный документ ощущается медленным при пересчёте. — Токенизация большого текста при каждом нажатии клавиши затратна. Счётчик пересчитывает только при изменении текста; для огромных вводов вставляйте по частям, если браузер подтормаживает.

Часто задаваемые вопросы

Точны ли подсчёты токенов OpenAI?
Да, для самого текста. Счётчик использует те же кодировки на основе пар байтов, что поставляет OpenAI: o200k_base для GPT-4o, GPT-4.1 и o-серии и cl100k_base для GPT-3.5 Turbo и GPT-4. Оплачиваемый чат-запрос добавляет по несколько служебных токенов форматирования на каждое сообщение, поэтому счёт промпта в API выходит немного больше.
Почему подсчёты Claude и Gemini помечены приблизительными?
Текущие модели Claude и Gemini токенизируют на серверах провайдера и не раскрывают точный браузерный токенизатор. Claude оценивается субсловным токенизатором, а Gemini использует эвристику ~4 символа на токен, поэтому оба помечены как приблизительные.
В чём разница между токенами o200k и cl100k?
Это две кодировки OpenAI. o200k_base используется в GPT-4o, GPT-4.1 и o-серии; cl100k_base используется в GPT-3.5 Turbo и GPT-4. Они токенизируют один и тот же текст немного по-разному, поэтому подсчёты могут отличаться.
Сколько символов в токене?
Для английского текста в среднем примерно четыре символа на токен, но это варьируется в зависимости от пунктуации, пробелов, кода и других языков. Статистика токенов на символ показывает реальное отношение для вашего конкретного ввода.
Отправляется ли мой промпт в OpenAI, Anthropic или Google?
Нет. Вся токенизация выполняется локально в вашем браузере с помощью встроенных токенизаторов, поэтому вставленный текст обрабатывается на вашем устройстве и никогда не загружается ни одному провайдеру моделей, ни в ArrayKit.

Связанные инструменты

  • Калькулятор стоимости LLM — Оцените стоимость API GPT, Claude и Gemini по вашим подсчётам токенов.
  • JSON в TOON — Преобразуйте JSON в TOON и обратно, чтобы упаковать данные в меньше токенов LLM.
  • Тестер API OpenAI — Создавайте, выполняйте и копируйте запросы к API OpenAI Chat Completions в виде cURL, Python и JavaScript.
  • Тестер API Anthropic Claude — Создавайте, выполняйте и копируйте запросы к API Anthropic Claude Messages в виде cURL, Python и JavaScript.
  • Тестер API Google Gemini — Создавайте, выполняйте и копируйте запросы generateContent Google Gemini в виде cURL, Python и JavaScript.
  • Счётчик слов — Подсчёт слов, символов, строк, байтов и токенов вживую.

Другие инструменты: Инструменты API

  • Калькулятор стоимости LLM — Оцените стоимость API GPT, Claude и Gemini по вашим подсчётам токенов.
  • cURL в Rust — Преобразует команду curl в код Rust с reqwest.
  • HAR в cURL — Превращает запросы из HAR в исполняемые команды cURL.
  • Postman в cURL — Превратите коллекцию Postman в команды cURL.
  • cURL в C# — Конвертирует команду curl в код C# с HttpClient.
  • cURL в Java — Конвертирует команду curl в код Java с HttpClient.
  • cURL в Ruby — Конвертирует команду curl в код Ruby на Net::HTTP.
  • cURL в PowerShell — Конвертирует команду curl в PowerShell Invoke-RestMethod.
  • cURL в Swift — Превращает команду curl в код Swift на URLSession.
  • cURL в Dart — Превращает команду curl в код Dart на package:http.
  • cURL в Fetch — Преобразуйте команду curl в вызов fetch() на JavaScript.
  • Разбор URL — Разбейте URL на части и просмотрите список параметров запроса.

Все инструменты: Инструменты API (24) · Все инструменты