LLM トークンカウンター

GPT・Claude・Geminiのトークン数を入力しながら数えます。プロンプトがデバイスから外に出ることはありません。

テキストはブラウザ内でローカルにトークン化され、アップロードされることはありませんが、自分のマシンのクリップボード履歴に残したくない秘密情報や本番データの貼り付けは避けてください。

開発・運営:Udit Agarwal

AI Tokens and Token Counts, Explained

トークン数が分かりましたか?APIコストを見積もりましょう。

トークンカウンター について

このトークンカウンターは、主要な言語モデルでテキストが何トークンを使うかを、入力や貼り付けに応じてライブに表示します。OpenAIの数はOpenAIが提供するのと同じトークナイザーを動かすため正確です。GPT-4o・GPT-4.1・oシリーズには o200k_base、GPT-3.5 TurboとGPT-4には cl100k_base を使います。Claudeはサブワードのトークナイザー(o200k_base)で見積もり、Geminiはおよそ4文字あたり1トークンで見積もります。AnthropicとGoogleはブラウザ用トークナイザーを公開していないため、現行モデルではどちらも概算で、明確にラベル付けされます。トークンに加えて文字数・単語数・1文字あたりのトークン比率も得られ、コンテキストウィンドウ内に収めたりプロンプトコストを見積もったりするのに役立ちます。すべてはブラウザ内でローカルにトークン化されるため、貼り付けたプロンプトはデバイス上で処理され、デバイスから外に出ることはありません。

機能

  • o200k_base(GPT-4o・GPT-4.1・oシリーズ)と cl100k_base(GPT-3.5 Turbo・GPT-4)でOpenAIの正確なトークン数
  • サブワードのトークナイザーを使ったClaudeの概算(明確にラベル付け)
  • 約4文字あたり1トークンによるGeminiの概算見積もり
  • Runボタンなしで、入力や貼り付けに応じてライブに再カウント
  • 文字数・単語数・1文字あたりのトークン比率を併せて表示
  • どの数を信頼すべきか分かる exact / approx のバッジ
  • すべての数のサマリーをワンクリックでコピーしてメモやチケットに
  • すべてブラウザ内で動作し、プロンプトのアップロードはなし

トークンカウンター の使い方

  1. プロンプトをテキストボックスに貼り付けるか入力します。
  2. OpenAI o200k・OpenAI cl100k・Claude・Geminiのライブなトークン数を読みます。
  3. exact と approx のバッジを見て、どの数が正確かを確認します。
  4. 文字数・単語数・1文字あたりトークンの統計でコンテキスト使用量を把握します。
  5. 「Copy summary」をクリックして、すべての数を一度に取得します。

例

入力

Summarize this article in three bullet points.

出力

OpenAI o200k: 10 tokens (exact)
OpenAI cl100k: 10 tokens (exact)
Claude: 10 tokens (approx)
Gemini: 12 tokens (approx)

OpenAIの数は正確で、ClaudeとGeminiは概算の見積もりです。

よくあるエラーとトラブルシューティング

  • Claudeの数が、Anthropicのダッシュボードの利用量と正確には一致しない。 — Claudeの数は概算として扱ってください。Anthropicはブラウザ用トークナイザーを提供していないため、このツールはサブワードのトークナイザーでClaudeを見積もります。正確な利用量はAnthropicのコンソールで確認してください。
  • Geminiの数が他より粗く見える。 — Googleはブラウザ用トークナイザーを公開していないため、Geminiはおよそ4文字あたり1トークンで見積もられます。目安として使い、精度が必要なときはGoogleのcount-tokensエンドポイントで確認してください。
  • OpenAI o200k と cl100k が同じテキストで異なる数を示す。 — それは想定どおりです。GPT-4oとoシリーズは o200k_base を、GPT-3.5 TurboとGPT-4は cl100k_base を使い、2つのエンコーダーはテキストの分割が異なります。対象とするモデルファミリーの数を読んでください。
  • とても長いドキュメントの再カウントが遅く感じる。 — 大きなテキストをキーストロークごとにトークン化するのは負荷が高い処理です。カウンターはテキストが変わったときだけ再計算します。巨大な入力でブラウザが引っかかる場合は、分割して貼り付けてください。

よくある質問

OpenAIのトークン数は正確ですか。
はい、テキスト自体については正確です。カウンターはOpenAIが提供するのと同じバイトペアのエンコーディング、すなわちGPT-4o・GPT-4.1・oシリーズには o200k_base、GPT-3.5 TurboとGPT-4には cl100k_base を使います。ただし課金されるチャットリクエストでは、メッセージごとに書式用のトークンが数個加わるため、APIのプロンプトトークン数はわずかに多くなります。
なぜClaudeとGeminiの数は概算とマークされているのですか。
現行のClaudeとGeminiのモデルはプロバイダーのサーバー側でトークン化し、正確なブラウザ用トークナイザーを公開していません。Claudeはサブワードのトークナイザーで見積もり、Geminiは約4文字あたり1トークンのヒューリスティックを使うため、どちらもapproxとラベル付けされます。
o200k と cl100k のトークンの違いは何ですか。
それらは2つのOpenAIのエンコーディングです。o200k_base はGPT-4o・GPT-4.1・oシリーズで使われ、cl100k_base はGPT-3.5 TurboとGPT-4で使われます。同じテキストをわずかに異なる形でトークン化するため、数が異なることがあります。
1トークンは何文字ですか。
英語のテキストでは平均しておよそ4文字あたり1トークンですが、句読点・空白・コードや他の言語によって変わります。1文字あたりトークンの統計が、あなたの入力に対する実際の比率を示します。
プロンプトはOpenAI・Anthropic・Googleに送信されますか。
いいえ。トークン化はすべて、同梱のトークナイザーを使ってブラウザ内でローカルに動作するため、貼り付けたテキストはデバイス上で処理され、どのモデルプロバイダーにもArrayKitにもアップロードされることはありません。

関連ツール

  • LLM コスト計算ツール — トークン数からGPT・Claude・GeminiのAPIコストを見積もり。
  • JSON to TOON — JSONとTOONを相互変換し、LLMのプロンプトトークンを節約。
  • OpenAI API テスター — OpenAI Chat Completions API のリクエストを作成・実行し、cURL、Python、JavaScript としてコピーします。
  • Anthropic Claude API テスター — Anthropic Claude Messages API のリクエストを作成・実行し、cURL、Python、JavaScript としてコピーします。
  • Google Gemini API テスター — Google Gemini の generateContent API リクエストを作成・実行し、cURL、Python、JavaScript としてコピーします。
  • 単語数・文字数カウンター — 文字数・単語数・行数・バイト数・トークン数をリアルタイムにカウントします。

API ツールの他のツール

  • LLM コスト計算ツール — トークン数からGPT・Claude・GeminiのAPIコストを見積もり。
  • cURL to Rust — curlコマンドをRustのreqwestコードに変換します。
  • HARをcURLに変換 — HARのリクエストを実行可能なcURLコマンドに変換。
  • Postman to cURL — Postmanのコレクションを実行可能なcURLコマンドに変換。
  • cURLからC#へ — curlコマンドをHttpClient付きC#コードに変換します。
  • cURLからJavaへ — curlコマンドをHttpClient付きJavaコードに変換します。
  • cURLからRubyへ — curlコマンドをRubyのNet::HTTPコードに変換します。
  • cURLからPowerShellへ — curlコマンドをPowerShellのInvoke-RestMethodに変換します。
  • cURLからSwiftへ — curlコマンドをURLSessionのSwiftコードに変換。
  • cURLからDartへ — curlコマンドをpackage:httpのDartコードに変換。
  • cURL から Fetch — curlコマンドを JavaScript の fetch() 呼び出しに変換します。
  • URL パーサー — URLを各パーツに分解し、クエリパラメータを一覧表示します。

API ツールのツールをすべて見る (24) · すべてのツール