なぜClaudeとGeminiの数は概算とマークされているのですか。

現行のClaudeとGeminiのモデルはプロバイダーのサーバー側でトークン化し、正確なブラウザ用トークナイザーを公開していません。Claudeはサブワードのトークナイザーで見積もり、Geminiは約4文字あたり1トークンのヒューリスティックを使うため、どちらもapproxとラベル付けされます。

o200k と cl100k のトークンの違いは何ですか。

それらは2つのOpenAIのエンコーディングです。o200k_base はGPT-4o・GPT-4.1・oシリーズで使われ、cl100k_base はGPT-3.5 TurboとGPT-4で使われます。同じテキストをわずかに異なる形でトークン化するため、数が異なることがあります。

1トークンは何文字ですか。

英語のテキストでは平均しておよそ4文字あたり1トークンですが、句読点・空白・コードや他の言語によって変わります。1文字あたりトークンの統計が、あなたの入力に対する実際の比率を示します。

プロンプトはOpenAI・Anthropic・Googleに送信されますか。

いいえ。トークン化はすべて、同梱のトークナイザーを使ってブラウザ内でローカルに動作するため、貼り付けたテキストはデバイス上で処理され、どのモデルプロバイダーにもArrayKitにもアップロードされることはありません。

LLM トークンカウンター

GPT・Claude・Geminiのトークン数を入力しながら数えます。プロンプトがデバイスから外に出ることはありません。

テキストはブラウザ内でローカルにトークン化され、アップロードされることはありませんが、自分のマシンのクリップボード履歴に残したくない秘密情報や本番データの貼り付けは避けてください。

トークン数が分かりましたか？APIコストを見積もりましょう。

トークンカウンターについて

このトークンカウンターは、主要な言語モデルでテキストが何トークンを使うかを、入力や貼り付けに応じてライブに表示します。OpenAIの数はOpenAIが提供するのと同じトークナイザーを動かすため正確です。GPT-4o・GPT-4.1・oシリーズには o200k_base、GPT-3.5 TurboとGPT-4には cl100k_base を使います。Claudeはサブワードのトークナイザー（o200k_base）で見積もり、Geminiはおよそ4文字あたり1トークンで見積もります。AnthropicとGoogleはブラウザ用トークナイザーを公開していないため、現行モデルではどちらも概算で、明確にラベル付けされます。トークンに加えて文字数・単語数・1文字あたりのトークン比率も得られ、コンテキストウィンドウ内に収めたりプロンプトコストを見積もったりするのに役立ちます。すべてはブラウザ内でローカルにトークン化されるため、貼り付けたプロンプトはデバイス上で処理され、デバイスから外に出ることはありません。

機能

o200k_base（GPT-4o・GPT-4.1・oシリーズ）と cl100k_base（GPT-3.5 Turbo・GPT-4）でOpenAIの正確なトークン数
サブワードのトークナイザーを使ったClaudeの概算（明確にラベル付け）
約4文字あたり1トークンによるGeminiの概算見積もり
Runボタンなしで、入力や貼り付けに応じてライブに再カウント
文字数・単語数・1文字あたりのトークン比率を併せて表示
どの数を信頼すべきか分かる exact / approx のバッジ
すべての数のサマリーをワンクリックでコピーしてメモやチケットに
すべてブラウザ内で動作し、プロンプトのアップロードはなし

トークンカウンターの使い方

プロンプトをテキストボックスに貼り付けるか入力します。
OpenAI o200k・OpenAI cl100k・Claude・Geminiのライブなトークン数を読みます。
exact と approx のバッジを見て、どの数が正確かを確認します。
文字数・単語数・1文字あたりトークンの統計でコンテキスト使用量を把握します。
「Copy summary」をクリックして、すべての数を一度に取得します。

例

入力

Summarize this article in three bullet points.

出力

OpenAI o200k: 10 tokens (exact)
OpenAI cl100k: 10 tokens (exact)
Claude: 10 tokens (approx)
Gemini: 12 tokens (approx)

OpenAIの数は正確で、ClaudeとGeminiは概算の見積もりです。

よくあるエラーとトラブルシューティング

Claudeの数が、Anthropicのダッシュボードの利用量と正確には一致しない。 — Claudeの数は概算として扱ってください。Anthropicはブラウザ用トークナイザーを提供していないため、このツールはサブワードのトークナイザーでClaudeを見積もります。正確な利用量はAnthropicのコンソールで確認してください。
Geminiの数が他より粗く見える。 — Googleはブラウザ用トークナイザーを公開していないため、Geminiはおよそ4文字あたり1トークンで見積もられます。目安として使い、精度が必要なときはGoogleのcount-tokensエンドポイントで確認してください。
OpenAI o200k と cl100k が同じテキストで異なる数を示す。 — それは想定どおりです。GPT-4oとoシリーズは o200k_base を、GPT-3.5 TurboとGPT-4は cl100k_base を使い、2つのエンコーダーはテキストの分割が異なります。対象とするモデルファミリーの数を読んでください。
とても長いドキュメントの再カウントが遅く感じる。 — 大きなテキストをキーストロークごとにトークン化するのは負荷が高い処理です。カウンターはテキストが変わったときだけ再計算します。巨大な入力でブラウザが引っかかる場合は、分割して貼り付けてください。

よくある質問

OpenAIのトークン数は正確ですか。: はい。カウンターはOpenAIが提供するのと同じバイトペアのトークナイザー、すなわちGPT-4o・GPT-4.1・oシリーズには o200k_base、GPT-3.5 TurboとGPT-4には cl100k_base を使うため、それらの数はOpenAI APIが課金する値と一致します。
なぜClaudeとGeminiの数は概算とマークされているのですか。: 現行のClaudeとGeminiのモデルはプロバイダーのサーバー側でトークン化し、正確なブラウザ用トークナイザーを公開していません。Claudeはサブワードのトークナイザーで見積もり、Geminiは約4文字あたり1トークンのヒューリスティックを使うため、どちらもapproxとラベル付けされます。
o200k と cl100k のトークンの違いは何ですか。: それらは2つのOpenAIのエンコーディングです。o200k_base はGPT-4o・GPT-4.1・oシリーズで使われ、cl100k_base はGPT-3.5 TurboとGPT-4で使われます。同じテキストをわずかに異なる形でトークン化するため、数が異なることがあります。
1トークンは何文字ですか。: 英語のテキストでは平均しておよそ4文字あたり1トークンですが、句読点・空白・コードや他の言語によって変わります。1文字あたりトークンの統計が、あなたの入力に対する実際の比率を示します。
プロンプトはOpenAI・Anthropic・Googleに送信されますか。: いいえ。トークン化はすべて、同梱のトークナイザーを使ってブラウザ内でローカルに動作するため、貼り付けたテキストはデバイス上で処理され、どのモデルプロバイダーにもArrayKitにもアップロードされることはありません。

LLM トークンカウンター

トークンカウンターについて

機能

トークンカウンターの使い方

例

よくあるエラーとトラブルシューティング

よくある質問

関連ツール

すべての ArrayKit ツール

LLM トークンカウンター

トークンカウンター について

機能

トークンカウンター の使い方

例

よくあるエラーとトラブルシューティング

よくある質問

関連ツール

すべての ArrayKit ツール

トークンカウンターについて

トークンカウンターの使い方