ArrayKit

コンテキストウィンドウ設計

ウィンドウをプロンプト・ツール・履歴・応答に配分します。

コンテキストウィンドウ設計

ウィンドウをプロンプト・ツール・履歴・応答に配分します。

ここで入れるのは大きさだけで、文章そのものではありません。送信されるものはありません。

キャッシュが効く順に並べ替える

コンテキストウィンドウ設計 について

ウィンドウは、送るものすべてと、応答に必要な余地とで分け合います。そして予算がいつも忘れるのが後半です。上限のすぐ下に収まる合計のリクエストは、実は収まりません。応答の行き場がないからです。ここではすべてを開いて見せます。システムプロンプト、ツール定義、文書、ここまでの会話、今回のターン。そして応答のための確保分を、モデルの実際のウィンドウと突き合わせます。収まるかどうかと、その差を示し、いちばん場所を取っている部分を名指しします。それはほぼ必ず履歴で、ほぼ必ず最初に手を付けるべきものです。

機能

  • リクエストの各部分を実際のウィンドウと対比
  • 応答のための確保 — 予算を誠実にするのはここ
  • モデルが生成する上限を確保が超えたら警告
  • 履歴がウィンドウを占めたら警告
  • ウィンドウの行き先が見える積み上げバー
  • 残りの余地、あるいは超過分を数字で表示
  • 確認日つきのモデルのウィンドウ
  • すべての項目が編集可能で、自分のリクエストに合わせられます

コンテキストウィンドウ設計 の使い方

  1. 対象のモデルを選びます
  2. リクエストの各部分の大きさを入れます
  3. 応答に十分なトークンを確保します
  4. 収まるかと、何が占めているかを読みます

例

入力

32,100 sent + 4,000 reserved

出力

Fits, with 963.9K to spare

確保分は「収まらなければならないもの」の一部で、後付けではありません。

よくあるエラーとトラブルシューティング

  • 数字は上限以下なのに収まらないと言われる。 — 応答も収まる必要があります。確定分は、送るものに確保分を足したものです。
  • 各部分の大きさが分からない。 — 具体的な文章はトークンカウンターで測ってください。このツールは正確な測定ではなく、予算の形を見るためのものです。
  • 確保が大きすぎると指摘される。 — どのモデルにも、一回の応答で生成する量の上限があり、ウィンドウとは別物です。上限は入力欄の下に表示されます。
  • 履歴がウィンドウを占めている。 — それが手を付けるべき警告です。圧縮、文脈の編集、古いターンの要約が、ほかのどの変更よりも効きます。

よくある質問

なぜ応答のためにトークンを確保するのですか。
応答は同じウィンドウの中で生成されるからです。入力で埋め尽くすと答える余地がなくなり、予算について明快なメッセージが出るのではなく、途中で切れた応答やエラーになります。
ウィンドウと出力上限の違いは何ですか。
ウィンドウは一度に保持できる量です。出力上限は一回の応答で生成する量で、はるかに小さい値です。どちらを超えても失敗するので、両方を点検します。
数字は正確ですか。
ウィンドウの大きさは公表値で、確認日も添えてあります。各部分に入れるのはあなた自身の見積りなので、結果は保証ではなく予算の形として扱ってください。
収まらないときはどうしますか。
いちばん大きい部分を見てください。ほぼ必ず履歴か、取得した文書です。取得を減らすことと以前のターンを要約することは、システムプロンプトを削るよりはるかに効きます。
ウィンドウが大きければ解決しますか。
余地は買えますが効率は買えません。ウィンドウの中身は毎リクエストで支払われるので、大きなウィンドウを埋める会話はそれ相応に費用がかかります。だから費用のツールがあります。

関連ツール

AI・エージェントの他のツール

AI・エージェントのツールをすべて見る · すべてのツール