コンテキストウィンドウ設計
ウィンドウをプロンプト・ツール・履歴・応答に配分します。
ここで入れるのは大きさだけで、文章そのものではありません。送信されるものはありません。
キャッシュが効く順に並べ替える
コンテキストウィンドウ設計 について
ウィンドウは、送るものすべてと、応答に必要な余地とで分け合います。そして予算がいつも忘れるのが後半です。上限のすぐ下に収まる合計のリクエストは、実は収まりません。応答の行き場がないからです。ここではすべてを開いて見せます。システムプロンプト、ツール定義、文書、ここまでの会話、今回のターン。そして応答のための確保分を、モデルの実際のウィンドウと突き合わせます。収まるかどうかと、その差を示し、いちばん場所を取っている部分を名指しします。それはほぼ必ず履歴で、ほぼ必ず最初に手を付けるべきものです。
機能
- リクエストの各部分を実際のウィンドウと対比
- 応答のための確保 — 予算を誠実にするのはここ
- モデルが生成する上限を確保が超えたら警告
- 履歴がウィンドウを占めたら警告
- ウィンドウの行き先が見える積み上げバー
- 残りの余地、あるいは超過分を数字で表示
- 確認日つきのモデルのウィンドウ
- すべての項目が編集可能で、自分のリクエストに合わせられます
コンテキストウィンドウ設計 の使い方
- 対象のモデルを選びます
- リクエストの各部分の大きさを入れます
- 応答に十分なトークンを確保します
- 収まるかと、何が占めているかを読みます
例
入力
32,100 sent + 4,000 reserved
出力
Fits, with 963.9K to spare
確保分は「収まらなければならないもの」の一部で、後付けではありません。
よくあるエラーとトラブルシューティング
- 数字は上限以下なのに収まらないと言われる。 — 応答も収まる必要があります。確定分は、送るものに確保分を足したものです。
- 各部分の大きさが分からない。 — 具体的な文章はトークンカウンターで測ってください。このツールは正確な測定ではなく、予算の形を見るためのものです。
- 確保が大きすぎると指摘される。 — どのモデルにも、一回の応答で生成する量の上限があり、ウィンドウとは別物です。上限は入力欄の下に表示されます。
- 履歴がウィンドウを占めている。 — それが手を付けるべき警告です。圧縮、文脈の編集、古いターンの要約が、ほかのどの変更よりも効きます。
よくある質問
- なぜ応答のためにトークンを確保するのですか。
- 応答は同じウィンドウの中で生成されるからです。入力で埋め尽くすと答える余地がなくなり、予算について明快なメッセージが出るのではなく、途中で切れた応答やエラーになります。
- ウィンドウと出力上限の違いは何ですか。
- ウィンドウは一度に保持できる量です。出力上限は一回の応答で生成する量で、はるかに小さい値です。どちらを超えても失敗するので、両方を点検します。
- 数字は正確ですか。
- ウィンドウの大きさは公表値で、確認日も添えてあります。各部分に入れるのはあなた自身の見積りなので、結果は保証ではなく予算の形として扱ってください。
- 収まらないときはどうしますか。
- いちばん大きい部分を見てください。ほぼ必ず履歴か、取得した文書です。取得を減らすことと以前のターンを要約することは、システムプロンプトを削るよりはるかに効きます。
- ウィンドウが大きければ解決しますか。
- 余地は買えますが効率は買えません。ウィンドウの中身は毎リクエストで支払われるので、大きなウィンドウを埋める会話はそれ相応に費用がかかります。だから費用のツールがあります。
関連ツール
AI・エージェントの他のツール
AI・エージェントのツールをすべて見る · すべてのツール