कैशिंग उपसर्ग के मिलान पर चलती है, और यही एक तथ्य सब कुछ तय कर देता है। पहला बदला हुआ बाइट उसके बाद के हर बाइट को अमान्य कर देता है: यानी पच्चीस हज़ार स्थिर टोकन से पहले रखी गई एक बदलती पंक्ति — कोई समय-चिह्न, अनुरोध की पहचान, उपयोगकर्ता का सवाल — का मतलब है कि उनमें से एक भी कैश नहीं होता। इलाज हमेशा एक ही आकार का है: स्थिर आगे, बदलता हुआ पीछे। जो साफ़ नहीं है वह है ग़लती की क़ीमत, इसलिए यहाँ उसे संख्या दी जाती है। अनुरोध के ब्लॉक उनके बदलने की दर के साथ भरिए, और यह उन्हें क्रम में लगाकर उपसर्ग नापता है और आपके अनुरोधों की संख्या पर फ़र्क़ का अनुमान लगाता है।
विशेषताएँ
ब्लॉक ऐसे क्रम में जिससे उपसर्ग सबसे लंबा हो
बदलते ब्लॉकों के पीछे फँसे स्थिर ब्लॉक नामित करता है
कैश होने वाला उपसर्ग और हर बार चुकाया जाने वाला हिस्सा नापता है
उपसर्ग न्यूनतम से नीचे हो और चुपचाप कैश न हो तो चेतावनी
कई अनुरोधों पर फ़र्क़ का अनुमान
कभी-कभार बदलने वाले ब्लॉक दिखाता है — वे अपने बाद सब कुछ मिटा देते हैं
मॉडलों के कैश-पठन दर, जाँच की तिथि के साथ
ब्लॉक के आकार आपके अनुरोध के हिसाब से संपादन योग्य
प्रॉम्प्ट कैश योजना का उपयोग कैसे करें
अनुरोध के ब्लॉक उनके आकार के साथ सूचीबद्ध कीजिए
हर एक कितनी बार बदलता है यह चिह्नित कीजिए
सुझाया गया क्रम और बचत पढ़िए
कैश बिंदु स्थिर उपसर्ग के अंत में ले जाइए
उदाहरण
इनपुट
User question (300) sent first
आउटपुट
29,500 stable tokens cannot be cached
आगे रखा एक बदलता ब्लॉक अपने पीछे सब कुछ मिटा देता है।
सामान्य त्रुटियाँ और समस्या निवारण
मेरी कैश हिट दर शून्य है। — कुछ बदलता हुआ उपसर्ग में घुस गया है। समय-चिह्न, अनुरोध की पहचान, या बिना तय क्रम वाली उपकरण सूची — इनमें से कोई एक ही काफ़ी है।
मेरा उपसर्ग न्यूनतम से नीचे है। — छोटे उपसर्ग कैश होते ही नहीं, और यह बताया नहीं जाता। या तो उपसर्ग बढ़ाइए, या मान लीजिए कि कैशिंग नहीं होगी।
कभी कैश लगती है, कभी नहीं। — आम तौर पर कोई कभी-कभार बदलने वाला ब्लॉक बहुत पहले रखा है। उसका हर बदलाव अपने बाद सब कुछ मिटा देता है, यानी कभी-कभार का मतलब कभी-कभार पूरा दाम।
क्रम बदलने से अर्थ बदल जाएगा। — तब यह असली अदला-बदली है। जिसे वहीं रहना है वह एक बंधन है; यह औज़ार उसकी क़ीमत दिखा देता है ताकि फ़ैसला जानकारी के साथ हो।
अक्सर पूछे जाने वाले प्रश्न
प्रॉम्प्ट कैशिंग असल में कैसे काम करती है?
आपका अनुरोध कैश किए गए अनुरोध से उपसर्ग के आधार पर मिलाया जाता है। पहले फ़र्क़ तक का सब कुछ कैश से आता है और दाम का एक अंश लेता है; उसके बाद का सब पूरा दाम। इसीलिए क्रम ही सब कुछ है।
चुपचाप कैश किन चीज़ों से टूटती है?
हर वह चीज़ जो बाइट जल्दी बदल दे: सिस्टम प्रॉम्प्ट में समय-चिह्न, अनुरोध की पहचान, बिना क्रम वाली संरचना से बनी उपकरण सूची, प्रति-उपयोगकर्ता कोई फ़ील्ड। इनमें से कोई त्रुटि नहीं देती — बस हिट दर गिर जाती है।
न्यूनतम उपसर्ग क्यों होता है?
मॉडल के हिसाब से एक आकार से नीचे कैशिंग लागू ही नहीं होती। यह चुपचाप विफल होती है, इसलिए हो सकता है जिस छोटे सिस्टम प्रॉम्प्ट को आप कैश हुआ मान रहे थे वह कभी कैश हुआ ही न हो।
कैश बिंदु कहाँ रखें?
आख़िरी स्थिर ब्लॉक के अंत में। उससे पहले का सब दोबारा इस्तेमाल होता है, उसके बाद का सब हर बार नया — यहाँ का क्रम ठीक यही कटान बनाता है।
क्या कैशिंग हमेशा फ़ायदे की है?
जब कोई बड़ा उपसर्ग सचमुच दोबारा इस्तेमाल होता है तो हाँ: पठन दर इनपुट दर का एक अंश है। जिस अनुरोध में स्थिर उपसर्ग है ही नहीं उसे मरोड़ने लायक़ नहीं — यहाँ की त्रुटि यही बताती है।