एक प्रॉम्प्ट को कई पंक्तियों पर चलाने का सबसे सस्ता तरीक़ा थोक प्रसंस्करण है, अन्तःक्रियात्मक दाम का लगभग आधा, और जिस फ़ाइल की उसे ज़रूरत है वह ठीक एक बात पर बेरहम है: नतीजे उसी क्रम में लौटते हैं जिसमें वे पूरे होते हैं। आपकी अपनी पहचान ही वह इकलौती चीज़ है जो नतीजे को उसकी पंक्ति से जोड़ती है, इसलिए दोहराई गई पहचान का मतलब है दो ऐसे नतीजे जिनमें फ़र्क़ नहीं किया जा सकता — चुपचाप, और कार्य चल चुकने के बाद। यहाँ टेम्पलेट पंक्तियों पर फैलता है, पहचान किसी कॉलम से आती है या बना दी जाती है, दोहराव टकराने के बजाय बदल दिए जाते हैं, और कार्य का आकार नापा जाता है ताकि आप जानें कि आप क्या भेज रहे हैं।
विशेषताएँ
हर पंक्ति के लिए एक अनुरोध, टेम्पलेट और तालिका से
पहचान आपके चुने कॉलम से, या बनाई हुई
दोहराई गई पहचान टकराने के बजाय बदल दी जाती है
पहचान उन्हीं अक्षरों तक सीमित की जाती है जो फ़ील्ड लेता है
किसी प्लेसहोल्डर को मान न मिले तो पंक्ति-दर-पंक्ति चेतावनी
कार्य का आकार: अनुरोधों की संख्या, टोकन अनुमान और फ़ाइल आकार
अनुरोध का मुख्य भाग और वही अनुरोध JSONL में, दोनों
बहुत बड़ा कार्य बाँटता है और भेजने का तरीक़ा दिखाता है
थोक अनुरोध बिल्डर का उपयोग कैसे करें
प्रॉम्प्ट टेम्पलेट और अपनी पंक्तियाँ चिपकाइए
मॉडल और प्रति अनुरोध टोकन सीमा चुनिए
पहचान के लिए कॉलम चुनिए
अनुरोध का मुख्य भाग डाउनलोड करके भेजिए
उदाहरण
इनपुट
"custom_id": "Acme-Ltd"
आउटपुट
Row 2 repeats the id “Acme-Ltd”; renamed to “Acme-Ltd-2”
नतीजे क्रम से बाहर आते हैं, और पंक्ति तक लौटने का रास्ता सिर्फ़ पहचान है।
सामान्य त्रुटियाँ और समस्या निवारण
नतीजों को पंक्तियों से मिला नहीं पा रहा। — स्थिति के बजाय पहचान से जोड़िए: नतीजे पूरे होने के क्रम में लौटते हैं। इसीलिए यहाँ दोहराव बदल दिए जाते हैं।
भेजने पर अस्वीकार हो रहा है। — एंडपॉइंट requests ऐरे वाला JSON मुख्य भाग लेता है, JSONL फ़ाइल नहीं। दोनों दिए जाते हैं; भेजिए .json।
मेरे प्रॉम्प्ट में प्लेसहोल्डर अक्षरशः रह गया। — उस पंक्ति के पास उसके लिए मान नहीं था। सभी प्रभावित पंक्तियाँ, प्लेसहोल्डर के नाम के साथ, सूचीबद्ध होती हैं।
कार्य बहुत बड़ा है। — उसे बाँट लीजिए। संख्या पार होते ही दस हज़ार अनुरोध तक की फ़ाइलें अपने आप सुझा दी जाती हैं।
अक्सर पूछे जाने वाले प्रश्न
थोक प्रसंस्करण सस्ता क्यों है?
क्योंकि वह अन्तःक्रियात्मक नहीं है। काम क़तार में लगकर तब चलता है जब क्षमता हो, और उसकी योजना बनाना कहीं आसान है — इसीलिए दाम लगभग आधा। आप देरी बदल रहे हैं, गुणवत्ता नहीं।
अपनी पहचान किस लिए है?
नतीजों को इनपुट से मिलाने के लिए। नतीजे भेजने के क्रम में नहीं, पूरे होने के क्रम में आते हैं, इसलिए स्रोत पंक्ति से भरोसेमंद जोड़ पहचान ही है।
दो पंक्तियों की पहचान एक हो तो?
असली कार्य में दो ऐसे नतीजे जिनमें फ़र्क़ नहीं किया जा सकता। यहाँ दोहराव बदल दिया जाता है और बता दिया जाता है, और यह अभी पता चलना कहीं बेहतर है।
एंडपॉइंट JSON लेता है तो JSONL आउटपुट क्यों?
पंक्ति-आधारित औज़ारों के लिए: बड़े कार्य को बाँटना, दो संस्करणों की तुलना, किसी और चलाने वाले को देना। भेजा JSON मुख्य भाग ही जाता है।
max_tokens कैसे चुनूँ?
इतना बड़ा कि कोई जवाब कटे नहीं: कटा हुआ नतीजा दोबारा चलाना पड़ता है। दिखाई गई ऊपरी सीमा मानती है कि हर अनुरोध पूरा कोटा लेगा — यह सबसे बुरी स्थिति है, अनुमान नहीं।