हर N अक्षर पर काटना सीधा तरीक़ा है जो ऐसे टुकड़े देता है जिनका अकेले कोई अर्थ नहीं: बीच से कटा वाक्य, वह शीर्षक जो उससे अलग हो गया जिसका वह परिचय था। यहाँ कटान सबसे बड़ी उस संरचनात्मक सीमा पर होता है जो अब भी समाती है: पहले शीर्षक, फिर अनुच्छेद, फिर वाक्य — और शब्द के बीच से सिर्फ़ तब जब कोई अकेली इकाई ही न समाए। ओवरलैप हर टुकड़े का अंत अगले में ले जाता है, ताकि सीमा पार करता तथ्य कहीं न कहीं पूरा बचा रहे। उस ओवरलैप की क़ीमत प्रतिशत में दिखती है: यह असली दोहराव है, और उसे एम्बेडिंग के बिल बनने से पहले देख लेना बेहतर है।
विशेषताएँ
तय चौड़ाई नहीं, शीर्षक, अनुच्छेद या वाक्य पर काटता है
वाक्य कटान संक्षेपाक्षरों और आद्याक्षरों से नहीं टूटता
बहुत बड़ी इकाइयाँ शब्द की सीमा पर कटती हैं, बीच से नहीं
ओवरलैप संदर्भ को अगले टुकड़े तक ले जाता है
ओवरलैप की क़ीमत प्रतिशत में बताता है
हर टुकड़ा किस शीर्षक के नीचे है यह दर्ज करता है
आकार का वितरण: सबसे छोटा, औसत और सबसे बड़ा
शीर्षक और टोकन गिनती के साथ JSONL में निर्यात
पाठ चंकर का उपयोग कैसे करें
दस्तावेज़ छोड़िए या चिपकाइए
किस पर काटना है यह चुनिए
लक्षित आकार और ओवरलैप तय कीजिए
टुकड़े देखिए और JSONL में निर्यात कीजिए
उदाहरण
इनपुट
## Eligibility\n\nAn order is eligible if…
आउटपुट
chunk 2 — under “Eligibility”, ≈58 tokens
शीर्षक पर काटने से हर खंड पूरा और नाम के साथ रहता है।
सामान्य त्रुटियाँ और समस्या निवारण
मेरे टुकड़े लक्ष्य से बहुत छोटे हैं। — संरचनात्मक सीमा पहले आ गई। अनुच्छेद पर काटना सीमा तक पहुँचने के लिए दो अनुच्छेद नहीं जोड़ेगा।
एक टुकड़ा बाक़ी से बहुत बड़ा है। — लक्ष्य से बड़ी अकेली इकाई जोड़ी नहीं जाती, शब्द की सीमा पर काटी जाती है। आम वजह लंबी तालिका या कोड ब्लॉक है।
ओवरलैप की क़ीमत ज़्यादा लग रही है। — यह असली टोकन दोहराव है। ओवरलैप मददगार है, पर टुकड़े के आकार का दसवाँ हिस्सा आम तौर पर काफ़ी है।
वाक्य अजीब जगहों पर कट रहे हैं। — संक्षेपाक्षर और आद्याक्षर सँभाले जाते हैं, पर असामान्य विराम-चिह्न अब भी भटका सकते हैं। अनुच्छेद पर काटना यह सवाल पूरी तरह हटा देता है।
अक्सर पूछे जाने वाले प्रश्न
टुकड़े कितने बड़े हों?
यह इस पर निर्भर है कि उन्हें पढ़ता कौन है। खोज के लिए आम तौर पर वे इतने छोटे चाहिए कि ठोस रहें और इतने बड़े कि अकेले खड़े हो सकें: कुछ सौ टोकन आम शुरुआत है।
कितना ओवरलैप चाहिए?
इतना कि सीमा पार करता वाक्य कहीं पूरा दिखे। टुकड़े के आकार का लगभग दसवाँ हिस्सा सामान्य है; इससे ज़्यादा की क़ीमत प्रतिशत में दिख जाती है।
किस सीमा पर काटूँ?
शीर्षक हों तो उन्हीं पर, क्योंकि तब हर टुकड़ा एक खंड ढकता है और उसका नाम साथ रखता है। सामान्य गद्य के लिए अनुच्छेद। बारीक नियंत्रण चाहिए तो वाक्य।
टुकड़ों की टोकन गिनती कितनी सटीक है?
ये अक्षरों पर आधारित अनुमान हैं, जिनका अनुपात बदला जा सकता है, क्योंकि वह भाषा और लिपि पर निर्भर करता है। आकार तय करने के लिए काफ़ी है; गिनने के लिए प्रदाता का टोकनाइज़र लीजिए।
हर टुकड़े के साथ शीर्षक क्यों?
क्योंकि अकेला मिला टुकड़ा अपना संदर्भ खो चुका होता है। शीर्षक रखने का मतलब है कि पाठ इस पहचान के साथ आता है कि वह किस बारे में है।
संबंधित टूल
संदर्भ विंडो योजना — विंडो को प्रॉम्प्ट, उपकरण, इतिहास और जवाब में बाँटिए।