प्रशिक्षण पहली ही ख़राब रिकॉर्ड पर गिरता है, और आम तौर पर उसे तब ढूँढ़ता है जब आप घर जा चुके होते हैं। पहले करने लायक़ जाँचें मामूली और तेज़ हैं: हर रिकॉर्ड messages ऐरे वाला ऑब्जेक्ट हो; हर संदेश में भूमिका और सामग्री हो; बातचीत वहीं से शुरू हो जहाँ से होनी चाहिए; और — यही सबसे ज़्यादा छूटती है — सहायक के संदेश पर ख़त्म हो, क्योंकि रिकॉर्ड जो सिखाती है वह वही बारी है। लगातार दो उपयोगकर्ता संदेश भी दिखाए जाते हैं, क्योंकि आम तौर पर उसका मतलब है कि दो रिकॉर्ड आपस में जुड़ गईं। त्रुटियों के साथ-साथ आकार का वितरण उस पूँछ को दिखा देता है जो समाएगी नहीं — इससे पहले कि वही रुकने की वजह बने।
विशेषताएँ
हर टिप्पणी उसी पंक्ति पर जहाँ से वह उठी
हर रिकॉर्ड पढ़ी जाती है या नहीं यह जाँचता है और आगे बढ़ जाता है
भूमिकाएँ ज्ञात समूह से मिलाई जाती हैं, असामान्य दिखाई जाती हैं
सहायक के संदेश पर ख़त्म न होने वाली रिकॉर्ड पकड़ता है
एक ही पक्ष की लगातार दो बारियाँ पकड़ता है
ख़ाली सामग्री पकड़ता है, जो जाँच पास कर लेती है और कुछ सिखाती नहीं
आकार का वितरण: माध्यिका, 90वाँ प्रतिशतक और अधिकतम
अलग नाम वाले प्रारूपों के लिए बदलने योग्य messages कुंजी
डेटासेट जाँच का उपयोग कैसे करें
.jsonl डेटासेट छोड़िए या चिपकाइए
प्रारूप अलग हो तो messages कुंजी बदलिए
त्रुटियाँ ठीक कीजिए, फिर चेतावनियाँ देखिए
आकार का वितरण अपने संदर्भ की सीमा से मिलाइए
उदाहरण
इनपुट
line 3: two user messages in a row
आउटपुट
Records: 3 · Errors: 0 · Warnings: 1
आम तौर पर संकेत कि दो रिकॉर्ड ग़लती से जुड़ गईं।
सामान्य त्रुटियाँ और समस्या निवारण
कोई रिकॉर्ड सहायक के संदेश पर ख़त्म नहीं होती। — उस रिकॉर्ड के पास सिखाने को कुछ नहीं है: लक्ष्य सहायक की आख़िरी बारी है। इसीलिए यह चेतावनी नहीं, त्रुटि है।
messages ऐरे नहीं मिल रहा। — messages कुंजी वही रखिए जो आपके प्रारूप में है। conversation और turns दोनों आम हैं।
लगातार दो उपयोगकर्ता संदेश दिखाए जा रहे हैं। — आम तौर पर दो रिकॉर्ड ग़लती से जुड़ गई हैं। दोहरी बारी जान-बूझकर हो तो यह चेतावनी है, त्रुटि नहीं।
कुछ रिकॉर्ड बहुत बड़ी हैं। — प्रतिशतक पूँछ दिखा देते हैं। संदर्भ सीमा से ऊपर सब कुछ विफल होगा, और यह यहाँ पता चलना प्रशिक्षण के बीच पता चलने से कहीं सस्ता है।
अक्सर पूछे जाने वाले प्रश्न
यह कौन-सा प्रारूप चाहता है?
chat प्रारूप: हर पंक्ति पर एक JSON ऑब्जेक्ट, हर एक में भूमिका-सामग्री जोड़ों वाला messages ऐरे। कुंजी का नाम बदला जा सकता है, पर भीतर का आकार हर जगह वही है।
रिकॉर्ड सहायक के संदेश पर ही क्यों ख़त्म हो?
क्योंकि रिकॉर्ड जो सिखाती है वह वही बारी है। उपयोगकर्ता के संदेश पर ख़त्म होती बातचीत में सवाल है और जवाब नहीं, तो सीखने को कुछ है ही नहीं।
क्या टोकन की गिनती सटीक है?
नहीं, ये अक्षरों पर आधारित अनुमान हैं। ये उस अपवाद को पकड़ने के लिए हैं जो समाएगा नहीं, और उसके लिए सटीकता ज़रूरी नहीं: सटीक संख्या प्रदाता का टोकनाइज़र देता है।
साफ़ नतीजे का मतलब डेटा अच्छा है?
मतलब इतना है कि फ़ाइल की बनावट ठीक है। उदाहरण सही चीज़ सिखाते हैं या नहीं, यह आपके डेटा का सवाल है और उसका जवाब कोई जाँचकर्ता नहीं देता।
क्या मेरा डेटासेट अपलोड होता है?
नहीं। प्रशिक्षण डेटा आम तौर पर किसी टीम की सबसे संवेदनशील फ़ाइल होती है, और यह सब ब्राउज़र में चलता है।