रोलप्ले के लिए सर्वश्रेष्ठ लोकल LLM या होस्टेड API?

लोकल या होस्टेड: त्वरित निर्णय

यदि आपके पास पहले से एक सक्षम GPU है, आप सब कुछ ऑफ़लाइन रखना चाहते हैं, या मॉडल ट्यून करने में आपकी रुचि है, तो स्थानीय विकल्प चुनें। यदि आप कहानी में लंबी मेमोरी चाहते हैं, आप लैपटॉप या फ़ोन का उपयोग करते हैं, या सेटअप पर सप्ताहांत बिताने के बजाय मिनट बिताना पसंद करते हैं, तो होस्टेड विकल्प चुनें। कई लोग दोनों का उपयोग करते हैं: निजी प्रयोगों के लिए स्थानीय मॉडल और लंबी अभियानों के लिए होस्टेड मॉडल।

कारक	स्थानीय मॉडल	होस्टेड API
लागत मॉडल	हार्डवेयर और पावर, प्रति-टोकन शुल्क नहीं	प्रीपेड क्रेडिट से प्रति-टोकन भुगतान करें
मॉडल साइज़	आपके GPU मेमोरी द्वारा सीमित	जो भी प्रदाता चलाता है
कॉन्टेक्स्ट लंबाई	मेमोरी द्वारा सीमित, क्योंकि लंबे कॉन्टेक्स्ट विंडो को अधिक मेमोरी की आवश्यकता होती है	यहाँ 100,000 टोकन
गोपनीयता	कुछ भी आपकी मशीन से बाहर नहीं जाता	प्रॉम्प्ट प्रदाता के पास जाते हैं; यहाँ वे ट्रेनिंग के लिए उपयोग नहीं किए जाते
सेटअप	रनटाइम, वेट्स, क्वांटीज़ेशन, अपडेट	एक बेस यूआरएल और एक कुंजी
किसी भी डिवाइस से काम करता है	केवल तभी जब आप अपनी मशीन एक्सपोज़ करते हैं	हाँ

सबसे अच्छे लोकल मॉडल का वास्तविक निर्णय क्या है

रोलप्ले के लिए सर्वोत्तम लोकल LLM की रैंकिंग जल्दी पुरानी हो जाती है, और कोई भी एक नाम हर किसी के लिए सही नहीं है। इसके बजाय, उन बातों पर उम्मीदवारों का आकलन करें जो एक वास्तविक सत्र में सामने आती हैं।

• अस्वीकार व्यवहार। कई बेस और इन्सट्रक्ट मॉडल कुछ विषयों से बचने के लिए ट्यून किए गए थे। फिक्शन के लिए फाइन-ट्यून किए गए या बिना सेंसर के रूप में चिह्नित मॉडल आमतौर पर कम अस्वीकार करते हैं, लेकिन गुणवत्ता भिन्न होती है, इसलिए अपने दृश्यों पर उन्हें परीक्षण करें।
• कैरेक्टर में रहना। किसी ऐसे मॉडल पर नज़र रखें जो आपके कैरेक्टर की क्रियाओं को वर्णन करने में ड्रिफ्ट हो जाए, हर टर्न पर एक ही वाक्य दोहराता हो या कमरे में कौन है, यह भूल जाए।
• प्रोस क्वालिटी। दस जवाब लगातार पढ़ें। कुछ मॉडल एक टर्न के लिए ठीक हैं, लेकिन दसवें टर्न तक थकाऊ हो जाते हैं।
• कॉन्टेक्स्ट हैंडलिंग। एक मॉडल लंबी विंडो का दावा कर सकता है और फिर भी उसके मध्य से विवरण खो सकता है। एक परीक्षण चलाएँ जहाँ चैट के शुरुआत में एक तथ्य बाद में मायने रखता हो।
• आकार और क्वांटीज़ेशन। एक बड़ा मॉडल जो भारी क्वांटीज़ेशन में दबाया गया है, उच्च प्रिसीजन पर चलाए गए एक छोटे मॉडल की तुलना में अधिक खो सकता है। तुलना करें, अनुमान न लगाएं।

आपके द्वारा उपयोग किए जाने वाले रनटाइम के लिए कम्युनिटी थ्रेड्स और मॉडल कार्ड वर्तमान सिफारिशों के लिए सही जगह हैं। दो या तीन उम्मीदवार डाउनलोड करें, प्रत्येक पर एक ही दृश्य चलाएँ और उसी को रखें जो आपको कहानी जारी रखने के लिए प्रेरित करे।

जहाँ लोकल में जगह खत्म हो जाती है

ज़्यादातर रोलप्लेयर्स जिस दीवार से टकराते हैं, वह मेमोरी है, और यह दो जगहों पर आती है। पहली जगह मॉडल खुद है: बड़ा मॉडल बेहतर लिखता है, लेकिन उसे ज़्यादा GPU मेमोरी चाहिए। दूसरी जगह कॉन्टेक्स्ट विंडो है। लंबी कहानी में हर संवाद हर नई बारी में फिर से भेजा जाता है, और उसे रखने वाला कैश भी लंबाई के साथ बढ़ता है, इसलिए लंबी कैंपेन एक GPU को दबा सकती है जो छोटी चैट के लिए बिल्कुल ठीक चलती है।

सामान्य वर्कअराउंड्स पुराने टर्न्स का सारांश देना, लोरबुक्स का उपयोग करना जो केवल प्रासंगिक तथ्य इंजेक्ट करते हैं, और कॉन्टेक्स्ट साइज़ कम करना हैं। वे काम करते हैं, और वे भी काम हैं। 100,000-टोकन विंडो वाले एक होस्टेड एंडपॉइंट आपको कहानी का बहुत अधिक हिस्सा स्पष्ट रूप से रखने देता है, जो लंबे अभियानों, कई किरदारों वाले साझा दुनियाओं और हफ्तों तक चलने वाली कहानियों के लिए उपयुक्त है।

लागत ही ट्रेड-ऑफ है, इसलिए इसे मापना मददगार साबित होता है। मान लीजिए एक चैट में 30,000 टोकन का इतिहास है और मॉडल हर जवाब में 300 टोकन लिखता है। एक बारी में 30,000 इनपुट टोकन की लागत $0.15 प्रति 1M पर $0.0045 आती है, और 300 आउटपुट टोकन की लागत $0.50 प्रति 1M पर $0.00015 आती है। यह प्रति बारी $0.00465, या 100 बारी में $0.465 है। लंबी शाम की खेलने की लागत एक डॉलर से भी कम आती है। मूल्य सूची पेज पर दरें और बड़े टॉप-अप के लिए बोनस स्तर दिए गए हैं।

पायथन में एक काम करने वाला होस्टेड सेटअप

एंडपॉइंट OpenAI-कम्पैटिबल है, इसलिए आधिकारिक openai पैकेग बिना किसी बदलाव के काम करेगा, सिवाय बेस URL और कुंजी के। मॉडल आईडी uncensored है। पहले API कुंजी पेज से एक कुंजी प्राप्त करें; नए खाते एक क्लिक से वहाँ $0.50 का ट्रायल क्लेम कर सकते हैं, पेमेंट विवरण की ज़रूरत नहीं है।

यह स्क्रिप्ट रोलिंग हिस्ट्री रखती है, जवाब को स्ट्रीम करती है और पुरानी बारी को काट देती है ताकि प्रॉम्प्ट छोटा रहे। सिस्टम प्रॉम्प्ट वह हिस्सा है जिस पर समय लगाना सार्थक है: यह सेटिंग, नियमों और शैली को सेट करता है।

Copyimport os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.nsfwaiapi.com/v1",
    api_key=os.environ["NSFWAIAPI_KEY"],
)

SYSTEM = '''You are the narrator and all non-player characters in an adult fiction roleplay.
Setting: a rain-soaked port city, late autumn, gaslight and smuggler politics.
Rules:
- Write in third person, past tense, 2 to 4 short paragraphs per reply.
- Never write the player's actions, words or thoughts. Stop where the player decides.
- Keep each character's voice and goals consistent. Track who is present in the scene.
- All characters are adults. Do not write sexual content involving minors under any circumstances.
- Stay in the story. No disclaimers or out-of-character commentary unless the player asks with (OOC).'''

history = [{"role": "system", "content": SYSTEM}]
MAX_TURNS = 40  # keep the last 40 messages besides the system prompt

def say(user_text):
    history.append({"role": "user", "content": user_text})
    trimmed = [history[0]] + history[1:][-MAX_TURNS:]
    stream = client.chat.completions.create(
        model="uncensored",
        messages=trimmed,
        temperature=0.9,
        top_p=0.95,
        frequency_penalty=0.3,
        max_tokens=600,
        stream=True,
    )
    reply = ""
    for chunk in stream:
        if chunk.choices and chunk.choices[0].delta.content:
            piece = chunk.choices[0].delta.content
            reply += piece
            print(piece, end="", flush=True)
    print()
    history.append({"role": "assistant", "content": reply})

say("I push open the door of the Gull and Anchor and look for the harbor master.")

चूँकि विंडो 100,000 टोकन की है, आप MAX_TURNS को बहुत बढ़ा सकते हैं, इससे पहले कि ट्राइमिंग मायने रखने लगे। ट्राइमिंग अभी भी एक अच्छी आदत है: छोटे प्रॉम्प्ट की लागत कम आती है और मॉडल को हाल की घटनाओं पर केंद्रित रखते हैं।

SilkyTavern और समान ऐप्स के लिए क्लाइंट सेटिंग्स

ज़्यादातर रोलप्ले फ्रंट एंड्स में OpenAI-कम्पैटिबल या कस्टम चैट कंप्लीशन स्रोत के लिए एक कनेक्शन स्क्रीन होती है। SillyTavern, उदाहरण के लिए, आपको एक OpenAI-कम्पैटिबल एंडपॉइंट जोड़ने देता है। फ़ील्ड्स हर जगह समान हैं:

• बेस या एंडपॉइंट URL: https://api.nsfwaiapi.com/v1। कुछ ऐप्स को /chat/completions पर समाप्त होने वाला पूरा पाथ चाहिए; अगर ऐप बेस मांगता है, तो /v1 पर रुक जाएं।
• API कुंजी: आपकी कुंजी, बेयरर टोकन के रूप में भेजी जाती है।
• मॉडल: uncensored। यदि ऐप मॉडल सूची प्राप्त कर सकता है, तो वह GET /v1/models को कॉल कर सकता है।
• स्ट्रीमिंग चालू है। जवाब लिखे जाते हुए दिखाई देते हैं, और ऐप आपकी दिशा पसंद न आए तो जल्दी बंद कर सकता है।

सैम्पलिंग के लिए, 0.8 से 1.0 के आसपास तापमान नैरेटिव टेक्स्ट के लिए उपयुक्त है, top_p लगभग 0.95 के साथ। एक छोटा फ्रीक्वेंसी या प्रेजेंस पेनाल्टी लंबी चैट्स में जमा होने वाले दोहराए गए वाक्यांशों को कम करता है। केवल तभी पेनाल्टी बढ़ाएं यदि आप दोहराव देखते हैं, क्योंकि उच्च मान लेखन को अजीब तरह से एवॉइड करने का कारण बनते हैं। स्टॉप सीक्वेंस पास किए जाते हैं, इसलिए यदि कोई मॉडल आपके लिए बोलने की कोशिश कर रहा है, तो एक स्टॉप स्ट्रिंग के रूप में खिलाड़ी का नाम उसके बाद एक कॉलन जोड़ना मददगार होता है। ऐप की कॉन्टेक्स्ट साइज़ उसी पर सेट करें जिसके लिए आप भुगतान करना चाहते हैं; आपको सभी 100,000 टोकन भरने की आवश्यकता नहीं है।

समानांतर अनुरोधों को ध्यान में रखें यदि आप कई चैट टैब या दोस्तों के लिए एक बॉट चलाते हैं। एक पूर्ण कुंजी 8 समानांतर अनुरोधों और प्रति मिनट 300 की अनुमति देती है, और एक ट्रायल कुंजी 2 और 60 की अनुमति देती है। एक स्ट्रीम किए गए उत्तर में स्ट्रीम समाप्त होने तक उसकी जगह बनी रहती है, इसलिए एक फंसा हुआ टैब एक स्लॉट का उपयोग कर सकता है। docs सीमाओं और प्रतिक्रिया हेडर, जिसमें X-Balance-USD शामिल है, जो आपके शेष क्रेडिट दिखाता है, की सूची बनाते हैं।

एक छोटा रूटीन जो लंबी कहानियों को स्वस्थ रखता है

लंबे रोलप्ले सेशन भविष्यवाणी योग्य तरीकों से गलत हो जाते हैं, और कुछ आदतें इसमें से अधिकांश को रोक सकती हैं। हर 20 या 30 टर्न्स पर एक छोटी कहानी सारांश लिखें और इसे प्रॉम्प्ट के शीर्ष पर रखें, सिस्टम मैसेज के बाद। इसे हैंड अपडेट करें या मॉडल से इसे बनाने के लिए कहें, फिर जांचें कि नाम, स्थान और वादे बचे हुए हैं। उन तथ्यों को पिन करें जिन्हें कभी भुलाया नहीं जाना चाहिए, जैसे कि रिश्ते और खुले थ्रेड, सिस्टम प्रॉम्प्ट में ही।

यदि कोई जवाब उस दिशा में जाता है जिसे आप पसंद नहीं करते, तो चैट में उसके साथ तर्क करने के बजाय उसे रीजेनरेट करें। तर्क इतिहास को प्रदूषित करते हैं और मॉडल को सिखाते हैं कि दृश्य तर्क के बारे में है। जब आप मार्गदर्शन करना चाहते हैं, तो कोष्ठक में एक स्पष्ट लाइन जोड़ें, जैसे कि अगले दृश्य के मूड के बारे में एक नोट, और अगले जवाब को इसे ले जाने दें। किरदारों के नाम स्थिर रखें और हर गैर-प्लेयर किरदार को एक लाइन की वॉइस नोट दें, क्योंकि मॉडल समान आवाज वाले किरदारों को धुंधला कर देते हैं।

इस मॉडल की ईमानदार लिमिट्स

यह एक ओपन-वेट मॉडल है, एक स्वतंत्र प्रदाता द्वारा चलाया जाता है और कानूनी वयस्कों के उपयोग के लिए बिना कंटेंट रिफ्यूज़ल के जवाब देने के लिए ट्यून किया गया है। यह किसी मॉडल विक्रेता की आधिकारिक API नहीं है और न ही कई मॉडल के बीच एक राउटर है। आप मॉडल के बीच चयन नहीं कर सकते, और आपको उम्मीद नहीं करनी चाहिए कि यह हर कार्य पर सबसे अच्छे बंद मॉडल के बराबर होगा।

यह केवल टेक्स्ट जनरेट करता है। आपके किरदारों के लिए कोई इमेज नहीं, कोई वॉइस नहीं और लोरबुक सर्च के लिए कोई एम्बेडिंग नहीं है, इसलिए अगर आप पोर्ट्रेट या स्पीच चाहते हैं तो आपको प्रत्येक के लिए एक अलग सर्विस जोड़नी होगी। फाइन-ट्यूनिंग भी नहीं है। गुणवत्ता आपके प्रॉम्प्ट पर भी निर्भर करेगी: एक अस्पष्ट सिस्टम प्रॉम्प्ट अस्पष्ट फिक्शन देता है, और एक अच्छा कैरेक्टर प्रोफ़ाइल उदाहरण संवाद के साथ किसी भी सैम्पलिंग ट्विक से ज़्यादा करता है।

एक नियम स्थिर है। नाबालिगों से जुड़ी यौन सामग्री अनुमत नहीं है, और एक सेटअप जो इसे उत्पादित करने की कोशिश करेगा, उसे सपोर्ट नहीं किया जाएगा। किरदारों को वयस्क रखें, और अपने उपयोग को कानूनी रखें। फिक्शन, कंपैनियन ऐप्स और वयस्कों के लिए बने किरदार चैट के लिए, कम रिफ्यूज़ल और लंबी विंडो का संयोजन ही उपयोगी हिस्सा है।

अधिक गाइड

• कौन सा LLM API मुफ़्त है? विकल्प, लिमिट्स और एक असली ट्रायल
• Python में NSFW LLM API: स्ट्रीमिंग, JSON और टूल्स
• बिना सेंसर LLM API: OpenAI संगत टेक्स्ट मॉडल