SillyTavern OpenAI Uyumlu API: Adım Adım Kurulum

Başlamadan önce

Üç şeye ihtiyacınız var: Çalışan bir SillyTavern kurulumu, bir API anahtarı ve uç nokta bilgileri. Anahtar için API anahtarı sayfası üzerinden Google veya e-posta ile kayıt olun, ardından tek tıkla $0,50 deneme kredisi talep edin. Ödeme yöntemi gerektirmez ve 7 gün boyunca geçerlidir. Tam bakiye yükleme işlemleri kripto ile (TRC20 üzerinde USDT veya Base üzerinde USDC) yapılır ve minimum $20'den başlar.

Yapıştırmanız gereken değerler:

Alan	Değer
Temel URL	https://api.nsfwaiapi.com/v1
Model kimliği	uncensored
Kimlik Doğrulama	API anahtarı olarak gönderilen Bearer anahtarı

Base URL'ye /chat/completions eklemeyin. SillyTavern yolu kendisi ekler.

Model, yasal yetişkin kullanımı için içerik reddi olmadan yanıt verecek şekilde ayarlanmıştır. Reşit olmayanlar içeren cinsel içerik asla kabul edilmez, bu nedenle karakter tanımlarınızı yetişkinlerle sınırlı tutun.

Anahtarı uygulama dışında kontrol edin

İki dakikalık bir test, çok sayıda tahmin yapmaktan kurtarır. curl çalışıyorsa, sonraki herhangi bir hata anahtarınızda değil, SillyTavern ayarlarınızdadır.

Copycurl https://api.nsfwaiapi.com/v1/models \
  -H "Authorization: Bearer YOUR_KEY"

uncensored içeren bir JSON listesi, anahtarın ve URL'nin doğru olduğunu gösterir. Ardından gerçek bir tamamlama deneyin:

Copycurl https://api.nsfwaiapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Say hi in five words."}]}'

choices dizisi içeren bir yanıt, oluşturmanın çalıştığını doğrular. X-Balance-USD yanıt başlığı kalan kredisinizi gösterir. Daha fazla uç nokta detayı belgelerde yer almaktadır.

SillyTavern'i adım adım bağlayın

1. Üst çubuktaki fiş simgesini (API Bağlantıları) açın.
2. API türünü Sohbet Tamamlama olarak ayarlayın.
3. Kaynak açılır menüsünde Özel (OpenAI uyumlu) seçeneğini belirleyin.
4. Özel uç nokta alanına https://api.nsfwaiapi.com/v1 yapıştırın.
5. Anahtarınızı API anahtarı alanına yapıştırın ve kaydedin.
6. Model ID alanına uncensored yazın. Bağlandıktan sonra uygulama bir model listesi sunarsa, aynı adı seçin.
7. Bağlan'a basın. Yeşil durum satırı, uygulamanın uç noktaya ulaştığını gösterir.

Menü etiketleri SillyTavern sürümleri arasında biraz değişir, bu nedenle bir alan farklı bir ada sahipse, uç nokta URL'sini tutan alanı arayın. Her sürümdeki fikir aynıdır: uygulama, size verdiğiniz URL'ye standart OpenAI formatında istekler gönderir.

Bağlam boyutu ve yanıt uzunluğu

Bu model, istem ve yanıt tarafından paylaşılan 100.000 token'lık bir bağlam penceresine sahiptir. SillyTavern, her adımda karakter tanımınızı, dünya bilgilerini, sohbet geçmişinizi ve sistem isteminizi gönderir; bağlam boyutu kaydırıcısı ile geçmişin ne kadarını dahil edeceğinize siz karar verirsiniz.

Daha büyük olması otomatik olarak daha iyi olduğu anlamına gelmez. Giriş, 1M token başına $0,15 üzerinden faturalandırılır; bu nedenle bağlam penceresinin 32.000 token'ını dolduran bir istek, yanıt gelmeden önce 32.000 / 1.000.000 x $0,15 = $0,0048 tutarında maliyet oluşturur. 100.000 token'da bu değer istek başına $0,015'tir. 200 mesajlık bir akşamda bu fark, $20'lik bir bakiye için gerçek paradır: yalnızca giriş için 200 x $0,0048 = $0,96 karşısında 200 x $0,015 = $3,00 (bağlamın ilk mesajdan itibaren dolu olduğu varsayımıyla; bu, yeni bir sohbet için durumu abartır).

Pratik bir başlangıç, 16.000 ile 32.000 token arasında bağlam ve 300 ile 500 token arasında yanıt uzunluğudur. Karakter önemli şeyleri unuttuğunda yalnızca bağlamı artırın. rol yapma model kılavuzu, bağlam uzunluklarının sahneleri nasıl etkilediğini tartışır.

Denenecek örnekleme ayarları

Sohbet tamamlama kaynağı ile, SillyTavern API'nin kabul ettiği örnekleme değerlerini gönderir. Bu hizmet sıcaklık, top_p, stop, seed ve sıklık ile varlık ceza değerlerini geçirir.

• Sıcaklık: Yaratıcı sahneler için 0.85 ile 1.0 arasında, karakter dolaşırsa 0.6 ile 0.7 arasında.
• Top P: 0.9 ile 0.95 arasında.
• Sıklık ve varlık cezası: Uzun sohbetlerde tekrarlayan ifadeleri kesmek için 0.2 ile 0.5 arasında.
• Akış: Açın. Yanıtlar kelime kelime görünür ve daha hızlı hissettirir. Akışlı bir istek, akış bitene kadar bir eşzamanlılık slotu tutar; bu, aynı anda birkaç sohbet çalıştırıyorsanız önemlidir.

top_k, min_p veya yerel motorlardan gelen tekrar cezası gibi diğer arka uçlara ait ayarlar yoksayılabilir. Bir kaydırıcının görünür bir etkisi yoksa, üzerinde zaman harcamayın.

Yaygın hataları düzeltme

401 veya kimlik doğrulama hatası

Anahtar boşlukla veya yanlış değerle yapıştırıldı. Tekrar yapıştırın ve Bağlan'a basmadan önce kaydedin.

404 veya model hatası

Base URL'nin /v1 ile bittiğinden ve model ID'sinin tam olarak uncensored, küçük harfle yazıldığından emin olun.

429 kodu rate_limited veya eşzamanlılık ile

Tam bir anahtar dakikada 300 istek ve aynı anda 8 istek yapmanıza izin verir; bir deneme anahtarı dakikada 60 istek ve aynı anda 2 istek yapmanıza izin verir. Birden fazla sekmeniz veya birlikte oluşturma yapan bir grup sohbetiniz varsa, eşzamanlılık sınırına ulaşabilirsiniz. Bir süre bekleyip tekrar deneyin. Retry-After: 5 başlığı içeren bir 429 yanıtı, geçici bir aşırı yüklenme anlamına gelir, bu nedenle beş saniye beklemek doğru harekettir.

Yanıt cümle ortasında kesiliyor

SillyTavern'de yanıt uzunluğunu artırın. API, bir tamamlamanın pencerenin geri kalanını kullanmasına izin verir.

Bakiye biter

Başarısız veya reddedilen istekler ücretlendirilmez, ancak başarılı olanlar ücretlendirilir. Bakiye yükleme miktarları ve bonuslar için fiyatlandırma sayfasını kontrol edin.

İstemler, ön ayarlar ve grup sohbetleri

Sohbet Tamamlama modu her isteği bir istem bloğu listesinden oluşturur: ana istem, karakter açıklaması, senaryo, örnek diyalog, dünya bilgisi ve sohbet geçmişi. İstem yöneticisinde yeniden sıralayabilir veya kapatabilirsiniz. İki alışkanlık işe yarar.

• Ana istemi kısa tutun. Ses, uzunluk ve modelin kullanıcı satırlarını asla yazmaması kuralı hakkında birkaç satır. Uzun, tekrarlayan talimatlar her adımda giriş token'ları kullanır.
• Örnek diyalogları kısaltın. Model, gördüğü uzunluğu ve stili kopyalar. İki kısa örnek, altı uzun örneği yener.

Grup sohbetleri, konuşan her karakter için tek bir istek gönderir. Eşzamanlı istekler için 2'ye sınırlandırılmış bir deneme anahtarı ile, eşzamanlı olarak yanıt üreten dört kişilik bir grupta concurrency 429 hatası tetiklenebilir. Grubu sırayla tek tek yanıt üretecek şekilde ayarlayın veya 8 eşzamanlı slot içeren tam anahtara geçin.

Karakterleri değiştirdiğinizde, sohbet geçmişinin her seferinde yeniden gönderildiğini unutmayın. Yeni bir sohbet, küçük bir bağlam ve küçük bir fatura ile başlar; bu nedenle yeni bir sahne için 60.000 token'lık bir geçmişle birlikte sürüklemek yerine yeni bir sohbet açın.

Bir oturumun maliyeti

100 mesajlık bir akşam düşünün. Ortalama bir istekte 12.000 token giriş ve 350 token çıkış olduğunu varsayalım. Giriş: 100 x 12.000 = 1.200.000 token, bu da 1,2 x $0,15 = $0,18 eder. Çıkış: 100 x 350 = 35.000 token, bu da 0,035 x $0,50 = $0,0175 eder. Toplam tutar tüm akşam için yaklaşık $0,20'dir.

Kredi asla sona ermez ve abonelik yoktur, bu nedenle $20'lik bir bakiye yükleme bu oranda yaklaşık 100 akşamı karşılar. Daha büyük bakiye yüklemelerinde bonuslar uygulanır: $50'den +%5, $100'den +%10, $200'den +%15. Sayılar bağlam boyutunuzla değişir; bu da kontrol edebileceğiniz ana kaldıraçtır.

Daha fazla kılavuz

• NSFW LLM Sistem İstemi: Yapı ve Örnekler
• Rol yapma için en iyi yerel LLM mi, yoksa barındırılan bir API mi?