SillyTavern API zgodny z OpenAI: instrukcja krok po kroku

Zanim zaczniesz

Potrzebujesz trzech rzeczy: zainstalowanego SillyTavern, klucza API oraz szczegółów endpointu. Aby uzyskać klucz, zarejestruj się na stronie klucza API za pomocą Google lub e-maila, a następnie jednorazowym kliknięciem odebrać $0,50 kredytu próbnego. Nie wymaga metody płatności i ważny jest przez 7 dni. Pełne doładowania są płatne kryptowalutami (USDT w sieci TRC20 lub USDC na Base), od kwoty $20.

Wartości, które wkleisz:

Pole	Wartość
Bazowy URL	https://api.nsfwaiapi.com/v1
ID modelu	uncensored
Autoryzacja	Klucz Bearer wysyłany jako klucz API

Nie dodawaj /chat/completions do adresu URL. SillyTavern dodaje ścieżkę samodzielnie.

Model jest dostrojony do odpowiadania bez odrzucania treści dla prawnego użytku dorosłych. Treści seksualne z udziałem nieletnich są zawsze zabronione, więc ogranicz definicje postaci do dorosłych.

Sprawdź klucz poza aplikacją

Dwuminutowy test oszczędza dużo zgadywania. Jeśli curl działa, każdy późniejszy błąd to ustawienie SillyTavern, a nie Twój klucz.

Copycurl https://api.nsfwaiapi.com/v1/models \
  -H "Authorization: Bearer YOUR_KEY"

Lista JSON zawierająca uncensored oznacza, że klucz i URL są poprawne. Następnie wypróbuj prawdziwe uzupełnienie:

Copycurl https://api.nsfwaiapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Say hi in five words."}]}'

Odpowiedź z tablicą choices potwierdza, że generowanie działa. Nagłówek odpowiedzi X-Balance-USD pokazuje Twój pozostały kredyt. Więcej szczegółów endpointu znajdziesz w dokumentacji.

Połącz SillyTavern krok po kroku

1. Otwórz ikonę wtyczki (Połączenia API) na górnym pasku.
2. Ustaw typ API na Uzupełnienie czatu.
3. W rozwijanej liście źródeł wybierz Niestandardowy (zgodny z OpenAI).
4. W polu niestandardowego endpointu wklej https://api.nsfwaiapi.com/v1.
5. Wklej swój klucz w polu Klucz API i zapisz go.
6. W polu ID modelu wpisz uncensored. Jeśli aplikacja po połączeniu oferuje listę modeli, wybierz tę samą nazwę.
7. Naciśnij Connect. Zielony status oznacza, że aplikacja dotarła do endpointu.

Etykiety menu nieco się różnią w zależności od wersji SillyTavern, więc jeśli pole ma inną nazwę, szukaj tego, które zawiera URL endpointu. Zasada jest taka sama we wszystkich wersjach: aplikacja wysyła standardowe żądania w formacie OpenAI do podanego URL.

Rozmiar kontekstu i długość odpowiedzi

Ten model ma okno kontekstu 100 000 tokenów, dzielone przez prompt i odpowiedź. SillyTavern wysyła definicję postaci, world info, historię czatu i prompt systemowy w każdej turze, a Ty decydujesz, ile historii uwzględnić za pomocą suwaka rozmiaru kontekstu.

Więcej nie oznacza automatycznie lepiej. Wejście jest rozliczane po $0,15 za 1 mln tokenów, więc żądanie wypełniające 32 000 tokenów kontekstu kosztuje 32 000 / 1 000 000 x $0,15 = $0,0048 przed odpowiedzią. Przy 100 000 tokenach koszt to $0,015 za żądanie. Przy 200 wiadomościach wieczorem różnica to prawdziwe pieniądze względem salda $20: 200 x $0,0048 = $0,96 versus 200 x $0,015 = $3,00 tylko na wejście, przy założeniu pełnego kontekstu od pierwszej wiadomości, co zawyża koszt dla nowego czatu.

Praktyczny start to 16 000 do 32 000 tokenów kontekstu i długość odpowiedzi 300 do 500 tokenów. Zwiększaj kontekst tylko, gdy postać zapomina ważnych rzeczy. przewodnik po modelu roleplay omawia, jak długość kontekstu wpływa na sceny.

Ustawienia samplera do wypróbowania

Przy źródle uzupełnienia czatu SillyTavern wysyła wartości samplera, które API akceptuje. Ta usługa przekazuje temperature, top_p, stop, seed oraz kary za częstotliwość i obecność.

• Temperature: 0,85 do 1,0 dla kreatywnych scen, 0,6 do 0,7 jeśli postać błądzi.
• Top P: 0,9 do 0,95.
• Kara za częstotliwość i obecność: 0,2 do 0,5, aby ograniczyć powtarzanie się zwrotów w długich czatach.
• Strumieniowanie: włącz. Odpowiedzi pojawiają się słowo po słowie i wydają się szybsze. Żądanie strumieniowe zajmuje slot współbieżności do końca strumienia, co ma znaczenie tylko przy uruchomieniu kilku czatów naraz.

Ustawienia należące do innych backendów, takie jak top_k, min_p lub penalty za powtórzenia z silników lokalnych, mogą być ignorowane. Jeśli suwak nie ma widocznego efektu, nie marnuj na niego czasu.

Naprawianie typowych błędów

401 lub błąd uwierzytelnienia

Klucz został wklejony ze spacją lub błędną wartością. Wklej go ponownie i naciśnij Zapisz przed Połącz.

404 lub błąd modelu

Sprawdź, czy base URL kończy się na /v1, a ID modelu to dokładnie uncensored, małymi literami.

429 z kodem rate_limited lub concurrency

Pełny klucz pozwala na 300 żądań na minutę i 8 naraz; klucz próbny pozwala na 60 na minutę i 2 naraz. Jeśli masz wiele kart lub czat grupowy generujący razem, możesz osiągnąć limit współbieżności. Poczekaj chwilę i spróbuj ponownie. 429 z nagłówkiem Retry-After: 5 oznacza tymczasowe przeciążenie, więc odczekanie pięciu sekund to właściwy ruch.

Odpowiedź ucięta w połowie zdania

Zwiększ długość odpowiedzi w SillyTavern. API pozwala completion wykorzystać resztę okna.

Saldo się kończy

Nieudane lub odrzucone żądania nie są rozliczane, ale udane są. Sprawdź cennik, aby poznać kwoty doładowań i bonusy.

Prompty, ustawienia wstępne i czaty grupowe

Tryb Uzupełnienie czatu buduje każde żądanie z listy bloków promptów: główny prompt, opis postaci, scenariusz, przykładowy dialog, world info i historia czatu. Możesz zmieniać ich kolejność lub wyłączać w menedżerze promptów. Dwa nawyki się opłacają.

• Utrzymuj główny prompt krótkim. Kilka linijek o głosie, długości i zasadzie, że model nigdy nie pisze linii użytkownika. Długie, powtarzane instrukcje zużywają tokeny wejściowe w każdej turze.
• Ogranicz przykładowe dialogi. Model kopiuje długość i styl, które widzi. Dwa krótkie przykłady są lepsze niż sześć długich.

Czaty grupowe wysyłają jedno żądanie na mówiącą postać. Przy kluczu próbnym ograniczonym do 2 równoległych żądań, grupa czterech generujących jednocześnie może wywołać błąd concurrency 429. Ustaw grupę na generowanie jednej odpowiedzi naraz lub przejdź na pełny klucz z 8 równoległymi slotami.

Gdy zmieniasz postacie, pamiętaj, że historia czatu jest wysyłana ponownie za każdym razem. Nowy czat zaczyna się od małego okna kontekstu i małego rachunku, więc otwórz świeży czat dla nowej sceny, zamiast ciągnąć historię z 60 000 tokenami.

Koszt sesji

Weź wieczór z 100 wiadomościami. Załóżmy, że średnie zapytanie zawiera 12 000 tokenów danych wejściowych i zwraca 350 tokenów. Dane wejściowe: 100 x 12 000 = 1 200 000 tokenów, co daje 1,2 x $0,15 = $0,18. Dane wyjściowe: 100 x 350 = 35 000 tokenów, co daje 0,035 x $0,50 = $0,0175. Łącznie wychodzi około $0,20 za cały wieczór.

Kredyt nie wygasa i nie ma subskrypcji, więc doładowanie za $20 pokrywa około 100 wieczorów w tym tempie. Bonusy stosuje się przy większych doładowaniach: +5% od $50, +10% od $100, +15% od $200. Liczby zmieniają się w zależności od rozmiaru kontekstu, który jest główną dźwignią, jaką kontrolujesz.

Więcej przewodników

• Prompt systemowy LLM NSFW: struktura i przykłady
• Najlepszy lokalny model LLM do roleplay, czy API hostowane?