SillyTavern API, совместимый с OpenAI: пошаговая настройка

Перед началом

Вам нужны три вещи: запущенная установка SillyTavern, API-ключ и данные эндпоинта. Для ключа зарегистрируйтесь на странице API-ключ через Google или email, затем получите пробный кредит $0,50 в один клик. Для него не нужен способ оплаты, и он действует 7 дней. Полные пополнения оплачиваются криптовалютой (USDT в сети TRC20 или USDC в сети Base), начиная с $20.

Значения, которые вы вставите:

Поле	Значение
Базовый URL	https://api.nsfwaiapi.com/v1
ID модели	uncensored
Аутентификация	Ключ Bearer, отправляемый как API-ключ

Не добавляйте /chat/completions к базовому URL. Приложение SillyTavern добавляет путь само.

Модель настроена на ответы без отказов по контенту для законного использования взрослыми. Сексуальный контент с участием несовершеннолетних всегда запрещён, поэтому ограничьте определения персонажей взрослыми.

Проверьте ключ вне приложения

Двухминутный тест экономит много догадок. Если curl работает, любая последующая ошибка — это настройка SillyTavern, а не ваш ключ.

Copycurl https://api.nsfwaiapi.com/v1/models \
  -H "Authorization: Bearer YOUR_KEY"

Список JSON, содержащий uncensored, означает, что ключ и URL верны. Затем попробуйте получить ответ модели:

Copycurl https://api.nsfwaiapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Say hi in five words."}]}'

Ответ с массивом choices подтверждает, что генерация работает. Заголовок ответа X-Balance-USD показывает ваш оставшийся кредит. Более подробная информация об эндпоинте доступна в документации.

Подключение SillyTavern шаг за шагом

1. Откройте значок вилки (Подключения API) на верхней панели.
2. Установите тип API на Chat Completion.
3. В выпадающем списке источника выберите Пользовательский (совместимый с OpenAI).
4. В поле пользовательского эндпоинта вставьте https://api.nsfwaiapi.com/v1.
5. Вставьте свой ключ в поле API-ключ и сохраните его.
6. В поле идентификатора модели введите uncensored. Если после подключения приложение предлагает список моделей, выберите то же имя.
7. Нажмите «Подключиться». Зелёная строка статуса означает, что приложение подключилось к эндпоинту.

Метки меню немного меняются между выпусками SillyTavern, поэтому если поле имеет другое название, ищите то, которое содержит URL эндпоинта. Идея одинакова во всех версиях: приложение отправляет стандартные запросы в формате OpenAI по указанному вами URL.

Размер контекста и длина ответа

У этой модели 100 000-токенное контекстное окно, общее для промпта и ответа. SillyTavern отправляет определение вашего персонажа, информацию о мире, историю чата и системный промпт на каждом шаге, и вы решаете, сколько истории включать с помощью ползунка размера контекста.

Больше — не значит автоматически лучше. Ввод оплачивается по $0,15 за 1 млн токенов, поэтому запрос, заполняющий 32 000 токенов контекста, стоит 32 000 / 1 000 000 x $0,15 = $0,0048 до ответа. При 100 000 токенов это $0,015 за запрос. За вечер из 200 сообщений эта разница — реальные деньги относительно баланса $20: 200 x $0,0048 = $0,96 против 200 x $0,015 = $3,00 только за ввод, при условии, что контекст полный с первого сообщения, что преувеличивает это для нового чата.

Практичное начало — 16 000–32 000 токенов контекста и длина ответа 300–500 токенов. Увеличивайте контекст только когда персонаж забывает важные вещи. Гид по ролевой модели подробно описывает, как длинные контексты влияют на сцены.

Настройки сэмплера для тестирования

С источником chat completion SillyTavern отправляет значения сэмплера, которые принимает API. Этот сервис пропускает temperature, top_p, stop, seed и штрафы за частоту и присутствие.

• Temperature: 0,85–1,0 для творческих сцен, 0,6–0,7 если персонаж уходит в сторону.
• Top P: 0,9–0,95.
• Штраф за частоту и присутствие: 0,2–0,5, чтобы сократить повторяющиеся фразы в длинных чатах.
• Потоковая передача: включите её. Ответы появляются по словам и кажутся быстрее. Потоковый запрос удерживает слот параллельных запросов до завершения потока, что важно только при запуске нескольких чатов одновременно.

Настройки, относящиеся к другим бэкендам, такие как top_k, min_p или штраф за повторение из локальных движков, могут игнорироваться. Если ползунок не имеет видимого эффекта, не тратьте на него время.

Исправление распространенных ошибок

401 или ошибка аутентификации

Ключ был вставлен с пробелом или неверным значением. Вставьте его снова и нажмите сохранить перед Подключить.

404 или ошибка модели

Проверьте, что базовый URL заканчивается на /v1, а идентификатор модели точно uncensored, строчными буквами.

429 с кодом rate_limited или concurrency

Полный ключ позволяет 300 запросов в минуту и 8 одновременно; пробный ключ позволяет 60 в минуту и 2 одновременно. Если у вас несколько вкладок или групповой чат, генерирующий вместе, вы можете достичь предела параллельных запросов. Подождите немного и повторите попытку. 429 с заголовком Retry-After: 5 означает временную перегрузку, поэтому ожидание пяти секунд — правильное решение.

Ответ обрезан на полуслове

Увеличьте длину ответа в SillyTavern. Сам API позволяет завершению использовать оставшуюся часть окна.

Баланс исчерпан

Неудачные или отклонённые запросы не оплачиваются, но успешные — оплачиваются. Проверьте цены для сумм пополнения и бонусов.

Промпты, пресеты и групповые чаты

Режим Chat Completion формирует каждый запрос из списка блоков промптов: основной промпт, описание персонажа, сценарий, пример диалога, информация о мире и история чата. Вы можете изменить их порядок или отключить в менеджере промптов. Две привычки окупаются.

• Держите основной промпт коротким. Несколько строк о голосе, длине и правиле, что модель никогда не пишет реплики пользователя. Длинные повторяющиеся инструкции используют токены ввода на каждом шаге.
• Обрежьте пример диалога. Модель копирует длину и стиль, которые она видит. Два коротких примера лучше шести длинных.

Групповые чаты отправляют один запрос на говорящего персонажа. С пробным ключом, ограниченным 2 параллельными запросами, группа из четырёх персонажей, генерирующая параллельно, может вызвать concurrency 429. Установите группе генерацию одного ответа за раз или перейдите на полный ключ с 8 слотами параллельных запросов.

При смене персонажей помните, что история чата отправляется заново. Новый чат начинается с малого контекста и малых расходов, поэтому откройте новый чат для новой сцены, а не тащите историю на 60 000 токенов.

Стоимость сессии

Возьмите вечер из 100 сообщений. Скажем, средний запрос содержит 12 000 токенов ввода и возвращает 350 токенов. Ввод: 100 x 12 000 = 1 200 000 токенов, что составляет 1,2 x $0,15 = $0,18. Вывод: 100 x 350 = 35 000 токенов, что составляет 0,035 x $0,50 = $0,0175. Итого около $0,20 за весь вечер.

Кредит никогда не истекает, и подписки нет, поэтому пополнение $20 покрывает примерно 100 вечеров по этой ставке. Бонусы применяются при больших пополнениях: +5% от $50, +10% от $100, +15% от $200. Суммы зависят от размера вашего контекста, который является основным рычагом, которым вы управляете.

Дополнительные руководства

• Системный промпт NSFW LLM: структура и примеры
• Лучшая локальная языковая модель для ролевой игры или хостинговый API?