SillyTavern OpenAI 호환 API: 단계별 설정

시작하기 전

세 가지가 필요합니다: 실행 중인 SillyTavern 설치본, API 키, 엔드포인트 정보입니다. 키를 얻으려면 API 키 페이지에서 Google 또는 이메일로 로그인한 후 한 번의 클릭으로 $0.50 무료 체험 크레딧을 청구하세요. 결제 수단이 필요 없으며 7일 동안 유효합니다. 전체 충전은 암호화폐(USDT(TRC20) 또는 USDC(Base))로 진행하며 최소 $20부터 가능합니다.

붙여넣을 값:

필드	내용
기본 URL	https://api.nsfwaiapi.com/v1
모델 ID	uncensored
인증	API 키로 사용되는 Bearer 토큰 형식의 키

Base URL에 /chat/completions을 추가하지 마십시오. SillyTavern 앱이 경로를 자동으로 추가합니다.

이 모델은 합법적인 성인 사용에 대해 콘텐츠 거부 없이 답변하도록 조정되었습니다. 미성년자가 관련된 성 콘텐츠는 절대 허용되지 않으므로 캐릭터 정의를 성인에 한정하십시오.

앱 외부에서 API 키 확인

2분간의 테스트는 많은 추측을 줄여줍니다. curl이 작동한다면, 이후의 모든 실패는 SillyTavern 설정의 문제이며 API 키의 문제가 아닙니다.

Copycurl https://api.nsfwaiapi.com/v1/models \
  -H "Authorization: Bearer YOUR_KEY"

uncensored가 포함된 JSON 목록은 API 키와 URL이 정확함을 의미합니다. 그런 다음 실제 응답 생성을 시도하십시오:

Copycurl https://api.nsfwaiapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Say hi in five words."}]}'

choices 배열이 있는 응답은 생성이 작동함을 확인합니다. X-Balance-USD 응답 헤더는 남은 크레딧을 보여줍니다. 더 많은 엔드포인트 세부 정보는 docs에 있습니다.

SillyTavern을 단계별로 연결하기

1. 상단 바에서 플러그 아이콘(API Connections)을 엽니다.
2. API 유형을 채팅 생성로 설정합니다.
3. 소스 드롭다운에서 Custom (OpenAI-compatible)을 선택합니다.
4. 사용자 정의 엔드포인트 필드에 https://api.nsfwaiapi.com/v1을 붙여넣습니다.
5. API 키 필드에 키를 붙여넣고 저장합니다.
6. 모델 ID 필드에 uncensored를 입력합니다. 연결 후 앱에서 모델 목록을 제공하는 경우 동일한 이름을 선택하십시오.
7. Connect를 누릅니다. 녹색 상태 줄은 앱이 엔드포인트에 도달했음을 의미합니다.

메뉴 레이블은 SillyTavern 버전 간에 약간씩 달라질 수 있으므로, 필드의 이름이 다르다면 엔드포인트 URL을 저장하는 필드를 찾아보세요. 모든 버전에서 논리는 동일합니다: 앱이 제공된 URL로 표준 OpenAI 형식의 요청을 전송합니다.

컨텍스트 크기 및 응답 길이

이 모델은 프롬프트와 응답 모두에 공유되는 100,000 토큰 컨텍스트 창을 가지고 있습니다. SillyTavern은 매 턴마다 캐릭터 정의, 월드 정보, 채팅 기록 및 시스템 프롬프트를 보내며, 컨텍스트 크기 슬라이더로 포함할 기록의 양을 결정합니다.

더 큰 것이 항상 더 좋은 것은 아닙니다. 입력은 1M 토큰당 $0.15에 따라 청구되므로 컨텍스트의 32,000 토큰을 채우는 요청은 응답 전 32,000 / 1,000,000 x $0.15 = $0.0048의 비용이 듭니다. 100,000 토큰의 경우 요청당 $0.015입니다. 200개의 메시지가 있는 저녁 동안 이 격차는 $20 잔액에 비해 실제 돈입니다: 200 x $0.0048 = $0.96 대 200 x $0.015 = $3.00의 입력만으로도, 첫 번째 메시지부터 컨텍스트가 가득 차 있다고 가정할 때(새 채팅의 경우 과장됨).

실용적인 시작은 16,000~32,000 토큰의 컨텍스트와 300~500 토큰의 응답 길이입니다. 캐릭터가 중요한 사실을 잊는 경우에만 컨텍스트를 늘리세요. 롤플레이 모델 가이드에서는 컨텍스트 길이가 장면의 진행에 미치는 영향에 대해 자세히 설명합니다.

시도할 샘플러 설정

채팅 완료 소스를 사용하면 SillyTavern은 API가 허용하는 샘플러 값을 전송합니다. 이 서비스는 temperature, top_p, stop, seed 및 frequency penalty와 presence penalty를 그대로 전달합니다.

• Temperature: 창의적인 장면의 경우 0.85에서 1.0, 캐릭터가 이탈하는 경우 0.6에서 0.7.
• Top P: 0.9에서 0.95.
• 빈도 및 존재 페널티: 긴 채팅에서 반복된 구문을 줄이려면 0.2에서 0.5.
• Streaming: 켜십시오. 응답은 단어별로 나타나고 더 빠르게 느껴집니다. 스트리밍 요청은 스트림이 끝날 때까지 동시성 슬롯을 보유하므로 여러 채팅을 동시에 실행하는 경우에만 중요합니다.

top_k, min_p 또는 로컬 엔진의 repetition penalty와 같은 다른 백엔드에 속하는 설정은 무시될 수 있습니다. 슬라이더가 눈에 띄는 효과를 나타내지 않으면 시간을 낭비하지 마십시오.

일반적인 오류 해결

401 또는 인증 실패

API 키에 공백이 포함되어 붙여넣어졌습니다. 다시 붙여넣고 Connect 전에 저장을 누르십시오.

404 또는 모델 오류

Base URL이 /v1로 끝나는지 확인하고 모델 ID가 정확히 uncensored인지 확인하십시오(소문자).

429, 코드 rate_limited 또는 concurrency

전체 키는 분당 300개의 요청과 동시 요청 8개를 허용합니다. 체험 키는 분당 60개와 동시 요청 2개를 허용합니다. 여러 탭이나 그룹 채팅이 동시에 생성하는 경우 동시성 한도에 도달할 수 있습니다. 잠시 기다렸다가 다시 시도하십시오. Retry-After: 5 헤더가 있는 429은 일시적인 과부하를 의미하므로 5초 기다리는 것이 올바른 조치입니다.

대화가 중간에 잘림

SillyTavern에서 응답 길이를 늘리세요. API 자체는 응답이 컨텍스트 창의 나머지 부분을 사용할 수 있게 합니다.

잔액 고갈

실패하거나 거부된 요청은 요금이 청구되지 않지만 성공적인 요청은 요금이 청구됩니다. 충전 금액과 보너스에 대해서는 가격을 확인하십시오.

프롬프트, 프리셋 및 그룹 채팅

Chat Completion 모드는 프롬프트 블록 목록(메인 프롬프트, 캐릭터 설명, 시나리오, 예시 대화, 월드 정보 및 채팅 기록)에서 각 요청을 생성합니다. 프롬프트 관리자에서 순서를 바꾸거나 끌 수 있습니다. 두 가지 습관이 도움이 됩니다.

• 메인 프롬프트는 짧게 유지하십시오. 음성, 길이 및 모델이 사용자 줄을 쓰지 않는다는 규칙에 대한 몇 줄의 설명. 길고 반복된 지시는 매 턴마다 입력 토큰을 사용합니다.
• 예시 대화를 다듬으십시오. 모델은 본 길이와 스타일을 복사합니다. 짧은 예시 두 개가 긴 예시 여섯 개보다 낫습니다.

그룹 채팅은 말하는 캐릭터마다 하나의 요청을 보냅니다. 동시 요청이 2개로 제한된 체험 키를 사용하면 병렬로 생성하는 4명의 그룹이 concurrency 429을 트리거할 수 있습니다. 그룹을 한 번에 하나의 응답만 생성하도록 설정하거나 동시성 슬롯이 8개인 전체 키로 이동하십시오.

캐릭터를 바꿀 때 채팅 기록이 매번 다시 전송된다는 것을 기억하십시오. 새 채팅은 작은 컨텍스트와 작은 청구로 시작되므로 새로운 장면을 위해 60,000 토큰의 기록을 함께 유지하는 대신 새 채팅을 여십시오.

세션 비용

100개의 메시지가 오가는 저녁을 가정해 보세요. 평균 요청이 12,000 토큰의 입력과 350 토큰의 출력을 생성한다고 간주합니다. 입력: 100 x 12,000 = 1,200,000 토큰, 이는 1.2 x $0.15 = $0.18입니다. 출력: 100 x 350 = 35,000 토큰, 이는 0.035 x $0.50 = $0.0175입니다. 전체 저녁의 총 비용은 약 $0.20입니다.

크레딧은 만료되지 않으며 구독이 없으므로 $20 충전은 해당 속도로 약 100번의 저녁을 감당할 수 있습니다. 더 큰 충전에는 보너스가 적용됩니다: $50부터 +5%, $100부터 +10%, $200부터 +15%. 숫자는 컨텍스트 크기에 따라 이동하며, 이는 사용자가 제어할 수 있는 주요 레버입니다.

더 많은 가이드

• NSFW LLM 시스템 프롬프트: 구조 및 예시
• 롤플레이용 로컬 LLM 최적화, 또는 호스팅 API?