API tương thích OpenAI cho SillyTavern: Hướng dẫn từng bước

Trước khi bắt đầu

Bạn cần ba thứ: một bản cài đặt SillyTavern đang chạy, một khóa API và các chi tiết endpoint. Để có khóa, hãy đăng ký trên trang khóa API bằng Google hoặc email, sau đó nhận tín dụng dùng thử $0,50 chỉ với một cú nhấp chuột. Không cần phương thức thanh toán và tín dụng có hiệu lực trong 7 ngày. Các khoản nạp tiền đầy đủ được thanh toán bằng tiền mã hóa (USDT trên TRC20 hoặc USDC trên Base), bắt đầu từ $20.

Các giá trị bạn sẽ dán vào:

Trường	Giá trị
URL gốc	https://api.nsfwaiapi.com/v1
ID mô hình	uncensored
Xác thực	Khóa Bearer được gửi làm khóa API

Đừng thêm /chat/completions vào URL gốc. Ứng dụng SillyTavern sẽ tự thêm đường dẫn này.

Mô hình này được tinh chỉnh để trả lời mà không từ chối nội dung đối với người trưởng thành hợp pháp. Nội dung tình dục liên quan đến người chưa thành niên luôn bị cấm, vì vậy hãy giữ định nghĩa nhân vật của bạn dành cho người trưởng thành.

Kiểm tra khóa bên ngoài ứng dụng

Một bài kiểm tra hai phút giúp tiết kiệm rất nhiều việc đoán mò. Nếu curl hoạt động, mọi lỗi sau đó là do cài đặt SillyTavern, không phải do khóa của bạn.

Copycurl https://api.nsfwaiapi.com/v1/models \
  -H "Authorization: Bearer YOUR_KEY"

Một danh sách JSON bao gồm uncensored có nghĩa là khóa và URL đều đúng. Sau đó hãy thử một lệnh hoàn tất thực sự:

Copycurl https://api.nsfwaiapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Say hi in five words."}]}'

Một phản hồi có mảng choices xác nhận việc tạo nội dung hoạt động. Tiêu đề phản hồi X-Balance-USD hiển thị tín dụng còn lại của bạn. Chi tiết endpoint thêm có trong tài liệu.

Kết nối SillyTavern từng bước một

1. Mở biểu tượng plug (Kết nối API) trên thanh công cụ phía trên.
2. Đặt loại API thành Chat Completion.
3. Trong menu thả xuống nguồn, hãy chọn Custom (tương thích OpenAI).
4. Trong trường endpoint tùy chỉnh, hãy dán https://api.nsfwaiapi.com/v1.
5. Dán khóa của bạn vào trường khóa API và lưu nó.
6. Trong trường ID mô hình, hãy nhập uncensored. Nếu ứng dụng cung cấp danh sách mô hình sau khi kết nối, hãy chọn cùng tên đó.
7. Nhấn Kết nối. Dòng trạng thái màu xanh lá cho biết ứng dụng đã kết nối được với endpoint.

Nhãn menu thay đổi một chút giữa các phiên bản SillyTavern, vì vậy nếu một trường có tên khác, hãy tìm trường chứa URL endpoint. Ý tưởng là như nhau trong mọi phiên bản: ứng dụng gửi các yêu cầu định dạng OpenAI tiêu chuẩn đến URL bạn cung cấp.

Kích thước ngữ cảnh và độ dài phản hồi

Mô hình này có cửa sổ ngữ cảnh 100.000 token, được chia sẻ bởi prompt và phản hồi. SillyTavern gửi định nghĩa nhân vật, thông tin thế giới, lịch sử trò chuyện và prompt hệ thống của bạn ở mỗi lượt, và bạn quyết định bao nhiêu lịch sử sẽ được bao gồm bằng thanh trượt kích thước ngữ cảnh.

Lớn hơn không phải lúc nào cũng tốt hơn. Đầu vào được tính phí $0,15 cho mỗi 1 triệu token, vì vậy một yêu cầu lấp đầy 32.000 token ngữ cảnh sẽ tốn 32.000 / 1.000.000 x $0,15 = $0,0048 trước khi có phản hồi. Ở mức 100.000 token, chi phí là $0,015 cho mỗi yêu cầu. Trong một buổi tối với 200 tin nhắn, khoảng cách này là tiền thật so với số dư $20: 200 x $0,0048 = $0,96 so với 200 x $0,015 = $3,00 chỉ cho đầu vào, giả sử ngữ cảnh đầy từ tin nhắn đầu tiên, điều này phóng đại chi phí cho một cuộc trò chuyện mới.

Mức khởi đầu thực tế là 16,000 đến 32,000 token ngữ cảnh và độ dài phản hồi từ 300 đến 500 token. Chỉ tăng ngữ cảnh khi nhân vật quên những điều quan trọng. hướng dẫn mô hình nhập vai đi sâu vào cách độ dài ngữ cảnh ảnh hưởng đến các cảnh.

Các cài đặt mẫu để thử

Với nguồn hoàn tất trò chuyện, SillyTavern gửi các giá trị mẫu mà API chấp nhận. Dịch vụ này truyền qua temperature, top_p, stop, seed và các hệ số phạt tần suất và hiện diện.

• Temperature: 0,85 đến 1,0 cho các cảnh sáng tạo, 0,6 đến 0,7 nếu nhân vật đi chệch hướng.
• Top P: 0,9 đến 0,95.
• Hình phạt tần suất và hiện diện: 0,2 đến 0,5 để cắt giảm cách diễn đạt lặp lại trong các cuộc trò chuyện dài.
• Truyền phát: hãy bật nó lên. Các phản hồi xuất hiện từng từ một và cảm thấy nhanh hơn. Một yêu cầu truyền phát giữ một khe đồng thời cho đến khi luồng kết thúc, điều này chỉ quan trọng nếu bạn chạy nhiều cuộc trò chuyện cùng lúc.

Các cài đặt thuộc về các backend khác, chẳng hạn như top_k, min_p hoặc hệ số phạt lặp lại từ các động cơ cục bộ, có thể bị bỏ qua. Nếu một thanh trượt không có hiệu ứng hiển thị, đừng lãng phí thời gian vào nó.

Khắc phục các lỗi thường gặp

Lỗi 401 hoặc lỗi xác thực

Khóa đã được dán kèm theo một khoảng trắng hoặc giá trị sai. Hãy dán lại khóa và nhấn lưu trước khi kết nối.

Lỗi 404 hoặc lỗi mô hình

Hãy kiểm tra xem URL gốc có kết thúc bằng /v1 và ID mô hình có chính xác là uncensored, viết thường không.

Lỗi 429 với mã rate_limited hoặc concurrency

Một khóa đầy đủ cho phép 300 yêu cầu mỗi phút và 8 yêu cầu đồng thời; một khóa dùng thử cho phép 60 yêu cầu mỗi phút và 2 yêu cầu đồng thời. Nếu bạn có nhiều tab hoặc một nhóm trò chuyện đang tạo nội dung cùng lúc, bạn có thể chạm ngưỡng giới hạn đồng thời. Hãy đợi một chút và thử lại. Lỗi 429 với tiêu đề Retry-After: 5 có nghĩa là quá tải tạm thời, vì vậy việc đợi năm giây là hành động đúng đắn.

Câu trả lời bị cắt ngang giữa câu

Hãy tăng độ dài phản hồi trong SillyTavern. Bản thân API cho phép một lệnh hoàn tất sử dụng phần còn lại của cửa sổ.

Số dư hết

Các yêu cầu thất bại hoặc bị từ chối không bị tính phí, nhưng các yêu cầu thành công thì có. Hãy xem giá cả để biết số tiền nạp tiền và tiền thưởng.

Prompt, cài đặt trước và trò chuyện nhóm

Chế độ Chat Completion xây dựng mỗi yêu cầu từ một danh sách các khối prompt: prompt chính, mô tả nhân vật, kịch bản, đối thoại ví dụ, thông tin thế giới và lịch sử trò chuyện. Bạn có thể sắp xếp lại hoặc tắt chúng trong trình quản lý prompt. Hai thói quen này mang lại lợi ích.

• Giữ prompt chính ngắn gọn. Vài dòng về giọng điệu, độ dài và quy tắc mô hình không bao giờ viết lời thoại của người dùng. Các hướng dẫn dài, lặp đi lặp lại sẽ sử dụng token đầu vào ở mỗi lượt.
• Rút gọn hội thoại ví dụ. Mô hình sao chép độ dài và phong cách mà nó thấy. Hai ví dụ ngắn hiệu quả hơn sáu ví dụ dài.

Các cuộc trò chuyện nhóm gửi một yêu cầu cho mỗi nhân vật đang nói. Với khóa dùng thử giới hạn ở 2 yêu cầu đồng thời, một nhóm bốn người tạo ra song song có thể kích hoạt lỗi concurrency 429. Hãy đặt nhóm tạo ra từng câu trả lời một, hoặc chuyển sang khóa đầy đủ với 8 khe đồng thời.

Khi bạn thay đổi nhân vật, hãy nhớ rằng lịch sử trò chuyện sẽ được gửi lại mỗi lần. Một cuộc trò chuyện mới bắt đầu với ngữ cảnh nhỏ và hóa đơn nhỏ, vì vậy hãy mở một cuộc trò chuyện mới cho một cảnh mới thay vì kéo theo lịch sử 60.000 token.

Chi phí cho một phiên

Hãy dành một buổi tối với 100 tin nhắn. Giả sử yêu cầu trung bình mang 12.000 token đầu vào và trả về 350 token. Đầu vào: 100 x 12.000 = 1.200.000 token, tương đương 1,2 x $0,15 = $0,18. Đầu ra: 100 x 350 = 35.000 token, tương đương 0,035 x $0,50 = $0,0175. Tổng cộng khoảng $0,20 cho cả buổi tối.

Tín dụng không bao giờ hết hạn và không có gói đăng ký, nên khoản nạp $20 có thể chi trả cho khoảng 100 buổi tối với mức giá đó. Các khoản thưởng áp dụng cho các lần nạp lớn hơn: +5% từ $50, +10% từ $100, +15% từ $200. Các con số này thay đổi theo kích thước cửa sổ ngữ cảnh của bạn, đây là yếu tố chính bạn có thể kiểm soát.

Hướng dẫn khác

• Prompt hệ thống LLM NSFW: Cấu trúc và Ví dụ
• LLM địa phương tốt nhất cho roleplaying, hay một API được lưu trữ?