Darmowa API LLM? Opcje, limity i prawdziwy test

Krótka odpowiedź: trzy rodzaje darmowych

Gdy ludzie pytają, jakie API LLM jest darmowe, zwykle mają na myśli jedną z trzech różnych rzeczy, a różnice mają większe znaczenie niż etykieta cenowa.

• Darmowy poziom od dostawcy hostowanego. Otrzymujesz ograniczoną ilość użytkowania, często z ścisłymi limitami zapytań, a warunki mogą się zmienić bez większego uprzedzenia.
• Model, który uruchamiasz samodzielnie. Wagi wielu modeli open-source można pobrać za darmo. GPU, prąd i czas konfiguracji nie są.
• Kredyt próbny. Małe saldo przedpłaconego kredytu, które pozwala przetestować rzeczywistą usługę przy użyciu prawdziwych zapytań przed doładowaniem środków.

Żaden z tych opcji to nie stałe darmowe API dla produktu z użytkownikami. Jeśli potrzebujesz tylko przetestować model, napisać prototyp lub sprawdzić, czy endpoint działa z Twoim klientem, każda z trzech opcji może wykonać zadanie. Jeśli budujesz coś, z czego ludzie będą korzystać codziennie, zaplanuj ścieżkę płatną od początku, bo moment zakończenia darmowego poziomu to zwykle moment największego obciążenia Twojego projektu.

Jak zwykle wyglądają darmowe poziomy

Darmowe poziomy różnią się między dostawcami i często się zmieniają, więc traktuj tę sekcję jako checklistę rzeczy, na które zwrócić uwagę, a nie jako stwierdzenie dotyczące jakiejkolwiek jednej firmy. Aby uzyskać aktualne liczby, sprawdź ich aktualne strony cen i warunków.

• Limity zapytań. Darmowe użytkowanie jest zwykle ograniczone na minutę i na dzień. Aplikacja czatu z garstką użytkowników może osiągnąć te limity w popołudnie.
• Wybór modelu. Darmowy dostęp może obejmować tylko mniejsze lub starsze modele, lub kolejkę o niższym priorytecie.
• Warunki danych. Niektóre darmowe oferty pozwalają dostawcy na używanie Twoich promptów do ulepszania ich produktów. To jest w porządku dla testu z tekstem publicznym. To słabe dopasowanie dla prywatnych dokumentów, wiadomości klientów lub prywatnej fikcji.
• Zasady treści. Dostawcy mainstreamowi stosują własne filtry bezpieczeństwa. Jeśli Twoje użycie jest prawne, ale ma charakter dorosły, np. fikcja, roleplay lub aplikacja towarzyska dla dorosłych, zfiltrowany model będzie często odmawiał, a odmowy nadal zużywają Twój darmowy limit.

Punkt dotyczący treści to ten, który zaskakuje ludzi. Darmowe zapytanie, które zwraca odmowę, nie jest darmowe w żadnym użytecznym sensie, ponieważ wydałeś swój czas i część limitu na nic. Jeśli potrzebujesz modelu bez filtrów, przefiltruj listę opcji darmowych pod tym kątem jako pierwszy.

Własny hosting modelu o otwartych wagach

Uruchomienie modelu na własnej maszynie jest najbliższe prawdziwie darmowemu, z jednym zastrzeżeniem: płacisz sprzętem i uwagą. Wagi są często darmowe do pobrania, choć każdy ma swoją licencję, więc przeczytaj ją, jeśli planujesz zbudować na niej produkt.

Co faktycznie wydajesz:

• Pamięć. Model musi zmieścić się w pamięci GPU lub w pamięci systemowej, jeśli akceptujesz znacznie wolniejsze wyjście. Większe modele potrzebują więcej pamięci, a zmniejszenie modelu przez kwantyzację zamienia nieco jakości na miejsce.
• Czas konfiguracji. Instalujesz środowisko uruchomieniowe, wybierasz kwantyzację, dostosowujesz rozmiar kontekstu i utrzymujesz wszystko zaktualizowane.
• Energia i hałas. GPU pod obciążeniem pobiera prawdziwy prąd, a laptop Ci o tym przypomni.
• Współbieżność. Jedno GPU obsługuje komfortowo jedno lub dwa zapytania. Obsługa dziesięciu użytkowników naraz to inny projekt.

Do nauki, pracy offline i prywatności domyślnej, lokalne rozwiązanie jest doskonałe. Dla małej aplikacji, która musi odpowiadać z dowolnego urządzenia o każdej porze, wielu deweloperów kończy na wynajmie mocy. Hostowane API zamienia stały koszt sprzętu na koszt za token, co jest tańsze, gdy Twoje użycie jest małe i nierówne.

Współdzielone klucze i proxy społecznościowe

Wyszukaj darmowe API i znajdziesz listy publicznych endpointów, współdzielonych kluczy i proxy prowadzonych przez hobbystów. Traktuj je z podejrzliwością. Współdzielony klucz może zostać cofnięty w trakcie demonstracji. Osoba prowadząca proxy może przeczytać każde zapytanie przechodzące przez nią. Nie ma wsparcia, nie ma określonych limitów i często nie ma sposobu, aby dowiedzieć się, który model do Ciebie odpowiada.

Jeśli Twoje prompty zawierają cokolwiek, czego nie wkleiłbyś na forum publicznym, pomiń tę kategorię całkowicie. Małe saldo płatne z jasną polityką danych to lepsza oferta niż darmowy endpoint, którego właściciela nie możesz zidentyfikować.

Co daje test na tej stronie

Ta usługa to hostowane, kompatybilne z OpenAI API tekstowe z jednym modelem, uncensored, dostrojonym do odpowiadania bez odmów treści dla dozwolonego użycia przez osoby dorosłe. Nie ma tu stałego darmowego poziomu. Jest próba: po rejestracji przez Google lub z e-mailem i hasłem, strona klucza API pokazuje przycisk, który pokazuje $0,50 kredytu próbnego. Wymaga jednego kliknięcia, nie wymaga danych płatności, jest ważny przez 7 dni i ograniczony do jednego na osobę.

Klucz próbny obsługuje 2 równoległe zapytania i 60 zapytań na minutę, co jest wystarczające do przetestowania klienta lub promptu. Cennik to $0,15 za 1M tokenów wejściowych i $0,50 za 1M tokenów wyjściowych. Oto, co kupi $0,50 dla kilku typowych rozmiarów zapytań, obliczone dokładnie:

Rozmiar zapytania	Koszt za zapytanie	Zapytania za $0,50
500 tokenów w, 200 na wyjściu (krótka tura czatu)	$0,000075 + $0,000100 = $0,000175	około 2,857
2,000 w, 500 na wyjściu (czat z historią)	$0,000300 + $0,000250 = $0,000550	około 909
20,000 w, 1,000 na wyjściu (długa scena lub dokument)	$0,003000 + $0,000500 = $0,003500	około 142
90,000 w, 2,000 na wyjściu (blisko okna 100,000)	$0,013500 + $0,001000 = $0,014500	około 34

Test wystarcza więc na kilka setek realistycznych zapytań, przetestowanie strumieniowania, wypróbowanie trybu JSON i wywoływania funkcji oraz zobaczenie, jak model zachowuje się z Twoimi promptami. Nie jest przeznaczony do uruchamiania produktu. Dokładne kroki konfiguracji, szybki start w dokumentacji mają działający kod dla SDK OpenAI, Node i curl.

Kiedy doładowanie kredytu ma sens

Po wyczerpaniu testu model jest płatny za użycie z kredytu przedpłaconego. Nie ma subskrypcji. Doładowujesz dowolną kwotę całkowitą od $20 do $500, a kredyt nigdy nie wygasa, więc saldo, którego nie użyjesz w tym miesiącu, będzie dostępne w następnym. Nieudane lub odrzucone zapytania nie są rozliczane. Większe doładowania mają bonus: +5% od $50, +10% od $100 i +15% od $200.

Bonusy wyglądają następująco:

• $20 kupuje $20,00 kredytu.
• $50 kupuje $52,50 (bonus 5% w wysokości $2,50).
• $100 kupuje $110,00 (bonus 10% w wysokości $10).
• $200 kupuje $230,00 (bonus 15% w wysokości $30).

Ta strona akceptuje tylko doładowania kryptowalutami: USDT na TRC20 lub USDC na Base. Jeśli nie posiadasz żadnej z nich, jest to prawdziwa przeszkoda warta poznania przed rozpoczęciem. Strona cen ma aktualne szczegóły.

Aby zobaczyć, co oznacza doładowanie za $20 w praktyce, użyj tych samych rozmiarów zapytań co powyżej. Przy 500 tokenach w i 200 na wyjściu, $20 pokrywa około 114,000 zapytań. Przy 2,000 w i 500 na wyjściu pokrywa około 36,000. Aplikacja do czatu dla hobbystów z kilkoma użytkownikami rzadko zużywa taką kwotę w miesiącu, dlatego minimalna kwota jest wystarczająca nawet dla małych projektów.

Jak przetestować dowolną opcję, zanim się na niej opierasz

Niezależnie od wybranej ścieżki, poświęć popołudnie na właściwy test zamiast pojedynczego wywołania hello-world.

1. Używaj swoich prawdziwych promptów. Model, który ładnie pisze haiku, może nadal zawieść na Twoim systemowym prompcie, Twoim języku lub formacie wyjściowym.
2. Mierz odmowy. Wyślij dwadzieścia promptów z Twojego rzeczywistego przypadku użycia i policz, ile zwrócono jako odrzucone lub rozcieńczone.
3. Wyzwalaj limity celowo. Wyślij zapytania równolegle i zobacz, jak wygląda błąd. Tutaj przekroczenie limitu na minutę zwraca HTTP 429 z kodem rate_limited, a zbyt wiele jednoczesnych zapytań zwraca 429 z concurrency. Tymczasowe przeciążenie również zwraca 429 z nagłówkiem Retry-After: 5, więc Twój klient powinien poczekać i ponowić.
4. Przeczytaj warunki korzystania z danych. Prompty tutaj nie są wykorzystywane do trenowania. W przypadku innych usług znajdź to potwierdzone na piśmie.
5. Oblicz szacunkowy koszt. Weź średnią liczbę tokenów na zapytanie, pomnóż przez przewidywaną liczbę zapytań i porównaj. To proste rachunki, które zajmują pięć minut i zapobiegają większości niespodzianek.

Usługa obsługuje tylko tekst. Nie ma generowania obrazów, audio ani wideo, nie ma embeddingów ani dostrajania (fine-tuning), a także obowiązuje ścisły limit: brak treści seksualnych z udziałem nieletnich. Jeśli Twój projekt wymaga którejkolwiek z tych brakujących funkcji, darmowa opcja w innym miejscu tego nie naprawi, więc załatw to najpierw. Strona o tekstowym modelu kompatybilnym z OpenAI wyjaśnia, co endpoint obsługuje, a czego nie.

Więcej przewodników

• Najlepszy lokalny model LLM do roleplay, czy API hostowane?
• API LLM NSFW w Pythonie: strumieniowanie, JSON i narzędzia
• API LLM bez cenzury: Tekstowy model kompatybilny z OpenAI