Ücretsiz LLM API'si Hangisi? Seçenekler, Limitler ve Gerçek Bir Deneme

Kısa cevap: Üç tür ücretsiz hizmet

İnsanlar ücretsiz bir LLM API'si aradığında genellikle üç farklı şeyden birini kastederler ve bu farklar fiyat etiketinden daha önemlidir.

• Barındırılan bir sağlayıcıdan ücretsiz bir katman. Sınırlı bir kullanım hakkı alırsınız; genellikle sıkı hız limitleri vardır ve şartlar fazla haber verilmeden değişebilir.
• Kendi sunucunuzda çalıştıracağınız bir model. Birçok açık modelin ağırlıkları ücretsiz indirilebilir. Ancak GPU, elektrik ve kurulum süresi ücretsiz değildir.
• Deneme kredisi. Gerçek hizmeti gerçek isteklerle test etmenizi sağlayan küçük bir ön ödemeli bakiye.

Kullanıcısı olan bir ürün için kalıcı ücretsiz bir API yoktur. Sadece bir modeli denemek, bir prototip yazmak veya bir uç noktanın istemcinizle çalışıp çalışmadığını kontrol etmek istiyorsanız, üçünden herhangi biri işi halledebilir. İnsanların her gün kullanacağı bir şey geliştiriyorsanız, başlangıçtan itibaren ücretli bir yol planlayın; çünkü ücretsiz katmanın bittiği an genellikle projenizin en yoğun olduğu andır.

Ücretsiz katmanlar genellikle nasıl görünür

Ücretsiz katmanlar sağlayıcılara göre farklılık gösterir ve sık sık değişir; bu bölümü tek bir şirket hakkında bir ifade olarak değil, dikkat etmeniz gerekenleri kontrol etmek için bir liste olarak değerlendirin. Güncel sayılar için mevcut fiyatlandırma ve şartlar sayfalarını kontrol edin.

• İstek kotları. Ücretsiz kullanım genellikle dakika başına ve gün başına sınırlıdır. Birkaç kullanıcılı bir sohbet uygulasyonu, bu kotlara bir öğleden sonra bile ulaşabilir.
• Model seçimi. Ücretsiz erişim yalnızca daha küçük veya daha eski modelleri kapsayabilir veya daha düşük öncelikli bir kuyruk olabilir.
• Veri şartları. Bazı ücretsiz teklifler, sağlayıcının istemlerinizi ürünlerini geliştirmek için kullanmasına izin verir. Bu, halka açık metinlerle yapılan bir test için uygundur. Özel belgeler, müşteri mesajları veya kişisel kurgu için uygun değildir.
• İçerik kuralları. Ana akım sağlayıcılar kendi güvenlik filtrelerini uygular. Kullanımınız yasal ancak yetişkinlere yönelik bir tona sahipse (örneğin kurgu, rol yapma veya yetişkinler için bir arkadaşlık uygulaması), filtreli bir model sık reddedebilir ve bu reddedilmeler ücretsiz kotanızı tüketir.

İçerik noktası insanların şaşırdığı yerdir. Bir reddedilme döndüren ücretsiz bir istek, hiçbir şey için zamanınızı ve kotanızın bir kısmını harcadığınız için her anlamda ücretsiz değildir. Filtresiz bir modele ihtiyacınız varsa, ücretsiz seçenekler listesini buna göre filtreleyin.

Açık ağırlıklı bir modeli kendi kendine barındırma

Bir modeli kendi makinenizde çalıştırmak, bir şartla birlikte gerçekten ücretsiz olmaya en yakın şeydir: donanım ve dikkat ile ödeme yaparsınız. Ağırlıklar genellikle ücretsiz indirilebilir, ancak her birinin kendi lisansı vardır; bu yüzden bir ürün geliştirmeyi planlıyorsanız lisansı okuyun.

Aslında harcadığınız şeyler:

• Bellek. Bir model GPU belleğine sığmalıdır veya daha yavaş çıktılar kabul ediyorsanız sistem belleğine sığmalıdır. Daha büyük modeller daha fazla bellek gerektirir ve modeli nicemleyerek küçültmek, kaliteden bazı ödünler vererek yer kazanır.
• Kurulum süresi. Bir çalışma zamanı yüklersiniz, bir nicemleme seçersiniz, bağlam penceresi boyutunu ayarlarsınız ve tüm bunları güncel tutarsınız.
• Güç ve gürültü. Yük altındaki bir GPU gerçek elektrik çeker ve bir dizüstü bilgisayar bunu size bildirir.
• Eşzamanlılık. Bir GPU bir veya iki isteği rahatlıkla hizmet verir. Aynı anda on kullanıcıya hizmet etmek farklı bir projedir.

Öğrenme, çevrimdışı çalışma ve varsayılan gizlilik için yerel ortam mükemmeldir. Her cihazdan, her saat yanıt vermesi gereken küçük bir uygulama için birçok geliştirici kapasite kiralamayı tercih eder. Barındırılan bir API, donanımın sabit maliyetini token başına bir maliyete dönüştürür; bu, kullanımı küçük ve düzensiz olduğunda daha ucuzdur.

Paylaşılan anahtarlar ve topluluk proxy'leri

Ücretsiz bir API ararsanız, halka açık uç noktalar, paylaşılan anahtarlar ve hobi sahipleri tarafından yönetilen proxy'ler listeleri bulursunuz. Bunlara şüpheyle yaklaşın. Paylaşılan bir anahtar bir demo sırasında iptal edilebilir. Bir proxy yöneten kişi, üzerinden geçen her istemi okuyabilir. Destek yoktur, belirtilmiş limitler yoktur ve genellikle hangi modelin size yanıt verdiğini anlamak için bir yol yoktur.

İstemleriniz, bir halka açık foruma yapıştırmayacağınız bir şey içeriyorsa, bu kategoriyi tamamen atlayın. Belirli bir veri politikası olan küçük bir ücretli bakiye, sahibi kim olduğu belli olmayan ücretsiz bir uç noktadan daha iyi bir anlaşmadır.

Bu sitedeki denemenin size neler sunduğu

Bu hizmet, tek bir modele sahip, OpenAI uyumlu, barındırılan bir metin API'sidir. uncensored model ID'si ile, yasal yetişkin kullanım için içerik reddi olmadan yanıt verecek şekilde ayarlanmıştır. Kalıcı ücretsiz bir katman yoktur. Deneme kredisi sunar: Google ile veya e-posta ve şifre ile giriş yaptıktan sonra, API anahtarı sayfası $0.50'lık deneme kredisi talep eden bir düğme gösterir. Tek tıkla yapılır, ödeme bilgisi gerektirmez, 7 gün geçerlidir ve kişi başı bir kez alınabilir.

Deneme anahtarı eşzamanlı 2 istek ve dakika başına 60 istek hızında çalışır; bu, bir istemciyi veya istemi test etmek için yeterlidir. Fiyatlandırma, 1M girdi token başı 0,15 $ ve 1M çıktı token başı 0,50 $'dır. 0,50 $ ile birkaç tipik istek boyutu için ne satın alınabileceği, tam olarak hesaplandığı şekilde aşağıda verilmiştir:

İstek boyutu	İstek başına maliyet	$0,50 için istekler
500 token girdi, 200 çıktı (kısa sohbet dönüşü)	$0.000075 + $0.000100 = $0.000175	yaklaşık 2,857
2,000 girdi, 500 çıktı (biraz geçmişi olan sohbet)	$0.000300 + $0.000250 = $0.000550	yaklaşık 909
20,000 girdi, 1,000 çıktı (uzun sahne veya belge)	$0.003000 + $0.000500 = $0.003500	yaklaşık 142
90,000 girdi, 2,000 çıktı (100,000 penceresine yakın)	$0.013500 + $0.001000 = $0.014500	yaklaşık 34

Yani deneme, birkaç yüz gerçekçi isteği çalıştırmak, akışı test etmek, JSON modunu ve fonksiyon çağırma özelliğini denemek ve modelin istemlerinizle nasıl davrandığını görmek için yeterlidir. Bir ürünü çalıştırmak için tasarlanmamıştır. Tam kurulum adımları için, belgelerdeki hızlı başlangıç OpenAI SDK'sı, Node ve curl için çalışan kod içerir.

Ön ödemeli kredinin mantıklı olduğu zamanlar

Deneme bakiyesi bittiğinde, model ön ödemeli kredi üzerinden kullandıkça öde sistemiyle çalışır. Abonelik yoktur. $20 ile $500 arasında herhangi bir tam tutarı bakiye yükleyebilirsiniz; kredi asla sona ermez, bu ay kullanmadığınız bakiye bir sonraki ay da orada kalır. Başarısız veya reddedilen istekler için ücret alınmaz. Daha büyük bakiye yüklemeleri bonus getirir: $50'den itibaren +%5, $100'den itibaren +%10 ve $200'den itibaren +%15.

Bonuslar şöyle işler:

• $20, $20,00 değerinde kredi satın alır.
• $50, %5 bonus ($2,50) ile $52,50 değerinde hizmet satın almanızı sağlar.
• $100, %10 bonus ($10) ile $110,00 değerinde hizmet satın almanızı sağlar.
• 200 $, %15 bonus ($30) ile 230,00 $ değerinde hizmet satın almanızı sağlar.

Bu site yalnızca kripto ile bakiye yüklemeyi kabul eder: TRC20 üzerinde USDT veya Base üzerinde USDC. Bunlardan herhangi birine sahip değilseniz, bu gerçek bir engeldir ve başlamadan önce bilmeye değer. Mevcut detaylar fiyatlandırma sayfasında yer alır.

Bir $20'lik yüklemenin pratikte ne anlama geldiğini görmek için yukarıdaki istek boyutlarını kullanın. 500 token girdi ve 200 çıktı ile $20 yaklaşık 114.000 isteği karşılar. 2.000 girdi ve 500 çıktı ile yaklaşık 36.000 isteği karşılar. Birkaç kullanıcılı bir hobi sohbet uygulasyonu bir ayda bu kadarını nadiren harcar; bu nedenle minimum tutar küçük projeler için bile uygulanabilir.

Buna güvenmeden önce herhangi bir ücretsiz seçeneği nasıl test edersiniz

Hangi yolu seçerseniz seçin, tek bir merhaba dünya çağrısı yerine düzgün bir test için bir öğleden sonra harcayın.

1. Gerçek istemlerinizi kullanın. Güzel bir haiku yazabilen bir model, sistem isteminizde, dilinizde veya çıktı biçiminizde başarısız olabilir.
2. Reddetmeleri ölçün. Gerçek kullanım durumunuzdan yirmi istek gönderin ve kaç tanesinin reddedildiğini veya sulandırıldığını sayın.
3. Limitleri kasıtlı olarak tetikleyin. Eşzamanlı istekler gönderin ve hatanın nasıl göründüğüne bakın. Burada, dakika başı limiti aşmak, rate_limited koduyla HTTP 429 döndürür ve çok fazla eşzamanlı istek, concurrency ile 429 döndürür. Geçici bir aşırı yüklenme de Retry-After: 5 başlığıyla 429 döndürür; bu nedenle istemcinizin beklemesi ve yeniden denemesi önerilir.
4. Veri şartlarını okuyun. Burada kullanılan istemler eğitim için kullanılmaz. Başka herhangi bir hizmet için, bunu yazılı olarak gösteren ifadeyi bulun.
5. Ödenen maliyeti hesaplayın. İstek başına ortalama token sayısını alın, beklenen istek sayısıyla çarpın ve karşılaştırın. Bu basit aritmetik beş dakika sürer ve çoğu sürprizi önler.

Hizmet yalnızca metin içindir. Görsel, ses veya video üretimi, embedding ve fine-tuning yoktur; ayrıca katı bir sınır vardır: reşit olmayanlar içeren cinsel içerik yoktur. Projeniz bu eksik parçalardan herhangi birine ihtiyaç duyuyorsa, başka bir yerdeki ücretsiz seçenek bunu çözmez, bu yüzden önce bu konuyu netleştirin. OpenAI uyumlu metin modeli sayfası, bu uç noktanın neleri kapsayıp neleri kapsamadığını açıklar.

Daha fazla kılavuz

• Rol yapma için en iyi yerel LLM mi, yoksa barındırılan bir API mi?
• Python'da NSFW LLM API'si: Akış, JSON ve Araçlar
• sansürsüz LLM API'si: OpenAI Uyumlu Metin Modeli