Какой LLM API бесплатный? Варианты, лимиты и реальный тест

Краткий ответ: три вида бесплатного

Когда люди спрашивают, какой LLM API бесплатный, они обычно имеют в виду одну из трёх разных вещей, и различия важнее, чем ценник.

• Бесплатный тариф от хостинг-провайдера. Вы получаете ограниченный объём использования, часто с жёсткими лимитами частоты, а условия могут измениться без предупреждения.
• Модель, которую вы запускаете самостоятельно. Загрузка весов многих открытых моделей бесплатна. Но видеокарта, электричество и время на настройку — нет.
• Пробный баланс. Небольшой предоплаченный баланс, позволяющий протестировать реальный сервис реальными запросами перед внесением денег.

Ни один из этих вариантов не является постоянным бесплатным API для продукта с пользователями. Если вам нужно просто попробовать модель, написать прототип или проверить, работает ли эндпоинт с вашим клиентом, любой из трёх вариантов справится с задачей. Если вы создаёте продукт, которым люди будут пользоваться ежедневно, сразу планируйте платный путь, потому что момент окончания бесплатного тарифа обычно совпадает с пиковой нагрузкой вашего проекта.

Как обычно выглядят бесплатные тарифы

Бесплатные тарифы различаются у разных провайдеров и часто меняются, поэтому рассматривайте этот раздел как чек-лист того, на что обратить внимание, а не как утверждение о какой-либо одной компании. Актуальные цифры смотрите на страницах с ценами и условиями.

• Ограничение запросов. Бесплатное использование обычно ограничено по минутам и суткам. Чат-приложение с несколькими пользователями может достичь этих лимитов за один день.
• Выбор модели. Бесплатный доступ может охватывать только более мелкие или устаревшие модели, либо очередь с низким приоритетом.
• Условия использования данных. Некоторые бесплатные предложения позволяют провайдеру использовать ваши промпты для улучшения своих продуктов. Это нормально для теста на публичном тексте. Но это плохо подходит для частных документов, сообщений клиентов или личных произведений.
• Правила контента. Крупные провайдеры применяют свои фильтры безопасности. Если ваше использование законно, но имеет взрослый тон (например, художественная литература, ролевые игры или приложение-компаньон для взрослых), отфильтрованная модель будет часто отказывать, а отказы всё равно расходуют ваш бесплатную квоту.

Пункт о контенте — тот, что удивляет людей. Бесплатный запрос, вернувший отказ, не является бесплатным ни в каком полезном смысле, потому что вы потратили своё время и часть лимита впустую. Если вам нужна модель без фильтров, отфильтруйте список бесплатных вариантов по этому признаку в первую очередь.

Самостоятельное развёртывание модели с открытыми весами

Запуск модели на собственном компьютере — это то, что ближе всего к абсолютно бесплатному варианту, но с оговоркой: вы платите оборудованием и вниманием. Веса часто можно скачать бесплатно, хотя каждая модель имеет свою лицензию, поэтому прочитайте её, если планируете создавать на её основе продукт.

Что вы фактически тратите:

• Память. Модель должна помещаться в память GPU или в системную память, если вы готовы к значительно более медленному выводу. Большим моделям нужно больше памяти, а уменьшение модели путём квантования жертвует частью качества ради места.
• Время на настройку. Вы устанавливаете среду выполнения, выбираете квантование, настраиваете размер контекстного окна и постоянно обновляете всё это.
• Мощность и шум. Под нагрузкой GPU потребляет реальную электроэнергию, а ноутбук сообщит вам об этом.
• Параллельные запросы. Один GPU удобно обслуживает один или два запроса. Обслуживание десяти пользователей одновременно — это уже другой проект.

Для обучения, офлайн-работы и приватности по умолчанию локальный запуск отличен. Для небольшого приложения, которое должно отвечать с любого устройства в любое время суток, многие разработчики в итоге арендуют вычислительные мощности. Хостинг API превращает фиксированные затраты на оборудование в стоимость за токен, что дешевле при малом и неравномерном использовании.

Общие ключи и прокси сообщества

Поиск бесплатного API выдаст списки публичных эндпоинтов, общих ключей и прокси, запущенных энтузиастами. Относитесь к ним с подозрением. Общий ключ могут отозвать во время демонстрации. Владелец прокси может читать каждый промпт, проходящий через него. Нет поддержки, нет заявленных лимитов и часто нет способа узнать, какая именно модель отвечает вам.

Если ваши промпты содержат что-то, что вы не стали бы вставлять в публичный форум, полностью исключите эту категорию. Небольшой платный баланс с понятной политикой использования данных — лучшее предложение, чем бесплатный эндпоинт, владельца которого вы не можете установить.

Что даёт пробный период на этом сайте

Этот сервис представляет собой хостинговый текстовый API, совместимый с OpenAI, с одной моделью, uncensored, настроенной на ответы без отказов по контенту для законного использования взрослыми. У него нет постоянного бесплатного тарифа. Есть пробный баланс: после регистрации через Google или по электронной почте и паролю на странице API-ключа появляется кнопка для получения пробного баланса $0,50. Это занимает один клик, не требует данных карты, действует 7 дней и предоставляется один раз на человека.

Пробный ключ работает с 2 параллельными запросами и 60 запросами в минуту, чего достаточно для тестирования клиента или промпта. Цены: $0,15 за 1M входных токенов и $0,50 за 1M выходных токенов. Вот что покупает $0,50 для нескольких типичных размеров запросов, рассчитано точно:

Размер запроса	Стоимость запроса	Запросов на $0,50
500 входных, 200 выходных (короткий ход чата)	$0.000075 + $0.000100 = $0.000175	около 2 857
2000 входных, 500 выходных (чат с историей)	$0.000300 + $0.000250 = $0.000550	около 909
20000 входных, 1000 выходных (длинная сцена или документ)	$0.003000 + $0.000500 = $0.003500	около 142
90 000 входных, 2 000 выходных (близко к окну в 100 000 токенов)	$0.013500 + $0.001000 = $0.014500	около 34

Так пробного баланса хватит на несколько сотен реалистичных запросов, чтобы протестировать потоковую передачу, попробовать JSON-режим и вызов функций, а также оценить, как модель работает с вашими промптами. Это не для запуска продукта. Пошаговые инструкции и готовый код для OpenAI SDK, Node и curl есть в быстром старте в документации.

Когда предоплаченный баланс выгоден

После исчерпания пробного кредита модель работает по модели оплаты по факту из предоплаченного баланса. Подписки нет. Вы пополняете любую целую сумму от $20 до $500, и кредит не сгорает, поэтому неиспользованный в этом месяце баланс останется на следующий месяц. За неудачные или отклонённые запросы плата не взимается. Крупные пополнения дают бонус: +5% от $50, +10% от $100 и +15% от $200.

Бонусы работают следующим образом:

• $20 покупает $20,00 кредита.
• $50 покупает $52,50 (бонус 5% в размере $2,50).
• $100 покупает $110,00 (бонус 10% в размере $10).
• $200 покупает $230,00 (бонус 15% в размере $30).

Этот сайт принимает пополнение только криптовалютой: USDT на TRC20 или USDC на Base. Если вы не держите ни одной из них, это серьёзное препятствие, о котором стоит знать перед началом. Текущие детали указаны на странице цены.

Чтобы понять, что означает пополнение на $20 на практике, используйте те же размеры запросов, что и выше. При 500 входных и 200 выходных токенов $20 покрывают около 114 000 запросов. При 2000 входных и 500 выходных — около 36 000. Хобби-чат-приложение с несколькими пользователями редко тратит столько за месяц, поэтому минимальная сумма удобна даже для небольших проектов.

Как протестировать любой бесплатный вариант, прежде чем полагаться на него

Каким бы способом вы ни воспользовались, потратьте один день на полноценное тестирование, а не на один вызов hello-world.

1. Используйте свои реальные промпты. Модель, которая красиво пишет хокку, всё равно может не справиться с вашим системным промптом, языком или форматом вывода.
2. Измерьте отказы. Отправьте двадцать промптов из вашего реального сценария использования и подсчитайте, сколько из них вернулось с отказом или размытым ответом.
3. Намеренно превысьте лимиты. Отправляйте запросы параллельно и посмотрите, как выглядит ошибка. Здесь превышение лимита в минуту возвращает HTTP 429 с кодом rate_limited, а слишком много одновременных запросов возвращает 429 с кодом concurrency. Временная перегрузка также возвращает 429 с заголовком Retry-After: 5, поэтому ваш клиент должен подождать и повторить запрос.
4. Ознакомьтесь с условиями использования. Промпты здесь не используются для обучения. Для любого другого сервиса найдите соответствующее заявление в письменном виде.
5. Оцените стоимость. Возьмите среднее количество токенов на запрос, умножьте на ожидаемое количество запросов и сравните. Арифметика занимает пять минут и предотвращает большинство неприятных сюрпризов.

Сервис работает только с текстом. Нет генерации изображений, аудио или видео, нет эмбеддингов и нет тонкой настройки, и есть жесткое ограничение: нет сексуального контента с участием несовершеннолетних. Если вашему проекту нужны какие-либо из этих отсутствующих функций, бесплатный вариант в другом месте не решит эту проблему, поэтому решите её сначала. Страница о текстовой модели, совместимой с OpenAI объясняет, что делает эндпоинт и что он не покрывает.

Дополнительные руководства

• Лучшая локальная LLM для ролевой игры или хостинговый API?
• NSFW LLM API на Python: потоковая передача, JSON и инструменты
• LLM API без цензуры: текстовая модель, совместимая с OpenAI