무료 LLM API는 무엇인가? 옵션, 제한 및 실제 체험

짧은 답변: 세 가지 유형의 무료

사람들이 무료 LLM API가 무엇인지 묻는 경우, 보통 세 가지 다른 의미 중 하나를 의미하며, 그 차이점은 가격 표시보다 더 중요합니다.

• 호스팅 제공업체의 무료 티어. 제한된 사용량을 제공하며, 일반적으로 속도 제한이 엄격하고 약관은 사전 통지 없이 변경될 수 있습니다.
• 직접 실행하는 모델입니다. 많은 오픈 모델의 가중치는 다운로드하는 데 무료입니다. GPU, 전기 요금 및 설정 시간은 그렇지 않습니다.
• 체험 크레딧입니다. 실제 요청으로 실제 서비스를 테스트할 수 있는 작은 선불 잔액입니다.

이 중 사용자 대상 제품의 영구 무료 API는 없습니다. 모델을 시도하거나 프로토타입을 작성하거나 엔드포인트가 클라이언트와 작동하는지 확인하려는 경우, 세 가지 방법 중 하나로 작업을 수행할 수 있습니다. 사람들이 매일 사용할 서비스를 구축하는 경우, 무료 티어가 종료되는 순간이 일반적으로 프로젝트가 가장 바쁜 시점이므로 처음부터 유료 경로를 계획하세요.

무료 티어의 일반적인 형태

무료 티어는 제공업체마다 다르며 자주 변경되므로 이 섹션을 특정 회사에 대한 진술이 아니라 찾아야 할 항목의 체크리스트로 취급하세요. 현재 수치는 해당 가격 및 약관 페이지를 확인하세요.

• 요청 제한. 무료 사용량은 일반적으로 분당 및 일일 제한이 있습니다. 소수의 사용자가 있는 채팅 앱은 오후에 한도에 도달할 수 있습니다.
• 모델 선택. 무료 액세스는 더 작거나 오래된 모델만 포함하거나 우선순위가 낮은 대기열일 수 있습니다.
• 데이터 약관. 일부 무료 제공물은 제공업체가 프롬프트를 사용하여 제품을 개선할 수 있도록 허용합니다. 공개 텍스트로 테스트하는 경우 이는 괜찮습니다. 하지만 개인 문서, 고객 메시지 또는 개인적인 소설에는 적합하지 않습니다.
• 콘텐츠 규칙. 주요 제공업체는 자체 안전 필터를 적용합니다. 합법적이지만 성인 톤의 사용(예: 소설, 역할극 또는 성인용 동반자 앱)의 경우 필터링된 모델이 자주 거부하며, 거절도 무료 할당량을 소모합니다.

콘텐츠 관련 사항이 가장 놀라울 수 있습니다. 거절 응답을 반환하는 무료 요청은 시간과 사용량의 일부를 아무것도 얻지 못한 채 소비했기 때문에, 어떤 의미에서도 무료가 아닙니다. 필터링되지 않은 모델이 필요하시다면, 무료 옵션 목록에서 해당 항목을 먼저 필터링하세요.

오픈 웨이트 모델 자체 호스팅

자신의 기계에서 모델을 실행하는 것이 진정한 무료에 가장 가깝지만, 함정이 있습니다: 하드웨어와 주의력으로 지불합니다. 가중치는 종종 다운로드가 무료이지만, 각각 고유한 라이선스를 가지므로 제품을 구축할 계획이라면 라이선스를 읽으세요.

실제 비용:

• 메모리. 모델은 GPU 메모리 또는 훨씬 느린 출력을 수용할 경우 시스템 메모리에 맞아야 합니다. 더 큰 모델은 더 많은 메모리가 필요하며, 양자화를 통해 모델을 축소하면 공간 확보를 위해 일부 품질을 희생합니다.
• 설정 시간. 런타임을 설치하고 양자화를 선택하고 컨텍스트 크기를 조정하며 모두 업데이트된 상태로 유지합니다.
• 전력 및 소음. 부하 상태의 GPU는 실제 전력을 소비하며, 노트북은 그 사실을 알려줍니다.
• 동시성. 하나의 GPU는 편안하게 하나 또는 두 개의 요청을 처리합니다. 동시에 열 명의 사용자를 서비스하는 것은 다른 프로젝트입니다.

학습, 오프라인 작업 및 기본 프라이버시에는 로컬이 훌륭합니다. 언제든지 어떤 장치에서도 응답해야 하는 작은 앱의 경우 많은 개발자가 용량을 임대합니다. 호스팅 API는 하드웨어의 고정 비용을 토큰당 비용으로 전환하며, 사용량이 작고 불규칙할 때 더 저렴합니다.

공유 키 및 커뮤니티 프록시

무료 API를 검색하면 취미로 하는 사람들이 운영하는 공개 엔드포인트, 공유 키 및 프록시 목록을 찾을 수 있습니다. 이러한 항목은 의심해야 합니다. 공유 키는 데모 중간에 취소될 수 있습니다. 프록시를 운영하는 사람은 통과하는 모든 프롬프트를 읽을 수 있습니다. 지원도 명시된 제한도 없으며, 어떤 모델이 응답하는지 알 수 없는 경우가 많습니다.

프롬프트에 공개 포럼에 붙여넣고 싶지 않은 내용이 포함되어 있는 경우 이 카테고리를 완전히 건너뛰세요. 명확한 데이터 정책이 있는 작은 유료 잔액이 소유자를 식별할 수 없는 무료 엔드포인트보다 더 나은 거래입니다.

이 사이트의 체험 제공 사항

이 서비스는 합법적인 성인 이용을 위한 콘텐츠 거부 없이 답변하도록 튜닝된 하나의 모델 uncensored를 제공하는 호스팅된 OpenAI 호환 텍스트 API입니다. 영구 무료 티어가 없습니다. 체험판이 제공됩니다: Google 또는 이메일과 비밀번호로 로그인하면 API 키 페이지에 $0.50의 체험 크레딧을 제공하는 버튼이 표시됩니다. 클릭 한 번으로 완료되며, 결제 정보가 필요하지 않고, 유효 기간은 7일이며, 사람당 하나씩 제한됩니다.

체험 키는 분당 60개 요청, 동시 요청 2개로 실행되며, 클라이언트 또는 프롬프트를 테스트하기에 충분합니다. 가격은 입력 토큰 100만 개당 $0.15, 출력 토큰 100만 개당 $0.50입니다. 다음은 몇 가지 일반적인 요청 크기에 대해 $0.50이 구매하는 항목을 정확하게 계산한 것입니다:

요청 크기	요청당 비용	$0.50로 요청할 수 있는 횟수
500 입력, 200 출력 (짧은 채팅 턴)	$0.000075 + $0.000100 = $0.000175	약 2,857
2,000 입력, 500 출력 (이력이 있는 채팅)	$0.000300 + $0.000250 = $0.000550	약 909
20,000 입력, 1,000 출력 (긴 장면 또는 문서)	$0.003000 + $0.000500 = $0.003500	약 142회
90,000 입력, 2,000 출력 (100,000 컨텍스트 창에 근접)	$0.013500 + $0.001000 = $0.014500	약 34개

따라서 체험금은 몇백 건의 실제적인 요청을 실행하고, 스트리밍을 테스트하며, JSON 모드와 도구 호출을 시도하고, 모델이 프롬프트와 함께 어떻게 동작하는지 확인할 수 있을 만큼 충분합니다. 이는 제품을 구동하기 위한 것이 아닙니다. 정확한 설정 단계는 문서의 빠른 시작에서 OpenAI SDK, Node 및 curl에 대한 작동 코드를 제공합니다.

선불 크레딧이 유리한 경우

체험금이 소진되면 모델은 선불 크레딧에서 사용량 기반 과금이 됩니다. 구독은 없습니다. $20에서 $500까지의 전체 금액으로 선불 크레딧을 충전할 수 있으며, 크레딧은 만료되지 않으므로 이번 달에 사용하지 않은 잔액은 다음 달에도 그대로 유지됩니다. 실패하거나 거부된 요청에는 요금이 부과되지 않습니다. 더 큰 충전에는 보너스가 따릅니다: $50부터 +5%, $100부터 +10%, $200부터 +15%.

보너스는 다음과 같이 계산됩니다:

• $20은 $20.00의 크레딧을 구매합니다.
• $50은 $52.50을 구매합니다 (보너스 $2.50, 5%).
• $100은 $110.00을 구매합니다 (보너스 $10, 10%).
• $200은 $230.00을 구매합니다 (보너스 $30, 15%).

이 사이트는 암호화폐 충전만 받습니다: TRC20 네트워크의 USDT 또는 Base 네트워크의 USDC. 둘 중 하나도 보유하지 않는다면 이는 실제 장벽이며 시작하기 전에 알아두는 것이 좋습니다. 요금제 페이지에 현재 세부 정보가 있습니다.

$20 충전이 실제로 무엇을 의미하는지 확인하려면 위의 요청 크기를 사용하세요. 500 입력 및 200 출력의 경우 $20은 약 114,000개의 요청을 처리할 수 있습니다. 2,000 입력 및 500 출력의 경우 약 36,000개를 처리할 수 있습니다. 소수의 사용자가 있는 취미용 채팅 앱은 한 달에 그렇게 많이 사용하지 않으므로 최소 금액이 작은 프로젝트에서도 실행 가능합니다.

의존하기 전에 임의의 무료 옵션을 테스트하는 방법

어떤 경로를 선택하든 단일 hello-world 호출 대신 한 오후를 적절한 테스트에 사용하세요.

1. 실제 프롬프트를 사용하세요. 아름다운 시를 작성하는 모델도 시스템 프롬프트, 언어 또는 출력 형식에서 실패할 수 있습니다.
2. 거절률을 측정하세요. 실제 사용 사례에서 20개의 프롬프트를 보내고 얼마나 많은 것이 거부되거나 내용이 희석되어 반환되는지 세세요.
3. 의도적으로 제한을 유발하세요. 요청을 병렬로 보내고 오류가 어떻게 나타나는지 확인하세요. 여기서는 분당 제한을 초과하면 HTTP 429 오류가 rate_limited 코드와 함께 반환되고, 동시 요청이 너무 많으면 concurrency와 함께 429가 반환됩니다. 일시적인 과부하도 Retry-After: 5 헤더와 함께 429를 반환하므로 클라이언트는 대기했다가 재시도해야 합니다.
4. 데이터 이용약관을 읽으세요. 프롬프트는 학습에 사용되지 않습니다. 다른 서비스의 경우 해당 내용을 서면으로 확인하세요.
5. 지불 비용을 산정하세요. 요청당 평균 토큰 수를 예상 요청 수에 곱한 후 비교하세요. 이 계산은 5분이면 충분하며 대부분의 예상치 못한 비용을 방지합니다.

이 서비스는 텍스트 전용입니다. 이미지, 오디오 또는 비디오 생성, 임베딩, 파인튜닝이 없으며, 명확한 제한이 있습니다: 미성년자가 포함된 성적인 콘텐츠는 금지됩니다. 프로젝트에 이러한 누락된 기능 중 하나가 필요하다면 다른 곳의 무료 옵션으로 해결할 수 없으므로 먼저 이를 해결하세요. OpenAI 호환 텍스트 모델 페이지는 엔드포인트가 무엇을 처리하고 무엇을 처리하지 않는지 설명합니다.

더 많은 가이드

• 롤플레이용 최고의 로컬 LLM, 또는 호스팅 API?
• Python용 NSFW LLM API: 스트리밍, JSON 및 도구
• 무검열 LLM API: OpenAI 호환 텍스트 모델