API LLM nào miễn phí? Tùy chọn, giới hạn và dùng thử thực tế

Câu trả lời ngắn gọn: ba loại miễn phí

Khi mọi người hỏi API LLM nào miễn phí, họ thường muốn nói đến một trong ba điều khác nhau, và sự khác biệt này quan trọng hơn giá thành.

• Gói miễn phí từ nhà cung cấp dịch vụ. Bạn nhận được một lượng sử dụng bị giới hạn, thường kèm theo giới hạn tốc độ chặt chẽ và các điều khoản có thể thay đổi mà không có nhiều thông báo trước.
• Một mô hình bạn tự chạy. Trọng số của nhiều mô hình mở có thể tải về miễn phí. GPU, điện và thời gian thiết lập của bạn thì không.
• Tín dụng dùng thử. Một số dư trả trước nhỏ cho phép bạn kiểm tra dịch vụ thực tế với các yêu cầu thực tế trước khi bạn bỏ tiền ra.

Không có cái nào trong số này là một API miễn phí vĩnh viễn cho một sản phẩm có người dùng. Nếu bạn chỉ cần thử một mô hình, viết một nguyên mẫu hoặc kiểm tra xem một endpoint có hoạt động với client của bạn hay không, bất kỳ cái nào trong ba cái trên đều có thể làm được. Nếu bạn đang xây dựng một thứ gì đó mà mọi người sẽ sử dụng mỗi ngày, hãy lên kế hoạch cho một lộ trình trả tiền ngay từ đầu, vì thời điểm gói miễn phí kết thúc thường là lúc dự án của bạn bận rộn nhất.

Gói miễn phí thường trông như thế nào

Các gói miễn phí khác nhau giữa các nhà cung cấp và thay đổi thường xuyên, vì vậy hãy coi phần này là một danh sách kiểm tra những điều cần tìm, chứ không phải là tuyên bố về bất kỳ công ty nào. Để biết số liệu hiện tại, hãy kiểm tra trang giá cả và điều khoản hiện tại của họ.

• Giới hạn yêu cầu. Sử dụng miễn phí thường bị giới hạn theo phút và theo ngày. Một ứng dụng chat với một vài người dùng có thể đạt những giới hạn đó trong một buổi chiều.
• Lựa chọn mô hình. Truy cập miễn phí có thể chỉ bao gồm các mô hình nhỏ hơn hoặc cũ hơn, hoặc một hàng đợi có độ ưu tiên thấp hơn.
• Điều khoản dữ liệu. Một số gói miễn phí cho phép nhà cung cấp sử dụng prompt của bạn để cải thiện sản phẩm của họ. Điều đó ổn cho một bài kiểm tra với văn bản công khai. Nó không phù hợp cho tài liệu riêng tư, tin nhắn khách hàng hoặc truyện hư cấu cá nhân.
• Quy tắc nội dung. Các nhà cung cấp chính thống áp dụng bộ lọc an toàn của riêng họ. Nếu việc sử dụng của bạn hợp pháp nhưng mang tính người lớn, chẳng hạn như truyện hư cấu, nhập vai hoặc ứng dụng bạn đời cho người lớn, một mô hình có bộ lọc sẽ từ chối thường xuyên và các lần từ chối vẫn tiêu tốn hạn ngạch miễn phí của bạn.

Điểm mấu chốt là điều khiến mọi người ngạc nhiên. Một yêu cầu miễn phí trả về từ chối không thực sự miễn phí, vì bạn đã tốn thời gian và một phần hạn mức của mình cho một kết quả vô ích. Nếu bạn cần một mô hình không lọc nội dung, hãy lọc danh sách các tùy chọn miễn phí theo tiêu chí đó trước tiên.

Tự lưu trữ một mô hình trọng số mở

Chạy một mô hình trên máy của chính bạn là cách gần nhất với việc thực sự miễn phí, với một điều kiện: bạn trả tiền bằng phần cứng và sự chú ý. Trọng số thường miễn phí để tải về, nhưng mỗi mô hình đều có giấy phép riêng, vì vậy hãy đọc nó nếu bạn định xây dựng một sản phẩm dựa trên nó.

Những gì bạn thực sự chi trả:

• Bộ nhớ. Một mô hình phải vừa với bộ nhớ GPU, hoặc bộ nhớ hệ thống nếu bạn chấp nhận đầu ra chậm hơn nhiều. Các mô hình lớn hơn cần nhiều bộ nhớ hơn và việc thu nhỏ mô hình bằng cách lượng tử hóa nó sẽ đánh đổi một số chất lượng để lấy không gian.
• Thời gian thiết lập. Bạn cài đặt thời gian chạy, chọn lượng tử hóa, tinh chỉnh kích thước cửa sổ ngữ cảnh và giữ cho tất cả được cập nhật.
• Năng lượng và tiếng ồn. Một GPU dưới tải tiêu thụ điện thực sự và một máy tính xách tay sẽ cho bạn biết về điều đó.
• Yêu cầu đồng thời. Một GPU phục vụ một hoặc hai yêu cầu một cách thoải mái. Phục vụ mười người dùng cùng lúc là một dự án khác.

Để học tập, công việc ngoại tuyến và quyền riêng tư theo mặc định, cục bộ là tuyệt vời. Đối với một ứng dụng nhỏ phải trả lời từ bất kỳ thiết bị nào vào bất kỳ giờ nào, nhiều nhà phát triển kết thúc bằng việc thuê dung lượng. Một API lưu trữ biến chi phí cố định của phần cứng thành chi phí trên mỗi token, rẻ hơn khi mức sử dụng của bạn nhỏ và không đều.

Khóa chia sẻ và proxy cộng đồng

Tìm kiếm một API miễn phí và bạn sẽ tìm thấy danh sách các endpoint công khai, khóa chia sẻ và proxy do những người đam mê vận hành. Hãy nghi ngờ những thứ này. Một khóa chia sẻ có thể bị thu hồi giữa chừng trong một bài demo. Người vận hành proxy có thể đọc mọi prompt đi qua nó. Không có hỗ trợ, không có giới hạn được nêu và thường không có cách nào để biết mô hình nào đang trả lời bạn.

Nếu prompt của bạn chứa bất cứ điều gì bạn không muốn dán vào diễn đàn công khai, hãy bỏ qua danh mục này hoàn toàn. Một số dư nhỏ với chính sách dữ liệu rõ ràng là một thỏa thuận tốt hơn một endpoint miễn phí mà bạn không thể xác định được chủ sở hữu.

Bản dùng thử trên trang này mang lại cho bạn gì

Dịch vụ này là một API văn bản tương thích OpenAI được lưu trữ, chỉ có một mô hình, uncensored, được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người trưởng thành hợp pháp. Dịch vụ không có gói miễn phí vĩnh viễn. Nó có gói dùng thử: sau khi bạn đăng nhập bằng Google hoặc bằng email và mật khẩu, trang khóa API hiển thị một nút yêu cầu $0.50 tín dụng dùng thử. Bạn chỉ cần một cú nhấp chuột, không cần thông tin thanh toán, có hiệu lực trong 7 ngày và giới hạn một lần cho mỗi người.

Khóa dùng thử chạy ở 2 yêu cầu đồng thời và 60 yêu cầu mỗi phút, điều này đủ để kiểm tra một client hoặc một prompt. Giá là $0.15 cho 1M token đầu vào và $0.50 cho 1M token đầu ra. Đây là những gì $0.50 mua được cho một vài kích thước yêu cầu điển hình, được tính toán chính xác:

Kích thước yêu cầu	Chi phí mỗi yêu cầu	Yêu cầu cho $0.50
500 token đầu vào, 200 token đầu ra (chuỗi chat ngắn)	$0.000075 + $0.000100 = $0.000175	khoảng 2.857
2.000 token đầu vào, 500 token đầu ra (chat với một số lịch sử)	$0.000300 + $0.000250 = $0.000550	khoảng 909
20.000 token đầu vào, 1.000 token đầu ra (cảnh dài hoặc tài liệu)	$0.003000 + $0.000500 = $0.003500	khoảng 142
90.000 token đầu vào, 2.000 token đầu ra (gần cửa sổ 100.000)	$0.013500 + $0.001000 = $0.014500	khoảng 34

Vì vậy, gói dùng thử đủ để chạy vài trăm yêu cầu thực tế, kiểm tra truyền phát (streaming), thử chế độ JSON và gọi công cụ, cũng như xem mô hình phản ứng với các prompt của bạn như thế nào. Nó không được thiết kế để chạy một sản phẩm. Để biết các bước thiết lập chính xác, hướng dẫn bắt đầu nhanh trong tài liệu có mã hoạt động cho SDK OpenAI, Node và curl.

Khi nào tín dụng trả trước hợp lý

Khi bản dùng thử đã hết, mô hình sẽ hoạt động theo hình thức trả tiền theo mức sử dụng từ tín dụng trả trước. Không có gói đăng ký. Bạn có thể nạp tiền bất kỳ số nguyên nào từ $20 đến $500 và tín dụng không bao giờ hết hạn, vì vậy số dư bạn không sử dụng trong tháng này vẫn còn vào tháng sau. Các yêu cầu thất bại hoặc bị từ chối sẽ không bị tính phí. Các khoản nạp tiền lớn hơn có thêm bonus: +5% từ $50, +10% từ $100 và +15% từ $200.

Các ưu đãi hoạt động như sau:

• $20 mua $20.00 tín dụng.
• $50 mua được $52,50 (thưởng 5% là $2,50).
• $100 mua được $110,00 (thưởng 10% là $10).
• $200 mua được $230,00 (thưởng 15% là $30).

Trang này chỉ chấp nhận nạp tiền bằng tiền mã hóa: USDT trên TRC20 hoặc USDC trên Base. Nếu bạn không giữ một trong hai loại đó, đó là một rào cản thực sự và đáng biết trước khi bạn bắt đầu. Trang giá cả có chi tiết hiện tại.

Để xem một khoản nạp tiền $20 có nghĩa là gì trong thực tế, hãy sử dụng cùng kích thước yêu cầu như trên. Ở mức 500 token đầu vào và 200 token đầu ra, $20 bao gồm khoảng 114.000 yêu cầu. Ở mức 2.000 token đầu vào và 500 token đầu ra, nó bao gồm khoảng 36.000. Một ứng dụng chat sở thích với một vài người dùng hiếm khi chi trả số tiền đó trong một tháng, đó là lý do tại sao mức tối thiểu có thể hoạt động ngay cả đối với các dự án nhỏ.

Cách kiểm tra bất kỳ tùy chọn miễn phí nào trước khi dựa vào nó

Bất kể lộ trình nào bạn chọn, hãy dành một buổi chiều cho một bài kiểm tra kỹ lưỡng thay vì một lệnh gọi hello-world đơn giản.

1. Sử dụng prompt thực của bạn. Một mô hình có thể viết một bài haiku đẹp nhưng vẫn có thể thất bại với prompt hệ thống của bạn, ngôn ngữ của bạn hoặc định dạng đầu ra của bạn.
2. Đo lường các lần từ chối. Gửi hai mươi prompt từ trường hợp sử dụng thực tế của bạn và đếm xem có bao nhiêu lời trả lời bị từ chối hoặc làm loãng.
3. Kích hoạt các giới hạn một cách có chủ đích. Gửi các yêu cầu đồng thời và xem lỗi trông như thế nào. Tại đây, vượt quá giới hạn mỗi phút sẽ trả về HTTP 429 với mã rate_limited, và quá nhiều yêu cầu đồng thời sẽ trả về 429 với concurrency. Quá tải tạm thời cũng trả về 429 với tiêu đề Retry-After: 5, vì vậy máy khách của bạn nên đợi và thử lại.
4. Đọc điều khoản dữ liệu. Các prompt ở đây không được dùng để huấn luyện. Với bất kỳ dịch vụ nào khác, bạn hãy tìm tuyên bố đó bằng văn bản.
5. Ước tính chi phí trả trước. Bạn lấy số token trung bình mỗi yêu cầu, nhân với số lượng yêu cầu dự kiến và so sánh. Phép tính này chỉ mất năm phút và giúp bạn tránh được hầu hết các bất ngờ.

Dịch vụ chỉ hỗ trợ văn bản. Không có tạo hình ảnh, âm thanh hoặc video, không có embedding và không có tinh chỉnh, và có một giới hạn cứng: không có nội dung tình dục liên quan đến người chưa thành niên. Nếu dự án của bạn cần bất kỳ tính năng thiếu hụt nào trong số đó, một tùy chọn miễn phí ở nơi khác sẽ không khắc phục được điều đó, vì vậy hãy giải quyết vấn đề này trước. Trang về mô hình văn bản tương thích OpenAI giải thích endpoint này hỗ trợ và không hỗ trợ những gì.

Hướng dẫn khác

• LLM địa phương tốt nhất cho roleplaying, hay một API được lưu trữ?
• API LLM NSFW bằng Python: truyền phát (streaming), JSON và công cụ
• API LLM không kiểm duyệt: mô hình văn bản tương thích OpenAI