Dónde va el dinero por respuesta
Una respuesta cuesta desde una fracción de céntimo hasta unos pocos céntimos, según el tamaño del modelo y la longitud. Ese número es pequeño por mensaje y grande entre millones, por eso los servicios gratuitos se preocupan por los usuarios pesados y por qué el costo determina los límites, las colas y el modelo que realmente obtienes.
La mayoría de los debates sobre chats de IA gratuitos son realmente debates sobre un número que nadie menciona. El número no es secreto y explica el diseño de casi todos los productos de esta categoría.
En esta página
El costo es tiempo de hardware
Generar texto ocupa una unidad de procesamiento gráfico (GPU) durante la longitud de la respuesta. Ese hardware se compra o se alquila por horas, por lo que el costo de una respuesta es la fracción de hora que utilizó. Las respuestas más largas y los modelos más grandes cuestan proporcionalmente más, por eso ambas son las primeras cosas que restringe una capa gratuita.
Leer es más barato que escribir
Procesar tu pregunta y la conversación detrás de ella cuesta menos por palabra que producir la respuesta. Por eso los servicios son más generosos con entradas largas que con salidas largas, y por qué una conversación larga aumenta el costo gradualmente en lugar de de forma repentina.
Los costos fijos son separados
El hardware inactivo aún cuesta dinero, y la demanda es desigual a lo largo del día. Un servicio debe comprar suficiente capacidad para el pico o aceptar una cola en el pico. Esa elección es una decisión de costo y se hace visible para ti como una sala de espera.
Por qué el número moldea el producto
A una fracción de céntimo por respuesta, un usuario ligero cuesta casi nada y un usuario pesado cuesta dinero real. Por eso cada servicio gratuito está diseñado en torno al usuario pesado: el límite, el modelo más pequeño, la cola más lenta. Conocer esto hace que el diseño sea comprensible en lugar de arbitrario.
Las preguntas que merece algo gratis
¿Disminuyen los costos con el tiempo?
Bruscamente, y la demanda aumenta para satisfacerlos. El costo por respuesta ha disminuido considerablemente y el gasto total no, porque los modelos y las conversaciones crecieron.
¿Es un modelo más pequeño mucho más barato?
A menudo por un factor de 10 o más. Por eso un cambio silencioso a un modelo más pequeño es una forma tan común de controlar el costo.
¿Importa la longitud de mi conversación?
Sí. Los mensajes anteriores se reenvían con cada nueva solicitud, por lo que una conversación larga cuesta más por respuesta que una conversación corta.
Inicia una conversación y observa qué hace el servicio a medida que crece.
Abrir el chat gratuito