Su asistente de IA devora el mismo prompt una y otra vez
Lunes por la mañana. Su equipo vuelve a pedir al mismo asistente de IA información sobre ofertas, políticas o productos. Cada consulta arrastra un bloque largo de contexto. La factura sube y, con prompts extensos, la primera respuesta puede tardar. El prompt caching promete abaratar el contexto que se reutiliza. Pero ¿cuándo ahorra dinero y tiempo de verdad, y cuándo sigue pagando por un prompt largo? Un ejemplo de cálculo muestra qué conviene revisar.
El coste está en repetir el contexto
Un asistente de atención al cliente recibe las mismas políticas de devolución, fichas de producto e instrucciones en cada consulta. Solo cambia la pregunta concreta del cliente. Para el equipo, puede parecer una sola conversación. Para el modelo de IA, ese largo contexto vuelve a formar parte de la entrada en cada llamada, salvo que el proveedor pueda reutilizarlo.
El prompt caching se ocupa precisamente de esa parte repetida. Dicho de forma sencilla, el proveedor conserva un fragmento del prompt ya procesado para usarlo en consultas posteriores. La nueva pregunta se añade y la respuesta se genera por separado. El modo de almacenamiento, el tiempo de validez de la caché y las condiciones para que haya un acierto varían según el modelo y la API.
Por eso, el ahorro no depende solo de cuánto ocupen sus documentos. Importa cuántas veces se repite realmente el mismo contexto y cuánto cobra el proveedor por procesarlo como entrada almacenada en caché. Una caché con pocos aciertos puede sonar útil desde el punto de vista técnico y apenas notarse en la factura.
Qué significan cinco céntimos en el ejemplo
Epoch calcula un ejemplo hipotético con una API de Opus 5: 100.000 tokens de contexto almacenado en caché, 1.000 tokens de entrada nuevos y 1.000 tokens de salida. Los tokens son las unidades de texto que muchos proveedores de IA utilizan para facturar. En este ejemplo, la entrada almacenada en caché cuesta 0,05 dólares.
A esa cantidad se suman 0,00625 dólares por la escritura en caché, que Epoch calcula con una duración de cinco minutos. Los 1.000 tokens de salida cuestan 0,025 dólares. El total de la llamada hipotética asciende a 0,08125 dólares. Es un cálculo concreto, no una tarifa general ni una garantía de precio para las ofertas actuales.
La escala del ejemplo sí da una pista sobre dónde merece la pena mirar: el contexto reutilizado puede salir más barato que una entrada normal de la misma longitud. Pero la caché no hace gratuita toda la consulta. Las nuevas entradas, las respuestas generadas y, si corresponde, la escritura en caché siguen sumando. ¿Qué ocurre cuando el contexto es aún más largo?
Los prompts largos también cuestan tiempo
Quien haya esperado alguna vez la primera respuesta de un asistente conoce la diferencia entre recibirla enseguida y quedarse varios segundos mirando la pantalla. Ese tiempo hasta el primer token suele llamarse TTFT. La caché puede cambiar el coste del contexto reutilizado, pero las mediciones disponibles no permiten fijar un ahorro de tiempo para todas las consultas con caché.
Epoch compara la TTFT de cuatro modelos con distintas longitudes de contexto. En sus mediciones, GPT-5.6 Terra y Sol mostraron un aumento de la TTFT mucho más acusado con prompts largos. Claude Sonnet 5 se mantuvo más cerca de un crecimiento lineal. El resultado depende del modelo y describe los modelos analizados, no es una clasificación general de todos los servicios de IA.
La preocupación técnica tiene una explicación: con Full Attention, cada token tiene en cuenta todo el contexto. Según Epoch, el coste de cálculo crece de forma cuadrática con la longitud del contexto. Para una empresa, la consecuencia práctica es clara: aunque el proveedor cobre menos por el contexto almacenado en caché, también conviene medir cuánto tarda la primera respuesta cuando los prompts son largos.
La caché necesita repetición
Pero si cada departamento envía reglas, documentos e instrucciones distintas, quizá se repita menos de lo que parece. En ese caso, el contexto largo puede seguir siendo caro o lento, aunque la palabra «caching» suene a ahorro sencillo.
Conviene fijarse en el trabajo real. ¿Qué instrucciones aparecen en todas las consultas? ¿Qué información sobre productos o procesos se mantiene igual en muchas de ellas? ¿Qué contenidos cambian cada día? Separar estas piezas ayuda a distinguir el contexto común y estable de la pregunta concreta del cliente. Compruebe las reglas de cada proveedor para saber si los pequeños cambios impiden que la caché registre un acierto.
También cuenta la duración de la caché. En el ejemplo de Epoch, la escritura tiene una vigencia de cinco minutos. Si pasan muchas horas entre consultas, la reutilización puede ser distinta que en un asistente con actividad constante. Por eso, una sola prueba con resultado positivo dice poco sobre un mes normal.
Mida antes de cambiar el prompt
Para una empresa pequeña, basta con empezar por una prueba acotada. Elija un asistente cuyas consultas incluyan a menudo la misma información. Durante un periodo representativo, registre el número de llamadas, la longitud del contexto repetido, el coste por consulta y el tiempo hasta la primera respuesta. Después, compare consultas similares con y sin caché, si la plataforma lo permite.
En una empresa mediana, los resultados pueden variar según el caso de uso y el modelo. Un asistente interno que consulta políticas de personal estables no funciona igual que uno de ventas que incorpora ofertas cambiantes. En una gran empresa, conviene desglosar los datos también por agente, modelo y consulta. El panel Activity de OpenRouter y su API de Analytics ofrecen, entre otras métricas, la tasa de aciertos de la caché y el coste medio por millón de tokens.
Revise las condiciones de facturación del proveedor concreto. Epoch describe una tarifa especial para consultas de OpenAI con más de 272.000 tokens de entrada: se duplican los precios habituales de entrada y de entrada almacenada en caché, mientras que el precio normal de salida pasa a ser 1,5 veces superior. Estos límites y tarifas pueden cambiar. Consulte la documentación vigente del proveedor antes de hacer la prueba.
- Empiece por un caso de uso y un prompt bien delimitado.
- Registre a la vez los aciertos de la caché, el coste y la TTFT.
- Compare consultas repetidas durante varios días de uso habituales.
- Decida quién revisará periódicamente los cambios de precios y las reglas de la caché.
Qué implica para su empresa
El primer paso no tiene por qué ser una reforma de todo su entorno de IA. Revise las últimas consultas repetidas de un asistente y marque qué fragmentos son idénticos cada vez. Si aparecen reglas extensas o información de producto, puede probar la caché de forma controlada. Si casi todo cambia de una consulta a otra, probablemente haya más margen de mejora por otra vía.
Acuerde de antemano qué considerará un buen resultado. Una factura más baja sirve de poco si las respuestas llegan tarde o falta información importante. A la inversa, un ahorro moderado en el precio por token puede ser útil si el asistente resuelve muchas tareas repetitivas. Para decidir, valore conjuntamente el coste, el tiempo de respuesta y la fiabilidad.
Imagine el próximo lunes: sabe qué consultas reutilizan el contexto común, cuáles siguen arrancando con prompts largos y cuánto cuesta cada grupo. Con esos datos podrá decidir si amplía la caché, acorta el prompt o reorganiza la consulta.
Preguntas frecuentes
¿Qué es el prompt caching?
Es una función que permite al proveedor de IA reutilizar en otras consultas partes de una entrada que se repiten. Así, puede facturar el contexto almacenado en caché de forma distinta al que se introduce de nuevo. La implementación, la duración de la caché y las tarifas dependen del modelo y del proveedor. Las nuevas preguntas y las respuestas generadas pueden seguir teniendo un coste.
¿Cómo puede el prompt caching reducir los costes de IA?
Puede abaratar fragmentos largos que aparecen en muchas consultas, como instrucciones comunes o información de producto. En un ejemplo hipotético de Opus 5 de Epoch, 100.000 tokens de contexto almacenado en caché cuestan 0,05 dólares. No es una tarifa general. La rentabilidad depende, entre otras cosas, de cuántas veces se repite el contexto, del coste de escritura en caché y de los precios vigentes del proveedor.
¿El prompt caching también reduce el tiempo de respuesta?
Depende del modelo, la longitud del prompt y el proveedor. No se puede establecer un ahorro de tiempo universal. Las mediciones de Epoch muestran que el tiempo hasta el primer token aumenta de forma distinta según el modelo analizado cuando los prompts son más largos. Además de los costes, mida el tiempo hasta la primera respuesta en consultas habituales.
¿Cuándo compensa el prompt caching a una empresa?
Merece la pena estudiarlo cuando un asistente de IA recibe a menudo la misma información extensa y lo que cambia es, sobre todo, la pregunta concreta. Puede ocurrir con políticas recurrentes o información de producto. Si las entradas varían mucho, quizá haya menos contexto que reutilizar. Compare los aciertos de la caché, el coste por consulta y el tiempo de respuesta en el trabajo diario.
¿Cómo puedo medir si funciona la caché de mi IA?
Para un caso de uso habitual, registre el número de consultas, la tasa de aciertos de la caché, el volumen de tokens, el coste por consulta y el tiempo hasta el primer token. Compare consultas similares con y sin caché, si su plataforma lo permite. OpenRouter ofrece la tasa de aciertos de la caché y el coste medio por millón de tokens en su panel Activity y en la API de Analytics.
¿Le interesa?
¿Quiere saber qué significa esto para su empresa?
Fuentes
- European AI: a playbook to own it | Mistral AI · Mistral AI, 2026-04-07
- Long-context latency scales quadratically for GPT-5.6 but nearly linearly for Claude 5 · epoch.ai, 2026-09-08
- Understand your AI usage: every agent, model, and request · openrouter.ai, 2026-08-17
Este artículo se ha investigado y redactado con ayuda de IA y se ha verificado automáticamente con las fuentes citadas antes de publicarse. Más sobre nuestra transparencia en IA
Klarframe AI Readiness Check
¿Hasta qué punto está preparada su empresa para la IA?
Unos diez minutos, resultado inmediato con su nivel, un plan de 90 días, soluciones adecuadas y notas sobre el AI Act.
