<!-- Canonical: https://lucioduran.com/es/topics/llm-inference
Language: es
Content-SHA256: 7378c45217aca66aee2156f474dd52f4377d691c96bf33d6eb05072ed1121e8c
-->

# Inferencia de IA: latencia, memoria y calidad

Optimizar la inferencia exige observar qué cambia para la tarea y para quien recibe la respuesta. Esta colección reúne experimentos locales sobre latencia, memoria, calidad, caché y entrega por streaming, con configuraciones e informes publicados para interpretar cada resultado.

Por [Lucio Durán](<https://lucioduran.com/es>) · Uruguay

## Qué decisión querés resolver

### Para medir la espera del usuario

Separar el tiempo hasta el primer token, el intervalo entre tokens y la duración total. LLM Serving Bench registra llegadas reales; LLM Stream Backpressure examina consumidores lentos, límites de búfer y cancelación.

### Para reducir memoria o ejecutar localmente

Comparar calidad y latencia junto con el tamaño de los pesos. Quantization Quality Lab estudia MiniLM en CPU; WebGPU Local Inference muestra ejecución en navegador y alternativa en WebAssembly.

### Para reutilizar o enrutar respuestas

Contabilizar errores y costo de la política. LLM Semantic Cache evalúa aciertos correctos e incorrectos con aislamiento e invalidación; AI Model Routing Policy conserva resultados negativos y fallos inyectados.

## Proyectos y evidencia

Cada ficha permite consultar el código, el entorno, los resultados publicados y sus límites. Los experimentos describen esas configuraciones; no acreditan resultados en sistemas de clientes.

- ### [LLM Serving Bench](<https://lucioduran.com/es/projects/llm-serving-bench>)

  Medición de inferencia CPU por HTTP/SSE: llegadas por token, TTFT, TPOT, latencia y memoria. Ocho configuraciones de SmolLM2 con evidencia cruda y replay offline.

  Python · Licencia: MIT

  [Leer la ficha](<https://lucioduran.com/es/projects/llm-serving-bench>) · [Repositorio](<https://github.com/lucioduran/llm-serving-bench>) · [Release v0.1.0](<https://github.com/lucioduran/llm-serving-bench/releases/tag/v0.1.0>)
- ### [LLM Stream Backpressure](<https://lucioduran.com/es/projects/llm-stream-backpressure>)

  Streaming HTTP/SSE con límites de búfer, contrapresión de consumidores lentos, eventos de herramientas intercalados y cancelación medida sobre conexiones locales reales.

  Python · Licencia: MIT

  [Leer la ficha](<https://lucioduran.com/es/projects/llm-stream-backpressure>) · [Repositorio](<https://github.com/lucioduran/llm-stream-backpressure>) · [Release v0.1.0](<https://github.com/lucioduran/llm-stream-backpressure/releases/tag/v0.1.0>)
- ### [Quantization Quality Lab](<https://lucioduran.com/es/projects/quantization-quality-lab>)

  Estudio real de cuantización de MiniLM en CPU que separa tamaño de pesos, memoria del proceso, calidad de recuperación y latencia, conservando regresiones y diferencias numéricas.

  Python · Licencia: MIT

  [Leer la ficha](<https://lucioduran.com/es/projects/quantization-quality-lab>) · [Repositorio](<https://github.com/lucioduran/quantization-quality-lab>) · [Release v1.0.0](<https://github.com/lucioduran/quantization-quality-lab/releases/tag/v1.0.0>)
- ### [WebGPU Local Inference](<https://lucioduran.com/es/projects/webgpu-local-inference>)

  Clasificación de solicitudes de soporte en el navegador, con WebGPU nativo, alternativa real en WebAssembly y arranque desde caché registrado durante un fallo local de recursos.

  JavaScript · Licencia: MIT

  [Leer la ficha](<https://lucioduran.com/es/projects/webgpu-local-inference>) · [Repositorio](<https://github.com/lucioduran/webgpu-local-inference>) · [Release v0.1.0](<https://github.com/lucioduran/webgpu-local-inference/releases/tag/v0.1.0>)
- ### [LLM Semantic Cache](<https://lucioduran.com/es/projects/llm-semantic-cache>)

  Caché exacta y semántica en SQLite con aislamiento por usuario, permisos y versión, invalidación transaccional y evaluación local de aciertos correctos e incorrectos.

  Python · Licencia: MIT

  [Leer la ficha](<https://lucioduran.com/es/projects/llm-semantic-cache>) · [Repositorio](<https://github.com/lucioduran/llm-semantic-cache>) · [Release v0.1.0](<https://github.com/lucioduran/llm-semantic-cache/releases/tag/v0.1.0>)
- ### [AI Model Routing Policy](<https://lucioduran.com/es/projects/ai-model-routing-policy>)

  Política de selección entre FLAN-T5-small y base con ajuste en desarrollo, evaluación reservada, costo del router y fallos locales inyectados. Publica también el resultado negativo.

  Python · Licencia: MIT

  [Leer la ficha](<https://lucioduran.com/es/projects/ai-model-routing-policy>) · [Repositorio](<https://github.com/lucioduran/ai-model-routing-policy>) · [Release v0.1.0](<https://github.com/lucioduran/ai-model-routing-policy/releases/tag/v0.1.0>)